Web Eval Agent — MCP-сервер для автономной отладки веб-приложений

⚠️ Проект прекращён (sunset). Команда разрабатывает новый продукт на withrefresh.com.

Web Eval Agent — это MCP-сервер от operative.sh, который запускает автономного агента на базе BrowserUse. Агент умеет открывать веб-приложение, выполнять в нём сценарии, собирать консоль и сетевые логи, делать скриншоты и возвращать отчёт о UX. Всё это вызывается прямо из IDE (Cursor, Cline, Windsurf) через MCP-инструменты.

Основные возможности

• Автономный обход приложения — агент сам кликает, заполняет формы, переходит по страницам.
• Сбор сетевых запросов — запросы фильтруются и возвращаются в контекст. До 2× быстрее с бэкендом operative.
• Консоль браузера — перехватываются логи и ошибки.
• Гибридный режим — можно открыть браузер вручную (не headless), залогиниться один раз, а потом переиспользовать куки и localStorage.
• Обогащённый отчёт — пошаговый лог действий агента, скриншоты, хронология.

Доступные MCP-инструменты

Параметры web_eval_agent

• url (обязательный) — адрес запущенного приложения, например http://localhost:3000
• task (обязательный) — описание сценария на естественном языке: «Пройди регистрацию и сообщи о проблемах UX»
• headless_browser (опционально, по умолчанию false) — скрыть окно браузера

Параметры setup_browser_state

• url (опционально) — страница, которая откроется первой (удобно сразу перейти на экран логина)

Быстрый старт (рекомендуемый)

1. Получить бесплатный API-ключ на operative.sh/mcp.
2. На странице создания ключа станет доступна кнопка «Add to Cursor» (установка в один клик) или готовая команда для Claude Code с уже подставленным ключом.

Ручная установка (macOS/Linux)

Предварительно: потребуются brew, npm и jq. Если их нет:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install npm jq

Установка скриптом:

curl -LSf https://operative.sh/install.sh -o install.sh && bash install.sh && rm install.sh

Скрипт установит Playwright и uv (менеджер пакетов Astral), а также сам добавит нужную конфигурацию в Cursor/Cline/Windsurf.

Перезапустите IDE и отправьте промпт в чат (режим агента):

Test my app on http://localhost:3000. Use web-eval-agent.

Ручная установка (подробная)

Если скрипт не подходит:

1. Получить API-ключ на operative.sh/mcp.
2. Установить uv:

curl -LsSf https://astral.sh/uv/install.sh | sh
# затем перезагрузите .zshrc / .bashrc

1. Установить Playwright:

npm install -g chromium playwright && uvx --with playwright playwright install --with-deps

1. Добавить в конфигурацию MCP вашего редактора (Cursor: ~/.cursor/mcp.json):

{
  "web-eval-agent": {
    "command": "uvx",
    "args": [
      "--from",
      "git+https://github.com/Operative-Sh/web-eval-agent.git",
      "webEvalAgent"
    ],
    "env": {
      "OPERATIVE_API_KEY": "<ВАШ_КЛЮЧ>"
    }
  }
}

1. Перезапустить редактор.

Windows

На Windows пока есть ограничения. Попробуйте выполнить в терминале редактора:

curl -LSf https://operative.sh/install.sh -o install.sh && bash install.sh && rm install.sh

Затем вручную:

curl -LsSf https://astral.sh/uv/install.sh | sh
uvx --from git+https://github.com/Operative-Sh/web-eval-agent.git playwright install

Перезапустите редактор. Если что-то не работает — откройте issue.

Обновление

uv cache clean

После этого перезапустите MCP-сервер в редакторе. Конфигурация с флагом --refresh-package уже в примере выше — она гарантирует свежую версию при каждом запуске.

Пример отчёта

После выполнения web_eval_agent возвращается JSON-отчёт, который включает:

• Список шагов агента (куда кликнул, что ввёл).
• Консольные логи (до 10 последних).
• Сетевые запросы (до 10).
• Хронологическую ленту с временными метками.
• Итоговую оценку UX.

Пример фрагмента:

📊 Web Evaluation Report for http://localhost:5173 complete!
📝 Task: Test the API-key deletion flow...

🔍 Agent Steps
 📍 1. Navigate → http://localhost:5173
 📍 2. Click "Login"
 ...
🏁 Flow tested successfully – UX felt smooth and intuitive.

🖥️ Console Logs (10)
 1. [debug] [vite] connecting…
 ...

Полный лог можно посмотреть в дашборде «Operative Control Center».

Решённые проблемы

• Статические приложения без изменений (версия от 5/5) — исправлено отсутствие скринкаста. Обновитесь через uv cache clean и перезапустите редактор.

Полезные ссылки

• Получение API-ключа
• Репозиторий на GitHub
• Discord-сообщество operative (ссылка из оригинального README)