Spaces:
Running
Running
| # About | |
| Платформа оценки веб-агентов на **анонимизированном** бенчмарке (**152** задания: 65 базовых + 87 клонов паттернов интерфейса и тёмной темы; **шесть** доменов хаба). Главная страница хаба — навигация, а не отдельный набор заданий. Макеты сайтов и формулировки интерфейса не привязаны к реальным брендам. Подробности: [README.md](https://github.com/ai-forever/WebPageBench/blob/main/README.md). | |
| Прогоны в `results/` — канон из **152** заданий (выполненные задания / 152; задания, которые не запускались, считаются как 0). Пилотные прогоны на 51 задание удалены. | |
| ## Бенчмарк | |
| Базовые сценарии (клоны наследуют раздел источника): | |
| | Раздел | Ключ | Задания | | |
| |---------|-----|------:| | |
| | Маркет | `shop` | 18 | | |
| | Книги | `books` | 11 | | |
| | Продукты | `grocery` | 8 | | |
| | Железная дорога | `rail` | 9 | | |
| | Отели | `hotels` | 8 | | |
| | Файлы | `files` | 11 | | |
| | **База** | | **65** | | |
| | + клоны UI и `theme:dark` | | 87 | | |
| | **Канон** | | **152** | | |
| Агент проходит бенчмарк через харнес с выбранной LLM на анонимизированных макетах сайтов. Значения DOM `AGENT_HARNESS`: | |
| `browser-use`, `ouroboros-cut`, `ouroboros-full-isolated`, `ouroboros-full-evolving`, `hermes-ouroboros`, `openmanus`, `openhands`, `deepagents` | |
| Скриншотные GUI-харнесы: `qwen3-vl`, `uitars`, `jedi`, `opencua`, `evocua`, `fara`. | |
| Что харнес передаёт модели в прогоне: | |
| | Ввод | Когда | | |
| |-------|------| | |
| | `text` | `openhands`; текстовые модели на Ouroboros (скриншот в LLM не передаётся); DeepSeek на `browser-use` / `openmanus` (только DOM) | | |
| | `text+image` | `browser-use`, `openmanus`, `ouroboros-cut`, `ouroboros-full-*`, когда модель видит скриншот | | |
| | `image` | GUI-харнесы: `qwen3-vl`, `uitars`, `opencua`, `evocua`, `fara` | | |
| ## Метрики лидерборда | |
| ### Основная: доля успеха | |
| | Поле | Источник | Описание | | |
| |-------|--------|-------------| | |
| | `success_rate` | `run.success_rate` | `passed_tasks / total_tasks` | | |
| | Успех задания | `tests[].success` | Все условия выполнены (`dab_check.all_passed`) | | |
| Это не **завершение агента**. Агент мог вызвать `done`, хотя условия задания не выполнены. | |
| ### Скорость и эффективность | |
| | Поле | Описание | | |
| |-------|-------------| | |
| | `total_duration_seconds` | Сумма длительностей по заданиям. Вид «Скорость» сортирует по этому значению (меньше — лучше). | | |
| | `avg_duration_seconds` | Среднее время на задание (create_track + агент + проверка) | | |
| | `avg_agent_steps` | Среднее число шагов агента (browser-use и совместимые харнесы) | | |
| | `avg_tokens_per_task` | Среднее число токенов на задание | | |
| | `total_cost_usd` | Оценка стоимости LLM (`bench_eval.llm_cost`) | | |
| ### Надёжность | |
| | Поле | Описание | | |
| |-------|-------------| | |
| | `agent_completion_rate` | Доля заданий с `agent_is_done` | | |
| | `agent_dab_agreement_rate` | Согласованность завершения и проверки условий | | |
| | Done и условия | Задания, где `agent_is_done` и все условия выполнены (`tests[].success`). Строже доли успеха: успех без `done` или `done` без успеха не засчитывается. | | |
| ### Таксономия UI | |
| Агрегаты в `ui_taxonomy_stats` внутри `results.json`: | |
| - `by_checked_class` — классы, названные в `conditions` (BASKET, DATE, NAV, …) | |
| - `by_primary` — основной класс UI задания | |
| - `by_ui_pattern` — паттерны виджетов (`date:popup_grid`, …) | |
| Лидерборд показывает верхние бейджи UI из `by_primary`. | |
| ## Виды лидерборда | |
| 1. **Успешность** — основной рейтинг | |
| 2. **Скорость** — `total_duration_seconds` (меньше — лучше). Среднее время — средняя длительность задания. | |
| 3. **Стоимость** — стоимость и ценность (успех / $) | |
| Фильтры **Ввод** (`text` / `text+image` / `image`) и **Харнес** перестраивают основную таблицу, разделы, таксономию UI и метрики. | |
| ## Ссылки | |
| - [Репозиторий](https://github.com/ai-forever/WebPageBench) | |
| - [Задания](https://github.com/ai-forever/WebPageBench/blob/main/bench_config.json) | |
| - [О бенчмарке](https://github.com/ai-forever/WebPageBench/blob/main/docs/description.md) | |