# About

Платформа оценки веб-агентов на **анонимизированном** бенчмарке (**152** задания: 65 базовых + 87 клонов паттернов интерфейса и тёмной темы; **шесть** доменов хаба). Главная страница хаба — навигация, а не отдельный набор заданий. Макеты сайтов и формулировки интерфейса не привязаны к реальным брендам. Подробности: [README.md](https://github.com/ai-forever/WebPageBench/blob/main/README.md).

Прогоны в `results/` — канон из **152** заданий (выполненные задания / 152; задания, которые не запускались, считаются как 0). Пилотные прогоны на 51 задание удалены.

## Бенчмарк

Базовые сценарии (клоны наследуют раздел источника):

| Раздел | Ключ | Задания |
|---------|-----|------:|
| Маркет | `shop` | 18 |
| Книги | `books` | 11 |
| Продукты | `grocery` | 8 |
| Железная дорога | `rail` | 9 |
| Отели | `hotels` | 8 |
| Файлы | `files` | 11 |
| **База** | | **65** |
| + клоны UI и `theme:dark` | | 87 |
| **Канон** | | **152** |

Агент проходит бенчмарк через харнес с выбранной LLM на анонимизированных макетах сайтов. Значения DOM `AGENT_HARNESS`:

`browser-use`, `ouroboros-cut`, `ouroboros-full-isolated`, `ouroboros-full-evolving`, `hermes-ouroboros`, `openmanus`, `openhands`, `deepagents`

Скриншотные GUI-харнесы: `qwen3-vl`, `uitars`, `jedi`, `opencua`, `evocua`, `fara`.

Что харнес передаёт модели в прогоне:

| Ввод | Когда |
|-------|------|
| `text` | `openhands`; текстовые модели на Ouroboros (скриншот в LLM не передаётся); DeepSeek на `browser-use` / `openmanus` (только DOM) |
| `text+image` | `browser-use`, `openmanus`, `ouroboros-cut`, `ouroboros-full-*`, когда модель видит скриншот |
| `image` | GUI-харнесы: `qwen3-vl`, `uitars`, `opencua`, `evocua`, `fara` |

## Метрики лидерборда

### Основная: доля успеха

| Поле | Источник | Описание |
|-------|--------|-------------|
| `success_rate` | `run.success_rate` | `passed_tasks / total_tasks` |
| Успех задания | `tests[].success` | Все условия выполнены (`dab_check.all_passed`) |

Это не **завершение агента**. Агент мог вызвать `done`, хотя условия задания не выполнены.

### Скорость и эффективность

| Поле | Описание |
|-------|-------------|
| `total_duration_seconds` | Сумма длительностей по заданиям. Вид «Скорость» сортирует по этому значению (меньше — лучше). |
| `avg_duration_seconds` | Среднее время на задание (create_track + агент + проверка) |
| `avg_agent_steps` | Среднее число шагов агента (browser-use и совместимые харнесы) |
| `avg_tokens_per_task` | Среднее число токенов на задание |
| `total_cost_usd` | Оценка стоимости LLM (`bench_eval.llm_cost`) |

### Надёжность

| Поле | Описание |
|-------|-------------|
| `agent_completion_rate` | Доля заданий с `agent_is_done` |
| `agent_dab_agreement_rate` | Согласованность завершения и проверки условий |
| Done и условия | Задания, где `agent_is_done` и все условия выполнены (`tests[].success`). Строже доли успеха: успех без `done` или `done` без успеха не засчитывается. |

### Таксономия UI

Агрегаты в `ui_taxonomy_stats` внутри `results.json`:

- `by_checked_class` — классы, названные в `conditions` (BASKET, DATE, NAV, …)
- `by_primary` — основной класс UI задания
- `by_ui_pattern` — паттерны виджетов (`date:popup_grid`, …)

Лидерборд показывает верхние бейджи UI из `by_primary`.

## Виды лидерборда

1. **Успешность** — основной рейтинг
2. **Скорость** — `total_duration_seconds` (меньше — лучше). Среднее время — средняя длительность задания.
3. **Стоимость** — стоимость и ценность (успех / $)

Фильтры **Ввод** (`text` / `text+image` / `image`) и **Харнес** перестраивают основную таблицу, разделы, таксономию UI и метрики.

## Ссылки

- [Репозиторий](https://github.com/ai-forever/WebPageBench)
- [Задания](https://github.com/ai-forever/WebPageBench/blob/main/bench_config.json)
- [О бенчмарке](https://github.com/ai-forever/WebPageBench/blob/main/docs/description.md)