Spaces:

ai-forever
/

WebPageBench

Running

App Files Files Community

WebPageBench / docs /description.ru.md

ai-forever

add fixes ui

cdb54bf about 1 month ago

preview code

Raw History Blame Contribute Delete

5.46 kB

A newer version of the Gradio SDK is available: 6.31.0

Upgrade

About

Платформа оценки веб-агентов на анонимизированном бенчмарке (152 задания: 65 базовых + 87 клонов паттернов интерфейса и тёмной темы; шесть доменов хаба). Главная страница хаба — навигация, а не отдельный набор заданий. Макеты сайтов и формулировки интерфейса не привязаны к реальным брендам. Подробности: README.md.

Прогоны в results/ — канон из 152 заданий (выполненные задания / 152; задания, которые не запускались, считаются как 0). Пилотные прогоны на 51 задание удалены.

Бенчмарк

Базовые сценарии (клоны наследуют раздел источника):

Раздел	Ключ	Задания
Маркет	`shop`	18
Книги	`books`	11
Продукты	`grocery`	8
Железная дорога	`rail`	9
Отели	`hotels`	8
Файлы	`files`	11
База		65
+ клоны UI и `theme:dark`		87
Канон		152

Агент проходит бенчмарк через харнес с выбранной LLM на анонимизированных макетах сайтов. Значения DOM AGENT_HARNESS:

browser-use, ouroboros-cut, ouroboros-full-isolated, ouroboros-full-evolving, hermes-ouroboros, openmanus, openhands, deepagents

Скриншотные GUI-харнесы: qwen3-vl, uitars, jedi, opencua, evocua, fara.

Что харнес передаёт модели в прогоне:

Ввод	Когда
`text`	`openhands`; текстовые модели на Ouroboros (скриншот в LLM не передаётся); DeepSeek на `browser-use` / `openmanus` (только DOM)
`text+image`	`browser-use`, `openmanus`, `ouroboros-cut`, `ouroboros-full-*`, когда модель видит скриншот
`image`	GUI-харнесы: `qwen3-vl`, `uitars`, `opencua`, `evocua`, `fara`

Метрики лидерборда

Основная: доля успеха

Поле	Источник	Описание
`success_rate`	`run.success_rate`	`passed_tasks / total_tasks`
Успех задания	`tests[].success`	Все условия выполнены (`dab_check.all_passed`)

Это не завершение агента. Агент мог вызвать done, хотя условия задания не выполнены.

Скорость и эффективность

Поле	Описание
`total_duration_seconds`	Сумма длительностей по заданиям. Вид «Скорость» сортирует по этому значению (меньше — лучше).
`avg_duration_seconds`	Среднее время на задание (create_track + агент + проверка)
`avg_agent_steps`	Среднее число шагов агента (browser-use и совместимые харнесы)
`avg_tokens_per_task`	Среднее число токенов на задание
`total_cost_usd`	Оценка стоимости LLM (`bench_eval.llm_cost`)

Надёжность

Поле	Описание
`agent_completion_rate`	Доля заданий с `agent_is_done`
`agent_dab_agreement_rate`	Согласованность завершения и проверки условий
Done и условия	Задания, где `agent_is_done` и все условия выполнены (`tests[].success`). Строже доли успеха: успех без `done` или `done` без успеха не засчитывается.

Таксономия UI

Агрегаты в ui_taxonomy_stats внутри results.json:

by_checked_class — классы, названные в conditions (BASKET, DATE, NAV, …)
by_primary — основной класс UI задания
by_ui_pattern — паттерны виджетов (date:popup_grid, …)

Лидерборд показывает верхние бейджи UI из by_primary.

Виды лидерборда

Успешность — основной рейтинг
Скорость — total_duration_seconds (меньше — лучше). Среднее время — средняя длительность задания.
Стоимость — стоимость и ценность (успех / $)

Фильтры Ввод (text / text+image / image) и Харнес перестраивают основную таблицу, разделы, таксономию UI и метрики.