YAML Metadata Warning:The pipeline tag "text2text-generation" is not in the official list: text-classification, token-classification, table-question-answering, question-answering, zero-shot-classification, translation, summarization, feature-extraction, text-generation, fill-mask, sentence-similarity, text-to-speech, text-to-audio, automatic-speech-recognition, audio-to-audio, audio-classification, audio-text-to-text, voice-activity-detection, depth-estimation, image-classification, object-detection, image-segmentation, text-to-image, image-to-text, image-to-image, image-to-video, unconditional-image-generation, video-classification, reinforcement-learning, robotics, tabular-classification, tabular-regression, tabular-to-text, table-to-text, multiple-choice, text-ranking, text-retrieval, time-series-forecasting, text-to-video, image-text-to-text, image-text-to-image, image-text-to-video, visual-question-answering, document-question-answering, zero-shot-image-classification, graph-ml, mask-generation, zero-shot-object-detection, text-to-3d, image-to-3d, image-feature-extraction, video-text-to-text, keypoint-detection, visual-document-retrieval, any-to-any, video-to-video, other
rut5-menu-desc 1.0.0 — финальная модель
Модель по названию, категории и ингредиентам блюда генерирует короткое описание на русском языке для карточки фуд-маркетплейса.
Выбор модели
Финальная модель — ruT5-base fine-tuned + подобранное декодирование (строка ruT5-base + tuned decoding в final_results.csv). Она лучшая из восьми вариантов, сравнённых на одном test (300 примеров):
| Модель | chrF++ (β=1) | ROUGE-L | BERTScore F1 | Ингредиенты, % | avg chars |
|---|---|---|---|---|---|
| ruT5-base + tuned decoding | 19.89 | 17.65 | 52.88 | 78.7 | 70 |
| ruT5-base tuned (lr/batch) | 19.87 | 17.16 | 53.05 | 71.3 | 70 |
| ruT5-base fine-tuned | 18.32 | 18.09 | 52.04 | 71.0 | 49 |
| Qwen2.5-0.5B zero-shot | 17.86 | 11.31 | 49.06 | 98.7 | 153 |
| Qwen2.5-0.5B + LoRA | 15.90 | 11.07 | 48.88 | 40.0 | 61 |
| Template / kNN | ≤ 18.51 | ≤ 11.51 | ≤ 48.47 | — | — |
Почему именно она:
- у неё максимальные chrF++ (β=1) и BERTScore;
- ROUGE-L в пределах шума от максимума: bootstrap-интервалы пересекаются;
- ингредиенты она упоминает чаще остальных ruT5-вариантов;
- tuned lr/batch на test прироста не дал, поэтому взяты более простые веса baseline.
Версия
| Поле | Значение |
|---|---|
| Идентификатор | rut5-menu-desc@1.0.0 |
| Базовая модель | ai-forever/ruT5-base (223M параметров, encoder–decoder) |
| Обучение | 10 000 примеров, 2 эпохи, batch 8, lr 5e-4, Adafactor, seed 42 |
| Веса | model.safetensors, SHA-256 записан в model_version.json и проверяется при загрузке |
| Параметры генерации | num_beams=4, no_repeat_ngram_size=2, length_penalty=2.0, min_new_tokens=15, max_new_tokens=80 |
Параметры генерации — часть версии. Они записаны и в model_version.json, и в generation_config.json. Любое изменение весов или параметров требует новой версии; скрипт подготовки отказывается перезаписывать существующую папку версии.
Вход
| Поле | Тип | Правила |
|---|---|---|
title |
str | обязательно; 1–100 символов; хотя бы одна буква |
category |
str "A > B" или list[str] |
опционально; берутся 2 верхних уровня; если нет, используется —, как при обучении |
ingredients |
list[str] или str через , ; или перенос строки |
1–30 штук, каждый ≤ 60 символов; пустые удаляются, дубликаты схлопываются без учёта регистра |
Все поля проходят Unicode-нормализацию (NFC), из них удаляются управляющие символы, повторные пробелы схлопываются. Затем вход собирается в строку точно в формате обучения:
Блюдо: Бешбармак
Категория: Горячие блюда > Блюда из мяса
Ингредиенты: конина, баранина, тесто, лук репчатый, бульон
Строка обрезается до 128 токенов, как при обучении; в этом случае выставляется флаг input_truncated. Некорректный вход вызывает InputValidationError с понятным сообщением; в будущем API это ответ HTTP 422.
Выход
{
"description": "…",
"model_version": "rut5-menu-desc@1.0.0",
"warnings": ["health_claim"],
"input_tokens": 42,
"latency_ms": 850.3
}
warnings — флаги продуктовых проверок; текст они не изменяют, а нужны для модерации и мониторинга:
health_claim— «полезный», «лучший» и т. п.: запрещено требованиями к карточке;first_person— «я», «мой», «муж»;no_ingredient_mentioned— в описании нет ни одного ингредиента из входа;empty_output— пустой ответ;input_truncated— вход длиннее 128 токенов.
Известные ограничения
- В 21.7% ответов на test есть health claims: модель унаследовала их из эталонов. Поэтому проверка встроена в выход.
- Ответы короче эталона: 71 символ против 113.
- Модель работает только на русском языке. Казахских названий и ингредиентов в обучении не было.
- Reference-метрики плохо отражают «аппетитность»; один эталон на пример.
Производительность (замер в Colab на обученной модели, 1 запрос, beams 4)
| Режим | Веса | Задержка p50 | chrF++ β=1 (50 test-примеров) |
|---|---|---|---|
| GPU T4, FP32 | 850 МБ | 0.44 с | 20.95 |
| CPU, FP32 | 850 МБ | 2.55 с | 20.95 |
| CPU, INT8 (dynamic) | ≈ 310 МБ | 0.86 с | 21.27 |
Сервис работает на CPU с INT8: в 3 раза быстрее FP32 без потери качества. Воспроизводимость: предсказания совпадают с test-предсказаниями Midterm на 100% (50/50).
- Downloads last month
- 125
Model tree for alllukaaa/rut5-menu-desc
Base model
ai-forever/ruT5-base