| --- |
| base_model: CohereLabs/tiny-aya-global |
| library_name: peft |
| pipeline_tag: text-generation |
| license: cc-by-nc-4.0 |
| language: |
| - ru |
| - en |
| tags: |
| - lora |
| - sft |
| - sql |
| - agent |
| - tool-use |
| - postgresql |
| datasets: |
| - HF_USER/datapilot-ecommerce-sql |
| --- |
| |
| # DataPilot · Tiny Aya SQL (LoRA `sft-extra`) |
|
|
| LoRA-адаптер к `CohereLabs/tiny-aya-global` (3,35 млрд параметров). Обучен вести агентный цикл по базе PostgreSQL: `list_tables` → `describe_table` → `execute_sql` → `finish`. Проект для трека 3 Lexsi. Код и воспроизведение: https://github.com/prprprmk12/datapilot-ai |
|
|
| **Лицензия и условия.** Адаптер производный от Tiny Aya Global, поэтому действуют условия базовой модели: CC BY-NC 4.0 (только некоммерческое использование) и Acceptable Use Policy Cohere Labs. Для загрузки базовой модели нужно принять условия на её странице. |
|
|
| ## Как использовать |
| Адаптер надо подключить к базовой модели (PEFT) или слить с ней. Для vLLM мы сливаем веса (`scripts/merge_adapter.py`) и запускаем OpenAI-совместимый сервер, к которому обращается приложение DataPilot (`MODEL_PROVIDER=model_api`, `MODEL_SCHEMA_STYLE=json_schema`). |
|
|
| ```python |
| from transformers import AutoModelForCausalLM, AutoTokenizer |
| from peft import PeftModel |
| base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", dtype="float16", device_map="auto") |
| model = PeftModel.from_pretrained(base, "HF_USER/datapilot-tiny-aya-sql-sft-extra") |
| tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global") |
| ``` |
|
|
| Формат запроса и ответов (JSON-действия) задан в `datapilot/integrations/protocol.py` репозитория; без него модель не получит правильный промпт. |
|
|
| ## Обучение |
| | Параметр | Значение | |
| |---|---| |
| | Метод | SFT, LoRA (TRL + PEFT), потери только по ответу | |
| | LoRA | r=16, alpha=32, dropout=0, все линейные слои | |
| | Эпохи / lr | 2 / 1e-4, batch 1 × accumulation 8, seed 42 | |
| | Точность / длина | float16, max_length 2048 | |
| | Данные | 69 train-задач v1 + 51 дополнительная train-задача (12 семейств), траектории строятся реальными инструментами | |
| | Железо | Kaggle, T4 | |
| |
| Данные и отчёты: https://huggingface.co/datasets/HF_USER/datapilot-ecommerce-sql |
|
|
| ## Результаты |
| Тест: 18 задач из 3 семейств, не входящих в обучение. Критерий: результат SQL агента равен результату эталонного запроса (значения и имена столбцов). Один прогон. |
|
|
| | Вариант | Решено полностью | Запусков с ошибкой SQL | |
| |---|---|---| |
| | Базовая модель | 0/18 | 12/18 | |
| | SFT на исходных данных (v1) | 2/18 | 14/18 | |
| | **SFT v1 + доп. задачи (этот адаптер)** | **12/18** | 6/18 | |
| | + повтор SQL после ошибки ×3 (настройка приложения, не адаптер) | 13/18 | 0/18 | |
|
|
| По семействам: `revenue-by-country` 6/6, `payment-status-counts` 6/6, `paid-profit` 0/6 (с повтором 1/6, но это совпадение, см. ниже). |
|
|
| ## Ограничения |
| - **Малая оценка.** 18 задач, три семейства, один прогон, нет доверительных интервалов. Результат не доказывает обобщающую способность. |
| - **Тест не совсем чистый.** Дополнительные обучающие семейства придуманы после просмотра ошибок на тесте. Тестовые семейства в обучение не копировались. |
| - **Известная ошибка.** В `paid-profit` модель считает прибыль по ценам каталога (`products.price`, `products.cost`), а не по ценам позиции заказа (`order_items.unit_price`, `unit_cost`). Единственный «успех» с повтором объясняется `LIMIT 1`, где обе формулы дают один ответ. |
| - **Повтор SQL убирает явные ошибки, но не неверные значения**, поэтому ошибки становятся тихими. |
| - **Текст итогового ответа не проверялся.** Модель обучена писать «Результат запроса: …» и в демо один раз указала пустой результат при трёх реальных строках. Правильность проверена по строкам SQL, а не по тексту. |
| - **Безопасность** (отказ на изменяющие запросы) обеспечивает защитный слой приложения, а не обучение. |
| - Одна учебная схема интернет-магазина (5 таблиц), русскоязычные вопросы. На других схемах качество не измерялось. |
| - Только SFT. GRPO с наградой AgentTune не выполнено. |
|
|
| ## Не предназначено для |
| Работы с реальными или конфиденциальными данными без собственной проверки; коммерческого использования (лицензия базовой модели). |
