Update Readme.md

20291ed verified about 8 hours ago

5.96 kB

base_model: CohereLabs/tiny-aya-global
library_name: peft
pipeline_tag: text-generation
license: cc-by-nc-4.0
language:
  - ru
  - en
tags:
  - lora
  - sft
  - sql
  - agent
  - tool-use
  - postgresql
datasets:
  - HF_USER/datapilot-ecommerce-sql

DataPilot · Tiny Aya SQL (LoRA `sft-extra`)

LoRA-адаптер к CohereLabs/tiny-aya-global (3,35 млрд параметров). Обучен вести агентный цикл по базе PostgreSQL: list_tables → describe_table → execute_sql → finish. Проект для трека 3 Lexsi. Код и воспроизведение: https://github.com/prprprmk12/datapilot-ai

Лицензия и условия. Адаптер производный от Tiny Aya Global, поэтому действуют условия базовой модели: CC BY-NC 4.0 (только некоммерческое использование) и Acceptable Use Policy Cohere Labs. Для загрузки базовой модели нужно принять условия на её странице.

Как использовать

Адаптер надо подключить к базовой модели (PEFT) или слить с ней. Для vLLM мы сливаем веса (scripts/merge_adapter.py) и запускаем OpenAI-совместимый сервер, к которому обращается приложение DataPilot (MODEL_PROVIDER=model_api, MODEL_SCHEMA_STYLE=json_schema).

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", dtype="float16", device_map="auto")
model = PeftModel.from_pretrained(base, "HF_USER/datapilot-tiny-aya-sql-sft-extra")
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")

Формат запроса и ответов (JSON-действия) задан в datapilot/integrations/protocol.py репозитория; без него модель не получит правильный промпт.

Обучение

Параметр	Значение
Метод	SFT, LoRA (TRL + PEFT), потери только по ответу
LoRA	r=16, alpha=32, dropout=0, все линейные слои
Эпохи / lr	2 / 1e-4, batch 1 × accumulation 8, seed 42
Точность / длина	float16, max_length 2048
Данные	69 train-задач v1 + 51 дополнительная train-задача (12 семейств), траектории строятся реальными инструментами
Железо	Kaggle, T4

Данные и отчёты: https://huggingface.co/datasets/HF_USER/datapilot-ecommerce-sql

Результаты

Тест: 18 задач из 3 семейств, не входящих в обучение. Критерий: результат SQL агента равен результату эталонного запроса (значения и имена столбцов). Один прогон.

Вариант	Решено полностью	Запусков с ошибкой SQL
Базовая модель	0/18	12/18
SFT на исходных данных (v1)	2/18	14/18
SFT v1 + доп. задачи (этот адаптер)	12/18	6/18
+ повтор SQL после ошибки ×3 (настройка приложения, не адаптер)	13/18	0/18

По семействам: revenue-by-country 6/6, payment-status-counts 6/6, paid-profit 0/6 (с повтором 1/6, но это совпадение, см. ниже).

Ограничения

Малая оценка. 18 задач, три семейства, один прогон, нет доверительных интервалов. Результат не доказывает обобщающую способность.
Тест не совсем чистый. Дополнительные обучающие семейства придуманы после просмотра ошибок на тесте. Тестовые семейства в обучение не копировались.
Известная ошибка. В paid-profit модель считает прибыль по ценам каталога (products.price, products.cost), а не по ценам позиции заказа (order_items.unit_price, unit_cost). Единственный «успех» с повтором объясняется LIMIT 1, где обе формулы дают один ответ.
Повтор SQL убирает явные ошибки, но не неверные значения, поэтому ошибки становятся тихими.
Текст итогового ответа не проверялся. Модель обучена писать «Результат запроса: …» и в демо один раз указала пустой результат при трёх реальных строках. Правильность проверена по строкам SQL, а не по тексту.
Безопасность (отказ на изменяющие запросы) обеспечивает защитный слой приложения, а не обучение.
Одна учебная схема интернет-магазина (5 таблиц), русскоязычные вопросы. На других схемах качество не измерялось.
Только SFT. GRPO с наградой AgentTune не выполнено.

Не предназначено для

Работы с реальными или конфиденциальными данными без собственной проверки; коммерческого использования (лицензия базовой модели).

DataPilot · Tiny Aya SQL (LoRA sft-extra)