Ilirt
/

datapilot-tiny-aya-sql-sft-extra

@@ -2,208 +2,73 @@
 base_model: CohereLabs/tiny-aya-global
 library_name: peft
 pipeline_tag: text-generation
 tags:
-- base_model:adapter:CohereLabs/tiny-aya-global
 - lora
 - sft
-- transformers
-- trl
 ---
-# Model Card for Model ID
-<!-- Provide a quick summary of what the model is/does. -->
-## Model Details
-### Model Description
-<!-- Provide a longer summary of what this model is. -->
-- **Developed by:** [More Information Needed]
-- **Funded by [optional]:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
-### Model Sources [optional]
-<!-- Provide the basic links for the model. -->
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
-## Uses
-<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
-### Direct Use
-<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
-[More Information Needed]
-### Downstream Use [optional]
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
-[More Information Needed]
-### Out-of-Scope Use
-<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
-[More Information Needed]
-## Bias, Risks, and Limitations
-<!-- This section is meant to convey both technical and sociotechnical limitations. -->
-[More Information Needed]
-### Recommendations
-<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
-Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
-## How to Get Started with the Model
-Use the code below to get started with the model.
-[More Information Needed]
-## Training Details
-### Training Data
-<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
-[More Information Needed]
-### Training Procedure
-<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
-#### Preprocessing [optional]
-[More Information Needed]
-#### Training Hyperparameters
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
-#### Speeds, Sizes, Times [optional]
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
-[More Information Needed]
-## Evaluation
-<!-- This section describes the evaluation protocols and provides the results. -->
-### Testing Data, Factors & Metrics
-#### Testing Data
-<!-- This should link to a Dataset Card if possible. -->
-[More Information Needed]
-#### Factors
-<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
-[More Information Needed]
-#### Metrics
-<!-- These are the evaluation metrics being used, ideally with a description of why. -->
-[More Information Needed]
-### Results
-[More Information Needed]
-#### Summary
-## Model Examination [optional]
-<!-- Relevant interpretability work for the model goes here -->
-[More Information Needed]
-## Environmental Impact
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
-## Technical Specifications [optional]
-### Model Architecture and Objective
-[More Information Needed]
-### Compute Infrastructure
-[More Information Needed]
-#### Hardware
-[More Information Needed]
-#### Software
-[More Information Needed]
-## Citation [optional]
-<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
-**BibTeX:**
-[More Information Needed]
-**APA:**
-[More Information Needed]
-## Glossary [optional]
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
-[More Information Needed]
-## More Information [optional]
-[More Information Needed]
-## Model Card Authors [optional]
-[More Information Needed]
-## Model Card Contact
-[More Information Needed]
-### Framework versions
-- PEFT 0.21.2

 base_model: CohereLabs/tiny-aya-global
 library_name: peft
 pipeline_tag: text-generation
+license: cc-by-nc-4.0
+language:
+- ru
+- en
 tags:
 - lora
 - sft
+- sql
+- agent
+- tool-use
+- postgresql
+datasets:
+- HF_USER/datapilot-ecommerce-sql
 ---
+# DataPilot · Tiny Aya SQL (LoRA `sft-extra`)
+LoRA-адаптер к `CohereLabs/tiny-aya-global` (3,35 млрд параметров). Обучен вести агентный цикл по базе PostgreSQL: `list_tables` → `describe_table` → `execute_sql` → `finish`. Проект для трека 3 Lexsi. Код и воспроизведение: https://github.com/prprprmk12/datapilot-ai
+**Лицензия и условия.** Адаптер производный от Tiny Aya Global, поэтому действуют условия базовой модели: CC BY-NC 4.0 (только некоммерческое использование) и Acceptable Use Policy Cohere Labs. Для загрузки базовой модели нужно принять условия на её странице.
+## Как использовать
+Адаптер надо подключить к базовой модели (PEFT) или слить с ней. Для vLLM мы сливаем веса (`scripts/merge_adapter.py`) и запускаем OpenAI-совместимый сервер, к которому обращается приложение DataPilot (`MODEL_PROVIDER=model_api`, `MODEL_SCHEMA_STYLE=json_schema`).
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from peft import PeftModel
+base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", dtype="float16", device_map="auto")
+model = PeftModel.from_pretrained(base, "HF_USER/datapilot-tiny-aya-sql-sft-extra")
+tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
+```
+Формат запроса и ответов (JSON-действия) задан в `datapilot/integrations/protocol.py` репозитория; без него модель не получит правильный промпт.
+## Обучение
+| Параметр | Значение |
+|---|---|
+| Метод | SFT, LoRA (TRL + PEFT), потери только по ответу |
+| LoRA | r=16, alpha=32, dropout=0, все линейные слои |
+| Эпохи / lr | 2 / 1e-4, batch 1 × accumulation 8, seed 42 |
+| Точность / длина | float16, max_length 2048 |
+| Данные | 69 train-задач v1 + 51 дополнительная train-задача (12 семейств), траектории строятся реальными инструментами |
+| Железо | Kaggle, T4 |
+Данные и отчёты: https://huggingface.co/datasets/HF_USER/datapilot-ecommerce-sql
+## Результаты
+Тест: 18 задач из 3 семейств, не входящих в обучение. Критерий: результат SQL агента равен результату эталонного запроса (значения и имена столбцов). Один прогон.
+| Вариант | Решено полностью | Запусков с ошибкой SQL |
+|---|---|---|
+| Базовая модель | 0/18 | 12/18 |
+| SFT на исходных данных (v1) | 2/18 | 14/18 |
+| **SFT v1 + доп. задачи (этот адаптер)** | **12/18** | 6/18 |
+| + повтор SQL после ошибки ×3 (настройка приложения, не адаптер) | 13/18 | 0/18 |
+По семействам: `revenue-by-country` 6/6, `payment-status-counts` 6/6, `paid-profit` 0/6 (с повтором 1/6, но это совпадение, см. ниже).
+## Ограничения
+- **Малая оценка.** 18 задач, три семейства, один прогон, нет доверительных интервалов. Результат не доказывает обобщающую способность.
+- **Тест не совсем чистый.** Дополнительные обучающие семейства придуманы после просмотра ошибок на тесте. Тестовые семейства в обучение не копировались.
+- **Известная ошибка.** В `paid-profit` модель считает прибыль по ценам каталога (`products.price`, `products.cost`), а не по ценам позиции заказа (`order_items.unit_price`, `unit_cost`). Единственный «успех» с повтором объясняется `LIMIT 1`, где обе формулы дают один ответ.
+- **Повтор SQL убирает явные ошибки, но не неверные значения**, поэтому ошибки становятся тихими.
+- **Т��кст итогового ответа не проверялся.** Модель обучена писать «Результат запроса: …» и в демо один раз указала пустой результат при трёх реальных строках. Правильность проверена по строкам SQL, а не по тексту.
+- **Безопасность** (отказ на изменяющие запросы) обеспечивает защитный слой приложения, а не обучение.
+- Одна учебная схема интернет-магазина (5 таблиц), русскоязычные вопросы. На других схемах качество не измерялось.
+- Только SFT. GRPO с наградой AgentTune не выполнено.
+## Не предназначено для
+Работы с реальными или конфиденциальными данными без собственной проверки; коммерческого использования (лицензия базовой модели).