README.md

---
language:
- ru
library_name: peft
tags:
- lora
- peft
- gemma
- spam-detection
- text-classification
base_model: google/gemma-2-2b-it
datasets:
- darkQibit/russian-spam-detection
license: other
pipeline_tag: text-generation
---

# ruSpam_LLM

LoRA-адаптер для классификации сообщений на **spam / ham**  
на базе **google/gemma-2-2b-it**.

Модель обучена для детекции спама в русскоязычных чатах и группах.

---

## 📌 Описание

Это **LoRA-адаптер**, а не полная модель.  
Он подключается поверх базовой Gemma и позволяет классифицировать сообщения,
генерируя одно слово: `spam` или `ham`.

Задача решается через **instruction tuning**.

---

## 🧠 Базовая модель

- **Base model:** `google/gemma-2-2b-it`
- Архитектура: Causal LM
- Способ обучения: **LoRA (PEFT)**

---

## 📊 Данные для обучения

Модель обучена на **~9 000 примеров** из датасета:

👉 [darkQibit/russian-spam-detection](https://huggingface.co/datasets/darkQibit/russian-spam-detection)

---


## 🚀 Использование

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

BASE_MODEL = "google/gemma-2-2b-it"
LORA_REPO = "ruSpamModels/ruSpam_LLM"

HF_TOKEN = "hf_xxxxxxxxxxxxxxxxxxxxx"

tokenizer = AutoTokenizer.from_pretrained(
    BASE_MODEL,
    token=HF_TOKEN
)

base_model = AutoModelForCausalLM.from_pretrained(
    BASE_MODEL,
    device_map="auto",
    torch_dtype=torch.float16,
    token=HF_TOKEN
)


model = PeftModel.from_pretrained(base_model, LORA_REPO)
model.eval()
````

Пример классификации:

```python
def classify(msg: str):
    prompt = (
        "<start_of_turn>user\n"
        "You are a spam classifier. Determine whether the message is spam or not.\n"
        "Answer with only one word: spam or ham.\n\n"
        f"Message:\n{msg}\n"
        "<end_of_turn>\n"
        "<start_of_turn>model\n"
    )

    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

    with torch.no_grad():
        output = model.generate(
            **inputs,
            max_new_tokens=2,
            do_sample=False,
            pad_token_id=tokenizer.eos_token_id,
            eos_token_id=tokenizer.eos_token_id,
        )

    gen = output[0][inputs["input_ids"].shape[-1]:]
    return tokenizer.decode(gen, skip_special_tokens=True).strip().lower()
```

---

## ⚠️ Ограничения

* Это **генеративная классификация**, не `SequenceClassification`
* Возможны ошибки на пограничных сообщениях
* Для high-load рекомендуется logits-классификация

---

## 📄 Лицензия

Лицензия соответствует лицензии базовой модели **Gemma**
и лицензии датасета обучения.

---

## 💖 Поддержка проекта

Если проект оказался полезен, вы можете поддержать его развитие:

- **TON:**  
  `UQAvc2APxFcmNg0-K8TJ8ykdkl2GjwveuVfFd8-NOwHGEeqv`

- **Рубли (Telegram):**  
  Перейдите по старт-ссылке бота  
  👉 [@ModProtectorBot](https://t.me/ModProtectorBot?start=donate)

Спасибо за поддержку ❤️