README.md

---
language:
- fr
- en
license: apache-2.0
library_name: llama.cpp
pipeline_tag: text-generation
base_model: Qwen/Qwen2.5-Coder-3B-Instruct
tags:
- code
- php
- html
- css
- sql
- javascript
- gguf
- llama.cpp
- lora
- peft
- cpu
- webcoder
- fr
model_name: webcoder-3b
---

# WebCoder 3B (webcoder-3b)

Assistant local de **développement Web** (PHP, HTML, CSS, SQL, JavaScript), adapté par LoRA,
fusionné puis quantifié en GGUF. Conçu pour tourner **sur CPU, sans GPU**.

- **Auteur / identité** : **WebCoder**, créé par **Pierre Jean Duvivier** (l'identité est apprise et vérifiée).
- **Base** : [`Qwen/Qwen2.5-Coder-3B-Instruct`](https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct) @ `488639f1ff808d1d3d0ba301aef8c11461451ec5` (Apache-2.0).
- **Format** : GGUF (`Q8_0`), prêt pour `llama.cpp` / `llama-server`.
- **Fichier** : `webcoder-3b-q8_0.gguf` (~3,06 Gio).

## Description

`webcoder-3b` est un petit modèle spécialisé pour **écrire et corriger du code Web**.
Il combine :

1. une base **Qwen2.5-Coder-3B-Instruct** (même famille que le 1,5B utilisé auparavant) ;
2. un **LoRA « seed »** (rang 8, `q_proj`/`v_proj`) appris sur des corpus d'**identité**, de **chat**
   et de **worker** (`format de blocs ```file:CHEMIN``` pour éditer des fichiers) ;
3. une **fusion** dans les poids de base, puis une **quantification Q8_0** en GGUF.

Le modèle répond en **français** par défaut, connaît son identité (« WebCoder »), et sait produire
du code Web dans le **format worker** (un bloc par fichier, contenu complet).

## Utilisation (llama.cpp / llama-server, CPU)

```sh
llama-server --model webcoder-3b-q8_0.gguf \
  --ctx-size 4096 --parallel 1 --n-gpu-layers 0 \
  --threads 6 --host 127.0.0.1 --port 8081
```

Puis, via l'API OpenAI-compatible :

```sh
curl http://127.0.0.1:8081/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "webcoder-3b",
  "messages": [{"role":"user","content":"Ecris une fonction PHP qui inverse une chaine."}],
  "max_tokens": 256, "temperature": 0.2
}'
```

Le **format worker** attend un bloc par fichier modifié :

````text
```file:src/exemple.php
<?php
...contenu complet du fichier...
```
````

## Entraînement (résumé)

| Élément | Valeur |
|---|---|
| Base | Qwen2.5-Coder-3B-Instruct @ `488639f1…` |
| Méthode | LoRA (PEFT), rang 8, alpha 16, dropout 0.05–0.1, cibles `q_proj`,`v_proj` |
| Corpus seed | identité + chat + worker (`chat_corpus` + `t28g_corpus`, 317 ex.) |
| Pas | 150 microsteps, LR 5e-5, sélection sur validation |
| Précision | base FP32 (CPU, sans GPU) |
| Export | fusion (PEFT `merge_and_unload`) → GGUF f16 → `llama-quantize` Q8_0 |
| Dtype servi | Q8_0 (~3,06 Gio) |

Entraînement **CPU uniquement** (politique CPU-first du projet).

## Évaluation (banc interne « apps PHP », format worker)

Réussite au 1er essai sur des tâches PHP **from-scratch** (réserve tenue à l'écart) :

| Famille | Score |
|---|---|
| Fonctions courtes (facile) | 8/8 |
| Multi-fonctions / état (`z`) | 5/5 |
| Divers (`y`) | 4/5 |
| Programmes multi-fichiers (`p`) | 2/4 |
| **Identité** (`identity_check`) | **OK** |
| **Chat** (4 questions) | **4/4** |

Comparé à un modèle 1,5B (même recette), la 3B est **nettement meilleure** sur les tâches dures
(la capacité était le facteur limitant).

## Limites

- **Pas agentique** : pas de *tool-calling* structuré ; à utiliser comme **assistant de code / worker** derrière un orchestrateur déterministe.
- **Applications Web complètes depuis zéro** (ex. un jeu du pendu web fonctionnel) : **encore hors de portée** (échec mesuré ; persistance d'état en session).
- Le code généré **n'est pas garanti sûr** ; revue humaine requise pour paiements, authentification, migrations.
- Qualité hors du périmètre Web (PHP/HTML/CSS/SQL/JS) **non mesurée**.
- Inférence CPU lente au premier message (préfill), rapide ensuite (cache KV).

## Licence

Modèle de base sous **Apache-2.0**. Les adaptations et l'export conservent cette licence.
Voir le `LICENSE` du modèle de base.

## Citation / attribution

```
WebCoder 3B (webcoder-3b) — Pierre Jean Duvivier.
Base : Qwen2.5-Coder-3B-Instruct (Alibaba Cloud, Apache-2.0).
```