| --- |
| license: mit |
| language: |
| - fr |
| tags: |
| - voice-assistant |
| - speech-to-text |
| - text-to-speech |
| - ollama |
| - faster-whisper |
| - kokoro |
| - silero-vad |
| - claude-code |
| --- |
| |
| # 🤖 JARVIS Local |
|
|
| **Ton assistant vocal personnel, façon Iron Man, 100 % sur ton PC. Aucune clé API, rien ne sort de la machine.** |
|
|
| Tu parles à une orbe futuriste. JARVIS te répond à la voix, et il sait vraiment faire des choses : |
|
|
| - 🗣️ **Conversation vocale mains libres** : il détecte tout seul quand tu as fini de parler, et tu peux lui couper la parole |
| - 🛠️ **Vraies tâches sur ta machine** : il délègue à un agent **Claude Code branché sur le modèle local** (fichiers, code, analyses…) et te résume le résultat |
| - 🚀 **Lancer tes applications** sur l'écran de ton choix (« Mets Spotify sur l'écran de gauche ») |
| - 🌐 **Ouvrir des sites** (« Ouvre mes emails ») |
| - 📊 **Cartes, rapports et graphiques** directement sur l'interface |
| - ❌ **Annuler une tâche** à la voix ou d'un clic |
|
|
| ## 🧱 La stack |
|
|
| | Brique | Outil | Où ça tourne | |
| |---|---|---| |
| | Détection de fin de parole | **Silero VAD** (ONNX) | CPU, ~0,1 ms par trame | |
| | Oreille | **faster-whisper** large-v3-turbo (int8) | GPU, ~0,2 s par phrase | |
| | Cerveau | **Qwen3-30B-A3B Instruct** (MoE) via **Ollama** | GPU, ~250 tokens/s | |
| | Voix | **Kokoro** 82M (ONNX) | GPU, ~0,1-0,25 s par phrase | |
| | Agent de tâches | **Claude Code** : tâches simples sur le modèle local (via Ollama), tâches complexes sur ton abonnement Claude | GPU / cloud | |
|
|
| ``` |
| micro ─WebSocket PCM 16 kHz─► Silero VAD ─► Whisper ─► Qwen3 (+ outils) ─► Kokoro ─► haut-parleurs |
| │ |
| └─► delegate_task ─► claude -p (sur Ollama) |
| ``` |
|
|
| La réponse est lue **par morceaux** pendant que le modèle écrit encore : le premier son arrive **~0,8 s** après la fin de ta phrase (affiché dans la console : « 1er son … »). |
|
|
| ### Ce que JARVIS sait faire en plus |
| - **Mémoire** : « Souviens-toi que… » / « Oublie… ». Les faits sont gardés dans `memory.json` (modifiable à la main) et rechargés à chaque session. |
| - **Notifications Windows** à la fin de chaque tâche, et sur demande (« préviens-moi… »). |
| - **Routage des tâches** : il choisit lui-même local ou Claude selon la difficulté ; dis « avec Claude » ou « en mode cloud » pour forcer Claude. |
| - **Heure et date** instantanées (sans passer par l'agent). |
| - **Phrases avec hésitation** : si tu reprends la parole moins d'une seconde après une pause, JARVIS abandonne sa réponse et recolle les deux morceaux. |
| - **Corrections de transcription** : `corrections.json` (« MediaOne » → « Mediawan »…), pris en compte sans redémarrer. |
| - **Journal** : chaque session est enregistrée dans `logs/AAAA-MM-JJ.log` (ce qu'il a entendu, ses réponses, ses outils, la latence). |
|
|
| ## 📋 Prérequis |
|
|
| - Windows, GPU NVIDIA (testé sur RTX 5090 32 Go ; 24 Go = prends un modèle plus petit, voir plus bas) |
| - [Python](https://www.python.org/downloads/) (n'importe quelle version récente : l'installeur crée un environnement 3.12) |
| - [Ollama](https://ollama.com/download) |
| - Optionnel, pour les tâches : [Node.js](https://nodejs.org) + Claude Code (`npm install -g @anthropic-ai/claude-code`). Pas besoin de compte en mode `ollama`. |
|
|
| ## ⚙️ Installation |
|
|
| > 📘 Guide pas à pas complet (versions testées, vérifications, réinstallation sur un nouveau PC) : **[INSTALL.md](INSTALL.md)** |
|
|
| ```powershell |
| powershell -ExecutionPolicy Bypass -File install.ps1 |
| ``` |
|
|
| Le script crée `.venv`, installe les dépendances, télécharge Kokoro et Silero dans `models/`, puis fait `ollama pull qwen3:30b-a3b-instruct-2507-q4_K_M`. Whisper se télécharge tout seul au premier démarrage. |
|
|
| ### ⚡ Réglage Ollama recommandé |
|
|
| Par défaut, Ollama ne traite **qu'une requête à la fois** : pendant qu'une tâche de l'agent tourne, JARVIS ne peut plus te répondre. Pour éviter ça, mets ces variables d'environnement utilisateur, puis **redémarre Ollama** : |
|
|
| ```powershell |
| setx OLLAMA_NUM_PARALLEL 2 |
| setx OLLAMA_FLASH_ATTENTION 1 |
| setx OLLAMA_KV_CACHE_TYPE q8_0 |
| setx OLLAMA_CONTEXT_LENGTH 32768 |
| ``` |
|
|
| Avec ça, le modèle MoE occupe environ 22 Go (2 conversations × 32k de contexte) et laisse de la marge à Whisper et Kokoro sur une carte de 32 Go. |
|
|
| ## 🚀 Lancer |
|
|
| Double-clique **`start.bat`** (ou `.venv\Scripts\python.exe server.py`), puis va sur **http://127.0.0.1:8788**, clique l'orbe, autorise le micro et parle. |
|
|
| - « Bonjour JARVIS, présente-toi. » |
| - « Ouvre Discord sur l'écran de gauche. » |
| - « Lance une tâche : liste les fichiers de mon dossier de travail. » |
| - « Affiche-moi un comparatif des trois plus grandes villes de France. » |
| - « Stop » (en lui coupant la parole) / « Annule la tâche. » |
|
|
| ## 🔧 Personnalisation (`.env`) |
|
|
| Toutes les options sont commentées dans `.env.example`. Les principales : |
|
|
| | Variable | Défaut | Rôle | |
| |---|---|---| |
| | `JARVIS_LLM` | `qwen3:30b-a3b-instruct-2507-q4_K_M` | Modèle Ollama (`qwen3:32b` = dense, un peu plus fin mais ~4x plus lent). Évite `qwen3:30b-a3b` tout court : il raisonne à voix haute | |
| | `JARVIS_USER_NAME` | *(vide)* | Ton prénom : JARVIS t'appelle ainsi au lieu de « monsieur » | |
| | `JARVIS_VOICE` | `ff_siwis` | Voix Kokoro. `ff_siwis` = seule voix française native (féminine). `bm_george`, `bm_lewis`… = hommes britanniques qui parlent français **avec l'accent** : l'effet majordome garanti | |
| | `JARVIS_BARGE_IN` | `1` | Couper JARVIS en parlant. Mets `0` sur haut-parleurs si sa propre voix l'interrompt | |
| | `VAD_THRESHOLD` / `JARVIS_SILENCE_MS` | `0.5` / `550` | Sensibilité du micro / silence qui marque la fin de ta phrase | |
| | `JARVIS_AGENT_BACKEND` | `ollama` | Moteur des tâches simples (`anthropic` = tout sur Claude) | |
| | `JARVIS_COMPLEX_BACKEND` | `anthropic` | Moteur des tâches complexes (`ollama` = 100 % local) | |
| | `JARVIS_CONTINUE_MS` | `1000` | Délai pendant lequel une reprise de parole est la suite de ta phrase | |
| | `JARVIS_TEMPERATURE` | `0.3` | Créativité du modèle (bas = plus stable) | |
| | `JARVIS_HOTWORDS` | *(vide)* | Noms propres à bien reconnaître, séparés par des virgules | |
| | `JARVIS_NOTIFY` | `1` | Notification Windows à la fin des tâches | |
| | `JARVIS_WORKDIR` | `D:/jarvis-workspace` | Seul dossier où l'agent travaille | |
| | `WHISPER_DEVICE` | `cuda` | `cpu` sans GPU NVIDIA (avec `WHISPER_COMPUTE=int8`) | |
|
|
| ## ❓ Problèmes fréquents |
|
|
| - **« Ollama injoignable » au démarrage** : lance Ollama (icône dans la barre des tâches) puis relance. |
| - **JARVIS ne répond plus pendant une tâche** : applique le « Réglage Ollama recommandé » ci-dessus. |
| - **Réponses lentes, `ollama ps` affiche du CPU** : la VRAM est pleine. Ferme les applis gourmandes en GPU, baisse `OLLAMA_CONTEXT_LENGTH`/`JARVIS_NUM_CTX` (24576), ou passe à un modèle plus petit. |
| - **Il s'interrompt tout seul** : sa voix revient dans le micro. Prends un casque, ou `JARVIS_BARGE_IN=0`, ou monte `VAD_THRESHOLD`. |
| - **Chrome ne t'entend pas (Edge oui)** : Chrome capte un autre micro. Choisis le bon dans la liste sous l'orbe (le choix est mémorisé). |
| - **Il transcrit mal un nom propre** (ex. « MediaOne » au lieu de « Mediawan ») : ajoute-le dans `JARVIS_HOTWORDS`. |
| - **Le tout premier démarrage est long** (~30 s pour Whisper) : la carte compile ses noyaux CUDA une fois pour toutes, c'est normal. |
| - **Les tâches sont moins brillantes qu'avec Claude** : c'est un modèle local de 32B dans l'agent. Pour les grosses tâches : `JARVIS_AGENT_BACKEND=anthropic`. |
| - **Les rapports/graphiques ne s'affichent pas** : les composants graphiques de l'interface se chargent depuis un CDN, il faut internet (seulement pour ça). |
|
|
| ## 🔒 Sécurité |
|
|
| - Serveur en **127.0.0.1 uniquement** : ne l'expose jamais sur le réseau. |
| - L'agent tourne **sans demande d'autorisation** (`bypassPermissions`), avec tes droits, dans `JARVIS_WORKDIR`. Garde un dossier dédié. Pour un garde-fou plus strict : `JARVIS_PERMISSION_MODE=acceptEdits` (les commandes shell sont alors refusées). |
|
|
| ## 📄 Licence |
|
|
| MIT — fais-en ce que tu veux. |
|
|
