Instructions to use PyThaGo/LLMLit with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use PyThaGo/LLMLit with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf PyThaGo/LLMLit # Run inference directly in the terminal: llama cli -hf PyThaGo/LLMLit
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf PyThaGo/LLMLit # Run inference directly in the terminal: llama cli -hf PyThaGo/LLMLit
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf PyThaGo/LLMLit # Run inference directly in the terminal: ./llama-cli -hf PyThaGo/LLMLit
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf PyThaGo/LLMLit # Run inference directly in the terminal: ./build/bin/llama-cli -hf PyThaGo/LLMLit
Use Docker
docker model run hf.co/PyThaGo/LLMLit
- LM Studio
- Jan
- Ollama
How to use PyThaGo/LLMLit with Ollama:
ollama run hf.co/PyThaGo/LLMLit
- Unsloth Desktop
- Pi
How to use PyThaGo/LLMLit with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf PyThaGo/LLMLit
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "PyThaGo/LLMLit" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use PyThaGo/LLMLit with Docker Model Runner:
docker model run hf.co/PyThaGo/LLMLit
- Lemonade
How to use PyThaGo/LLMLit with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull PyThaGo/LLMLit
Run and chat with the model
lemonade run user.LLMLit-{{QUANT_TAG}}List all available models
lemonade list
- Hermes Agent
How to use PyThaGo/LLMLit with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf PyThaGo/LLMLit
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default PyThaGo/LLMLit
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use PyThaGo/LLMLit with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf PyThaGo/LLMLit
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:8080/v1 \ --custom-model-id "PyThaGo/LLMLit" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
|
Download README.md from PyThaGo/LLMLit: direct link, hf CLI and curl.
- Browser
- Download file 6.15 kB
-
https://huggingface.co/PyThaGo/LLMLit/resolve/f2cfb57bdbfac8a655cacd128feec776795a74cc/README.md
- Command line
-
hf download hf://PyThaGo/LLMLit@f2cfb57bdbfac8a655cacd128feec776795a74cc/README.md
-
curl -L -o README.md https://huggingface.co/PyThaGo/LLMLit/resolve/f2cfb57bdbfac8a655cacd128feec776795a74cc/README.md
6.15 kB
| license: mit | |
| language: | |
| - en | |
| - ro | |
| base_model: | |
| - LLMLit/LLMLit | |
| tags: | |
| - LLMLiT | |
| - Romania | |
| - LLM | |
| datasets: | |
| - LLMLit/LitSet | |
| metrics: | |
| - accuracy | |
| - character | |
| - code_eval | |
| --- | |
| # **LLMLit – Model Card** | |
| 📌 *High-performance multilingual LLM for English & Romanian NLP tasks* | |
| 🔗 [LLMLit on Hugging Face](https://huggingface.co/LLMLit) | |
| 🔗 [LitSeekR1 on Hugging Face](https://huggingface.co/LLMLit/LitSeekR1) | |
| --- | |
| ## **🔍 Quick Summary** | |
| **LLMLit** este un model de limbaj mare (LLM) performant, multilingv, optimizat din **Meta’s Llama 3.1 8B Instruct**. Este conceput pentru **task-uri NLP în limba engleză și română**, având capacități avansate de **urmărire a instrucțiunilor, înțelegere contextuală și generare de conținut precis**. | |
| ## **📌 Model Details** | |
| 🔹 **Descriere:** LLMLit poate fi utilizat pentru **generare de conținut, sumarizare, răspuns la întrebări și multe altele**. | |
| 🔹 **Fine-tuning:** Modelul a fost antrenat pentru **adherarea la instrucțiuni de înaltă calitate și o mai bună înțelegere a contextului**. | |
| 🔹 **Utilizatori țintă:** Dezvoltatori, cercetători și companii care au nevoie de **soluții NLP fiabile**. | |
| | Caracteristici | Detalii | | |
| |----------------|---------| | |
| | 🏢 **Dezvoltat de** | LLMLit Development Team | | |
| | 💰 **Finanțare** | Contribuții open-source & sponsori privați | | |
| | 🌍 **Limbaje** | Engleză (en), Română (ro) | | |
| | 🏷 **Licență** | MIT | | |
| | 🔗 **Model de bază** | `meta-llama/Llama-3.1-8B-Instruct` | | |
| | 📂 **Resurse** | [GitHub Repository](#) / Paper: *To be published* | | |
| | 🚀 **Demo** | *Coming Soon* | | |
| --- | |
| ## **💡 Utilizări principale** | |
| ### ✅ **Utilizare directă** | |
| LLMLit poate fi aplicat la: | |
| ✔️ Generarea de răspunsuri asemănătoare celor umane | |
| ✔️ Traducere între **engleză și română** | |
| ✔️ Sumarizarea articolelor, rapoartelor și documentelor | |
| ✔️ Răspuns la întrebări complexe cu sensibilitate la context | |
| ### 🚀 **Utilizare avansată (fine-tuning & integrare)** | |
| LLMLit poate fi optimizat pentru: | |
| 🗨️ **Chatboți & asistenți virtuali** | |
| 📚 **Instrumente educaționale bilingve** | |
| ⚖️ **Analiza documentelor legale/medicale** | |
| 🛒 **Automatizare în e-commerce & suport clienți** | |
| ### ❌ **Utilizări nerecomandate** | |
| ⛔ Aplicații neetice (dezinformare, manipulare) | |
| ⛔ Luarea deciziilor critice fără supervizare umană | |
| ⛔ Task-uri care necesită **performanță în timp real** | |
| --- | |
| ## **⚠️ Bias, Riscuri și Limitări** | |
| 🔍 **Bias:** Modelul poate reflecta bias-urile existente în datele de antrenament. | |
| ⚠️ **Riscuri:** Poate genera informații inexacte sau neconforme. | |
| 📌 **Limitări:** | |
| - Performanța depinde de **calitatea prompturilor**. | |
| - Înțelegere limitată a domeniilor **foarte tehnice sau de nișă**. | |
| 🔹 **Recomandări:** | |
| ✔️ Revizuirea output-ului pentru **aplicații sensibile**. | |
| ✔️ Fine-tuning pentru sarcini specifice pentru **minimizarea riscurilor**. | |
| --- | |
| ## **🚀 Cum să începi cu LLMLit** | |
| Pentru a utiliza LLMLit, instalează librăriile necesare și încarcă modelul: | |
| ```python | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| # Încarcă modelul și tokenizer-ul | |
| model = AutoModelForCausalLM.from_pretrained("llmlit/LLMLit-0.2-8B-Instruct") | |
| tokenizer = AutoTokenizer.from_pretrained("llmlit/LLMLit-0.2-8B-Instruct") | |
| # Generează text | |
| inputs = tokenizer("Your prompt here", return_tensors="pt") | |
| outputs = model.generate(**inputs, max_length=100) | |
| ``` | |
| --- | |
| Iată o documentație simplă și clară despre cum să instalezi **Ollama** și să rulezi **LLMLit** de pe Hugging Face. | |
| --- | |
| # **📌 Ghid de Instalare: Ollama + LLMLit** | |
| ## **🔹 Pasul 1: Instalarea Ollama** | |
| Ollama este un framework ușor pentru rularea modelelor **LLM (Large Language Models)** local. | |
| ### **🖥️ Pentru macOS & Linux** | |
| 1️⃣ **Deschide un terminal și rulează:** | |
| ```sh | |
| curl -fsSL https://ollama.com/install.sh | sh | |
| ``` | |
| 2️⃣ **Repornește terminalul pentru a aplica modificările.** | |
| ### **🖥️ Pentru Windows (Necesită WSL2)** | |
| 1️⃣ **Activează WSL2 și instalează Ubuntu:** | |
| - Deschide **PowerShell** ca administrator și rulează: | |
| ```powershell | |
| wsl --install | |
| ``` | |
| - Repornește computerul. | |
| 2️⃣ **Instalează Ollama în WSL2:** | |
| ```sh | |
| curl -fsSL https://ollama.com/install.sh | sh | |
| ``` | |
| 3️⃣ **Verifică dacă Ollama este instalat corect:** | |
| ```sh | |
| ollama | |
| ``` | |
| Dacă apare meniul de utilizare, instalarea a fost realizată cu succes! 🎉 | |
| --- | |
| ## **🔹 Pasul 2: Instalarea LLMLit de pe Hugging Face** | |
| LLMLit poate fi descărcat și rulat în Ollama folosind comanda `ollama pull`. | |
| 1️⃣ **Deschide un terminal și rulează:** | |
| ```sh | |
| ollama pull llmlit/LLMLit-0.2-8B-Instruct | |
| ``` | |
| 2️⃣ **Verifică dacă modelul a fost instalat:** | |
| ```sh | |
| ollama list | |
| ``` | |
| Ar trebui să vezi **LLMLit** în lista de modele disponibile. ✅ | |
| --- | |
| ## **🔹 Pasul 3: Rularea LLMLit în Ollama** | |
| După instalare, poți începe să interacționezi cu **LLMLit** astfel: | |
| ```sh | |
| ollama run llmlit/LLMLit-0.2-8B-Instruct | |
| ``` | |
| Aceasta va deschide o sesiune locală unde poți discuta cu modelul. 🤖 | |
| Pentru a trimite un prompt personalizat: | |
| ```sh | |
| ollama run llmlit/LLMLit-0.2-8B-Instruct "Salut, cum pot folosi LLMLit?" | |
| ``` | |
| --- | |
| ## **🔹 Pasul 4: Utilizarea LLMLit în Python** | |
| Dacă vrei să integrezi **LLMLit** într-un script Python, instalează librăria necesară: | |
| ```sh | |
| pip install ollama | |
| ``` | |
| Apoi, creează un script Python: | |
| ```python | |
| import ollama | |
| response = ollama.chat(model='llmlit/LLMLit-0.2-8B-Instruct', messages=[{'role': 'user', 'content': 'Cum funcționează LLMLit?'}]) | |
| print(response['message']['content']) | |
| ``` | |
| --- | |
| 🚀 **Gata!** Acum ai **Ollama + LLMLit** instalat și pregătit de utilizare local!😊 | |
| 🔗 **Mai multe detalii:** [LLMLit on Hugging Face](https://huggingface.co/LLMLit) 🚀 | |
|  | |
| --- |