Instructions to use NGDtuanh/abook-analyzer with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use NGDtuanh/abook-analyzer with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf NGDtuanh/abook-analyzer:Q8_0 # Run inference directly in the terminal: llama cli -hf NGDtuanh/abook-analyzer:Q8_0
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf NGDtuanh/abook-analyzer:Q8_0 # Run inference directly in the terminal: llama cli -hf NGDtuanh/abook-analyzer:Q8_0
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf NGDtuanh/abook-analyzer:Q8_0 # Run inference directly in the terminal: ./build/bin/llama cli -hf NGDtuanh/abook-analyzer:Q8_0
Use Docker
docker model run hf.co/NGDtuanh/abook-analyzer:Q8_0
- Llama new
- LM Studio
- Jan
- vLLM
How to use NGDtuanh/abook-analyzer with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "NGDtuanh/abook-analyzer" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "NGDtuanh/abook-analyzer", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/NGDtuanh/abook-analyzer:Q8_0
- Ollama
How to use NGDtuanh/abook-analyzer with Ollama:
ollama run hf.co/NGDtuanh/abook-analyzer:Q8_0
- Unsloth Desktop
- Pi
How to use NGDtuanh/abook-analyzer with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf NGDtuanh/abook-analyzer:Q8_0
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:9931/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "NGDtuanh/abook-analyzer:Q8_0" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use NGDtuanh/abook-analyzer with Docker Model Runner:
docker model run hf.co/NGDtuanh/abook-analyzer:Q8_0
- Lemonade
How to use NGDtuanh/abook-analyzer with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull NGDtuanh/abook-analyzer:Q8_0
Run and chat with the model
lemonade run user.abook-analyzer-Q8_0
List all available models
lemonade list
- Hermes Agent
How to use NGDtuanh/abook-analyzer with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf NGDtuanh/abook-analyzer:Q8_0
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:9931/v1 hermes config set model.default NGDtuanh/abook-analyzer:Q8_0
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use NGDtuanh/abook-analyzer with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf NGDtuanh/abook-analyzer:Q8_0
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:9931/v1 \ --custom-model-id "NGDtuanh/abook-analyzer:Q8_0" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
abook-speaker:v2
Per-line speaker attribution model for ABook: given one dialogue or thought
line of a Vietnamese novel, with its surrounding paragraphs and the speakers already assigned before it, answers who speaks
it as {"speaker": ...} under ABook's own prompt and schema. Qwen3-4B-Instruct-2507 + a weight-averaged soup of three LoRA
runs, merged, GGUF Q8_0 (3.99 GiB). Apache-2.0. Replaces abook-speaker:v1 with the same prompt and schema.
Model xác định người nói của ABook, bản thay abook-speaker:v1. Sau khi model phân tích (abook-analyzer:v5) làm xong cả
quyển, ABook hỏi lại model này người nói của TỪNG câu thoại và nội tâm, mỗi câu một lời gọi, với cùng cửa sổ văn bản mà
người nghe sẽ thấy quanh câu ấy. Loại câu (kể, thoại, nội tâm) vẫn là của model phân tích. Đề và lược đồ giống hệt v1;
chạy được trên card NVIDIA 8 GB, cùng tốc độ v1. Chỉ đi cặp với abook-analyzer:v5.
Dùng
Studio của ABook tự tải khi cài hoặc khi bấm "Cập nhật Studio", không phải làm gì.
Dùng tay: tải abook-speaker-v2.Q8_0.gguf và Modelfile vào cùng một thư mục, kiểm SHA-256
(813031b68a16c04032cc776341b0369dbec7adef66a28c2488b37fcdd376520a), rồi chạy:
ollama create abook-speaker:v2 -f Modelfile
Gửi "think": false, format là schema {"speaker": string}, nhiệt độ 0, hạt 0, num_ctx 16384 như ABook
(abook/speaker_pass.py). Model chỉ học đúng đề của ABook, hỏi theo kiểu khác thì không có gì bảo đảm.
Huấn luyện
- Nền:
Qwen/Qwen3-4B-Instruct-2507(Apache-2.0). Điểm xuất phát: adapter của v1 (LoRA r=16, alpha 32). - Học tiếp 716 bước (accum 8, lr 1e-4 cosine) trên 5.728 mẫu (cùng câu hỏi như v1), nhưng lịch sử "người nói đã gán trước câu này" trong đề được làm nhiễu giống lỗi thật: 27 % mục lịch sử đổi sang nhãn sai theo đúng tỉ lệ các kiểu lỗi mà v1 mắc khi tự đoán (đổi lượt, nhầm sang nhân vật đã biết, sang vai phụ, sang tên lạ). Model học trả lời đúng cả khi lịch sử trước đó sai - đúng tình huống lúc chạy thật, khi lịch sử là do chính nó đoán.
- Học ba lần chỉ khác hạt (1234, 1, 4321) từ cùng adapter v1, rồi lấy TRUNG BÌNH trọng số của ba lần (model soup, đúng từng phần tử của ΔW = B·A). Một lần học riêng dao động tới 1,6 điểm giữa các hạt; trung bình ba lần tốt hơn cả lần tốt nhất.
- Loss chỉ tính trên câu trả lời: model học gán nhãn, không học sinh lại văn bản truyện. Nhãn từ đáp án chuẩn của dự án; chương dùng để đo không bao giờ vào dữ liệu huấn luyện. Văn bản truyện không được phát hành.
Kết quả đo
Chỉ số: độ đúng người nói theo giọng nghe, sau đúng các bước chuẩn hoá tên mà app chạy, trên 56 chương chưa học (44 truyện) so với đáp án chuẩn, model phân tích v5 cho loại câu, lịch sử do chính model tự đoán (như lúc chạy thật).
| bộ đo | v1 | v2 | chênh |
|---|---|---|---|
| 56 chương, máy dev (card 8 GB) | 79,11 | 81,40 | +2,30 |
| cổng 19 chương, máy dev | 81,17 | 82,98 | +1,81 |
| 56 chương, đo lặp trên máy thứ hai (Mac mini) | 78,55 | 81,36 | +2,81 |
Khoảng tin cậy 95 % (bootstrap theo truyện) của chênh so với bản đối chứng học cùng công thức không nhiễu: [+0,51; +3,80]. Đo lặp ở máy khác cùng dấu, cùng cỡ.
Giấy phép
Apache-2.0, như model nền Qwen3-4B-Instruct-2507.
- Downloads last month
- 187
8-bit
Model tree for NGDtuanh/abook-analyzer
Base model
Qwen/Qwen3-4B-Instruct-2507