Instructions to use 88Jerry/mimolite-sft-v8 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use 88Jerry/mimolite-sft-v8 with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf 88Jerry/mimolite-sft-v8:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf 88Jerry/mimolite-sft-v8:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf 88Jerry/mimolite-sft-v8:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf 88Jerry/mimolite-sft-v8:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf 88Jerry/mimolite-sft-v8:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf 88Jerry/mimolite-sft-v8:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf 88Jerry/mimolite-sft-v8:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf 88Jerry/mimolite-sft-v8:Q4_K_M

Use Docker

docker model run hf.co/88Jerry/mimolite-sft-v8:Q4_K_M

LM Studio
Jan

vLLM

How to use 88Jerry/mimolite-sft-v8 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "88Jerry/mimolite-sft-v8"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "88Jerry/mimolite-sft-v8",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/88Jerry/mimolite-sft-v8:Q4_K_M

Ollama
How to use 88Jerry/mimolite-sft-v8 with Ollama:
```
ollama run hf.co/88Jerry/mimolite-sft-v8:Q4_K_M
```
Unsloth Desktop
Docker Model Runner
How to use 88Jerry/mimolite-sft-v8 with Docker Model Runner:
```
docker model run hf.co/88Jerry/mimolite-sft-v8:Q4_K_M
```

Lemonade

How to use 88Jerry/mimolite-sft-v8 with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull 88Jerry/mimolite-sft-v8:Q4_K_M

Run and chat with the model

lemonade run user.mimolite-sft-v8-Q4_K_M

List all available models

lemonade list

Atomic Chat

MiMoLite-SFT-v8

从零预训练、106M 参数、无蒸馏的代码生成大语言模型（数据工程主线）。全部实验在单张 RTX 5070 Laptop 8GB 上完成。本模型页发布 GGUF 权重（FP16 + Q4_K_M）。

中文摘要：自建 100 题代码评测集上 pass@1 = 29%、pass@8 = 57%、pass@16 = 59%； 3 个随机种子重复验证均值 pass@1 = 28%、pass@8 = 56%。全程不蒸馏、不改结构，只在数据侧迭代。标准英文基准（HumanEval / MBPP）上为 0%，存在明确的外分布泛化鸿沟，如实披露。

文件

文件	说明	SHA-256
`mimolite-sftv8.gguf`	GGUF v3, FP16, 210.7 MiB	`A9F01E90EBA906713EFCAAB4A9112F18A4E27D253225740EB73FBAFD0672F4F9`
`mimolite-sftv8-Q4_K_M.gguf`	GGUF v3, Q4_K_M, 79.1 MiB	`54F4FB4289FA256F807AE19963BDC6849C534AE250D73600710E721943140668`
`mimolite-sftv8.json`	导出元信息（架构/step/参数量）	—

使用（llama.cpp）

llama-cli -m mimolite-sftv8-Q4_K_M.gguf -p "请实现函数 fib：计算第 n 个斐波那契数。" -n 256

实测（RTX 5070 Laptop, llama.cpp 0.4.0-dev, CUDA）：Q4_K_M prompt 23k t/s / generation 1.6k t/s。

训练数据（合规）

自研规则化模板合成代码数据（无教师蒸馏，种子 7/8/9，MIT）：仓库 data/synth_code_*.jsonl
预训练语料：中英维基 + 古腾堡清洗子集——不在本仓库/模型页分发，义务见 NOTICE.md
评测锚点：HumanEval（MIT）/ MBPP（CC-BY-4.0）仅本地使用，不随附

训练过程

阶段	步数	说明
预训练 a001_B1_v2	4500 步	中英 75:25，约 148M tokens
SFT sft_v8	10 epochs（330 步）	600 模板变体 + 评测频次加权（HOT16/其他 6）

复现命令：仓库 README「复现主线」完整给出（合成 → 去重合并 → SFT → 评测）。

架构

8 层 / d_model 960 / GQA（15 query 头 / 5 KV 头，d_head 64）/ SWA:GA = 6:1（窗口 128）/ SwiGLU / RoPE(interleaved) / MTP 1 层（权重 0.3，导出总参 110.12M）/ 词表 16,384。

评测

基准	pass@1	pass@8	pass@16
自建 100 题（内分布）	29%	57%	59%
HumanEval（外分布）	0%	0%	—
MBPP（外分布）	0%	0%	—

多 seed：pass@1 均值 28%（29/31/24）、pass@8 均值 56%（57/58/52）。

负结果（完整记录）：GRPO 四轮（106M+8GB 暂不可行，奖励稀疏）；v9/v10 负优化（预算守恒律：有限预算内强化 A 必然削弱 B）。详见研究报告 §4.4/§4.5/§8。

已知局限

外分布泛化为 0，能力绑定训练分布的题面—函数名组合
指令边界脆弱：中文尾语（如"即可。"）可能混入代码导致语法错误
极小模型：长链推理、工具调用、对话不在能力范围
仅研究用途，非生产级

许可

代码 / 权重 / 自研数据：MIT
第三方数据义务：NOTICE.md

引用

自研 106M 大语言模型数据侧能力迭代研究报告（MiMoLite），2026。仓库：https://github.com/Jerry-small-lucky/mimolite · 研究报告：docs/自研106M大模型数据侧能力迭代研究报告.docx

Downloads last month: 20

GGUF

Model size

0.1B params

Architecture

qwen3

Hardware compatibility

4-bit

View +1 variant