Instructions to use miutti/intel-mac-local-llm with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use miutti/intel-mac-local-llm with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf miutti/intel-mac-local-llm:UD-Q2_K_XL
# Run inference directly in the terminal:
llama cli -hf miutti/intel-mac-local-llm:UD-Q2_K_XL

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf miutti/intel-mac-local-llm:UD-Q2_K_XL
# Run inference directly in the terminal:
llama cli -hf miutti/intel-mac-local-llm:UD-Q2_K_XL

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf miutti/intel-mac-local-llm:UD-Q2_K_XL
# Run inference directly in the terminal:
./llama-cli -hf miutti/intel-mac-local-llm:UD-Q2_K_XL

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf miutti/intel-mac-local-llm:UD-Q2_K_XL
# Run inference directly in the terminal:
./build/bin/llama-cli -hf miutti/intel-mac-local-llm:UD-Q2_K_XL

Use Docker

docker model run hf.co/miutti/intel-mac-local-llm:UD-Q2_K_XL

Llama new
LM Studio
Jan

vLLM

How to use miutti/intel-mac-local-llm with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "miutti/intel-mac-local-llm"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "miutti/intel-mac-local-llm",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/miutti/intel-mac-local-llm:UD-Q2_K_XL

Ollama
How to use miutti/intel-mac-local-llm with Ollama:
```
ollama run hf.co/miutti/intel-mac-local-llm:UD-Q2_K_XL
```
Unsloth Desktop

How to use miutti/intel-mac-local-llm with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf miutti/intel-mac-local-llm:UD-Q2_K_XL

Configure the model in Pi

# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "miutti/intel-mac-local-llm:UD-Q2_K_XL"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Docker Model Runner
How to use miutti/intel-mac-local-llm with Docker Model Runner:
```
docker model run hf.co/miutti/intel-mac-local-llm:UD-Q2_K_XL
```

Lemonade

How to use miutti/intel-mac-local-llm with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull miutti/intel-mac-local-llm:UD-Q2_K_XL

Run and chat with the model

lemonade run user.intel-mac-local-llm-UD-Q2_K_XL

List all available models

lemonade list

Hermes Agent

How to use miutti/intel-mac-local-llm with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf miutti/intel-mac-local-llm:UD-Q2_K_XL

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default miutti/intel-mac-local-llm:UD-Q2_K_XL

Run Hermes

hermes

Atomic Chat

OpenClaw

How to use miutti/intel-mac-local-llm with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf miutti/intel-mac-local-llm:UD-Q2_K_XL

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "miutti/intel-mac-local-llm:UD-Q2_K_XL" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

intel-mac-local-llm / source /README.md

miutti

Source: kernel, desktop app, tools (snapshot of the GitHub repo)

df41178 verified 22 days ago

preview code

Raw History Blame Contribute Delete

9.92 kB

Intel Mac Local LLM — 古い Mac で動く「育つ AI」

16GB・GPU なしの Intel Mac で、ローカルの AI に Mac の仕事（ファイルの整理・読み書き・状態の確認・調べもの）をさせる実験と道具です。合言葉は 「早い・安い・賢い」。モデルを大きくせず、仕組みと道具で賢くできるかを測りながら進めています。

だれ向け？

あなたの Mac	どうなるか
Intel Mac・メモリ16GB以上	いちばん想定している環境。下の数字はすべてこの条件（i7-9750H・16GB）で測りました
Intel Mac・メモリ8GB	今の頭脳（7.7GiB）は入りません。もっと小さい頭脳で動かす版を検討中です
Apple シリコン（M1〜M5）	速さやメモリの節約は要らないはずです。それでも使う意味があるのは、下の門番（危ない操作を止める）と育つ AI（芯・感情の記憶・個性の種）。頭脳は llama.cpp なので動くはずですが、まだ試していません

頭脳（ローカル LLM）: Qwen3.6-35B-A3B。専門家を 256人 → 160人に削った 7.7GiB 版（元は 11.7GiB）。
カーネル（手下）: 頭脳が呼ぶ道具と、危ない操作を止める門番。命令は sandbox-exec で隔離し、消す・送るなどは本人の承認が要ります。
事前学習: 空いた時間に Wikipedia・教科書・文学・法令・論文を読み、知識の箱と学習ノートに貯めて答えに使います。
育つ AI: 大事にしていること（芯）と感情の記憶を持ち、経験から自分の性格を書きます。育った個性は「個性の種」として人に渡せます（下に説明）。

いまの姿（2026-10-03）

測ったもの	結果	メモ
PC 操作の公開回帰テスト（全41問）	36/41・38/41（10/3、160人版）	開発中に直しにも使った問題。1回ごとに±2問ぶれる
知識の問い（25問）	23/25（元 24/25）	事前学習の知識だけで答える
書く速さ	8.1〜9.1 字/秒（元 8.3〜8.6）	変わらない
頭脳のメモリ	8.0〜8.2GB（元 9.6〜10.0GB）	頼みの控えを 512MB に絞り、自前の分は最大 2.0GB
最初の頼みで読み直す量	268トークン・9秒（前は 1,755トークン・83秒）	立ち上げ時に前置きを先に読む

数字はすべてこの Mac・この条件での測定です。秘密の評価問題集も作成中です。GitHub には置かず、開発者も問題の中身を見ず、結果は別に出します。経緯と細かい数字は dougu/jikken/KEKKA.md。

育つ AI（個性の種）— 2026-10-04〜

模型（重み）は皆同じでも、何を読み、どう受け止め、何を大事にしてきたかが違えば、別の個性になる。カーネルはそれを3つで持つ。

芯（kernel/shin.py）: 大事にしていること。最初の6つは Claude Code が考えた「生きるのに必要なこと」（知りたいと思う・正直でいる・失敗から変わる・相手をよく聞く・休む・自分で選ぶ）。週に1回 AI 自身が言い直したり足したりする。「正直」だけは外せない。
感情の記憶（kernel/kanjou.py）: 点数ではなく「読む前の予想 → 実際 → 感情の言葉 → 理由（芯に照らして）→ 次にすること」。「もっと知りたい」と受け止めた記事は、つながる記事を次に読む＝感情がふるまいを変える。
自己紹介と学習ノート: 読んだ記事の要点と面白さから、AI が自分で性格を書く。

個性の種（kernel/kosei.py）でこれを1つのファイルに書き出せる。別の人が読み込むと、新しい個性ID と系譜（誰から受け継いだか）が付き、その人のもとでの経験から別の個性へ育っていく。会話・頼み・ファイルの場所など私的な物は種に入れない。読み込む側は種を資料として扱い、決まり・権限を変える文は落とす。

python3 kernel/kosei.py kakidasu 種.kosei.json --namae 名前   # 書き出す
python3 kernel/kosei.py yomikomu 種.kosei.json                 # 受け継いで育て始める

フォルダの地図

場所	中身
kernel/	カーネルの写し（アプリの server.py・画面 ui.html・事前学習・試験）。本番は git の外にあり、ここから入れる
dougu/	測る・入れる・調べる道具。輪（頭脳が道具を呼ぶ仕組み）は dougu/jiyuu.py
monosashi/	物差し（問題集と採点）。全41問は monosashi/jiyuu.jsonl
llama_patch/	圧縮入りの llama.cpp に当てる差分（語彙を 99.99% に絞るなど）
experiments/・lib/	8月の量子化・圧縮の研究（古い。状態は EXPERIMENTS.md）
gcloud/・modal/・lora/	クラウドで試した量子化・LoRA（不採用）

説明の紙

紙	何が書いてあるか
dougu/jikken/KEKKA.md	いちばん新しい実験の記録（日付順）
MODEL.md	使っているモデルが何であって、何ではないか
docs/REPRO.md	現行モデルの再現に要る物と測り方
docs/archive/	古い説明書の記録
ANZEN.md	断る力（安全性）の測定
YOUGO.md	独自の呼び方と一般の用語の対応表
LOG.md	9月までの実験の経緯と訂正（README 旧版の本文）
RESULTS.md	8月の量子化の測定結果
EXPERIMENTS.md	`experiments/`・`lib/` の状態（正直な点検）
NOTES.md	古い研究ノート
AGENTS.md	AI（Claude Code・Codex）向けの仕事の決めごと

動かしかた（いまの頭脳）

Hugging Face の unsloth/Qwen3.6-35B-A3B-GGUF から UD-Q2_K_XL を落とす（約 12.6GB）。
llama.cpp（b31b71f）に llama_patch/ を当てて建てる。llama-imatrix も一緒に建てる。
削る: python3 dougu/kezuru_tejun.py --dan kezuru（校正文で imatrix を作り、192人・160人版を作って一問と知識25問で確かめる）。
立てる: llama-server -m 削った.gguf -t 6 -ngl 0 -c 32768 -np 2 -kvu --no-cache-idle-slots -cram 512 -fa off --reasoning-format none

30B 時代の始め方（考える深さを試す・特別なモデル不要）

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && git checkout fa67698 && cmake -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j && cd ..
curl -L -o Qwen3-30B-A3B-Q2_K.gguf \
  https://huggingface.co/unsloth/Qwen3-30B-A3B-GGUF/resolve/main/Qwen3-30B-A3B-Q2_K.gguf
./llama.cpp/build/bin/llama-server -m Qwen3-30B-A3B-Q2_K.gguf -ngl 0 -c 8192 -np 1 -cb \
  --spec-type ngram-simple -ctk q8_0 -ctv q8_0 --host 127.0.0.1 --port 8080
python3 kangaeru_fukasa.py "12個のりんごを3人で分けて、余りは箱に戻します。余りは何個？"

Python 側は標準ライブラリだけ。深さ 0〜3 を順に試して秒数と一緒に出します。問題集で測るなら monosashi/tsukuru.py --kazu 120 → monosashi/hakaru.py --fukasa 2。

測り方

全41問は開発に使った公開の回帰テスト。秘密の評価問題集とは分け、そちらの結果は別に出す。
速さ・正解率は、同じ機械・同じ条件の基準との比で読む。1回の数字は1回の数字として読む。
重い調査・実装は Codex、検証と組み込みは Claude Code。ローカルの頭脳には、カーネルや AI の仕組みは触らせない。

これからの課題

読み取りを必要最小限にする。
Web などから読んだ文を、道具を使う権限から切り離す。
実機の Intel Mac で自動試験する。
RAM・swap・最初の1字が出るまでの時間を並べて記録する。

ことわり

測定は Intel Mac・CPU 推論・16GB という特殊な条件です。Apple Silicon や GPU では、とくに速さの結論が変わります。
モデルの重みは含みません。ライセンスは元モデル（Qwen）に従ってください。

ライセンス

MIT（LICENSE）。実験コードと記録が対象で、モデルの重みは含みません。

miutti
/

intel-mac-local-llm

Intel Mac Local LLM — 古い Mac で動く「育つ AI」

だれ向け？

いまの姿（2026-10-03）

育つ AI（個性の種）— 2026-10-04〜

最近わかったこと

フォルダの地図

説明の紙

動かしかた（いまの頭脳）

測り方

これからの課題

ことわり

ライセンス