Cyber-9B-Qwen

Qwen3.5 ベースの 9B モデルを GGUF 形式（Q4_0 量子化）にエクスポートしたリポジトリです。 ローカル環境で llama.cpp 系のランタイム（llama.cpp / LM Studio / Ollama など）から手軽に動かせます。

モデル概要

項目	内容
ベースモデル	DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP
パラメータ数	9B
形式	GGUF
量子化	Q4_0
ビジョン projector	BF16 mmproj（画像入力用）
ライセンス	Apache-2.0

ファイル構成

ファイル	サイズ	説明
Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP.Q4_0.gguf	5.45 GB	本体モデル（Q4_0 量子化）
Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP.BF16-mmproj.gguf	922 MB	マルチモーダル用 projector（BF16）
export_metadata.json	240 B	エクスポート元のメタデータ

テキストのみで使う場合は本体の Q4_0.gguf だけで動作します。画像入力を使う場合は mmproj ファイルも併せて指定してください。

使い方

ダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download summerMC/Cyber-9B-Qwen \
  --include "*Q4_0.gguf" "*mmproj.gguf" \
  --local-dir ./Cyber-9B-Qwen

llama.cpp（テキスト）

llama-cli \
  -m ./Cyber-9B-Qwen/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP.Q4_0.gguf \
  -c 8192 -ngl 99 \
  -p "こんにちは。自己紹介をしてください。"

llama.cpp（画像入力）

llama-mtmd-cli \
  -m ./Cyber-9B-Qwen/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP.Q4_0.gguf \
  --mmproj ./Cyber-9B-Qwen/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP.BF16-mmproj.gguf \
  --image ./sample.jpg \
  -p "この画像を説明してください。"

OpenAI 互換サーバー

llama-server \
  -m ./Cyber-9B-Qwen/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP.Q4_0.gguf \
  --mmproj ./Cyber-9B-Qwen/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP.BF16-mmproj.gguf \
  -c 8192 -ngl 99 --port 8080

使用する llama.cpp は Qwen3.5 アーキテクチャに対応した最新版にしてください。

動作環境の目安

• Q4_0 の本体だけで約 5.5 GB。コンテキスト分を含め、VRAM / メモリ 8 GB 以上を推奨します。
• GPU がない環境でも CPU 推論が可能ですが、速度は低下します。

注意事項・免責

• 本モデルのベースは、安全性フィルタを弱めた（uncensored）派生モデルです。出力内容は未検閲であり、不適切・不正確・有害な内容が生成される可能性があります。
• 生成結果の利用はすべて利用者の責任で行ってください。違法行為、他者への危害、嫌がらせ、なりすまし等への使用は禁止します。
• 事実性は保証されません。重要な判断（医療・法律・金融・セキュリティ等）には必ず専門家による確認を行ってください。
• 量子化（Q4_0）により、元の精度モデルと比べて品質が多少低下する場合があります。

クレジット

• ベースモデル: DavidAU 氏による Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP
• 元アーキテクチャ: Qwen（Alibaba Cloud）
• GGUF エクスポート: summerMC

ライセンス

Apache-2.0。ベースモデルおよび上流モデルのライセンス条件にも従ってください。