Toshizo513/Hy-MT1.5-1.8B-Q5_K_M-GGUF

Hy-MT1.5-1.8B Q5_K_M GGUF

tencent/HY-MT1.5-1.8B を Q5_K_M (5.78 BPW) で量子化した GGUF ファイルです。

• 元モデル: tencent/HY-MT1.5-1.8B (HunYuanDenseV1ForCausalLM, 1.8B params)
• 量子化: Q5_K_M (llama-quantize from llama.cpp b9093)
• ファイルサイズ: 1.20 GiB (3.3 GiB FP16 → Q5_K_M)
• 対応言語: 33 言語 (1056 翻訳方向)
• 用途: iOS アプリ DokodemoTranslate のローカル翻訳エンジン

変更点 (Tencent HY License Section 3.b に基づく明示)

Q5_K_M quantization by DokodemoTranslate maintainer, derived from tencent/HY-MT1.5-1.8B (FP16 safetensors). Conversion pipeline: convert_hf_to_gguf.py --outtype f16 → llama-quantize ... Q5_K_M. No model architecture, weights training, or vocabulary modification.

ライセンス

本モデルは Tencent HY Community License Agreement に基づき配布されています。

Tencent HY is licensed under the Tencent HY Community License Agreement, Copyright © 2025 Tencent. All Rights Reserved. The trademark rights of "Tencent HY" are owned by Tencent or its affiliate.

Powered by Tencent HY.

重要: 地域制限 (Territory Restriction)

本ライセンスは EU・英国・韓国を Territory から除外しています (License Section 1.l, 5.c)。

"Territory" shall mean the worldwide territory, excluding the territory of the European Union, United Kingdom and South Korea.

You must not use, reproduce, modify, distribute, or display the Tencent HY Works ... outside the Territory.

EU・UK・KR でのご利用は許諾範囲外です。フルライセンスは LICENSE を参照。

推奨推論パラメータ

{
  "top_k": 20,
  "top_p": 0.6,
  "repetition_penalty": 1.05,
  "temperature": 0.7
}

system prompt はデフォルトで設定しません (元モデル仕様)。

プロンプト

中国語が source または target の場合 (ZH<=>XX):

将以下文本翻译为{target}，注意只需要输出翻译后的结果，不要额外解释：

{source_text}

それ以外 (XX<=>XX):

Translate the following segment into {target}, without additional explanation.

{source_text}

llama.cpp での利用

llama.cpp b9093 以降で hunyuan-dense アーキテクチャがサポートされます。

./llama-cli -m hy-mt1.5-1.8b-q5_k_m.gguf \
    -p "<｜hy_begin▁of▁sentence｜><｜hy_User｜>Translate the following segment into Japanese, without additional explanation.\n\nHello, world.<｜hy_Assistant｜>" \
    --temp 0.7 --top-k 20 --top-p 0.6 --repeat-penalty 1.05 \
    --no-context-shift -n 256

⚠️ EOS トークンの注意

convert_hf_to_gguf.py が tokenizer.ggml.eos_token_id を 誤って 3 ('$') として書き込みます (本来は 120020 = <｜hy_place▁holder▁no▁2｜>)。'$' を含むテキストで生成が即停止する潜在バグになります。

回避策: 自前で stop tokens を構築する。例 (Swift):

// llama_vocab_is_eog は信用せず、専用トークンを tokenize して逆引き
let stopTokens: Set<llama_token> = [
    tokenize("<｜hy_place▁holder▁no▁2｜>", special: true),
    tokenize("<｜hy_User｜>", special: true),
]

クレジット

• 元モデル: Tencent Hunyuan
• 技術レポート: HY-MT1.5 Technical Report
• 量子化ツール: llama.cpp