Liujgoj-Cantonese-Gemma4-12b-Base

🌟 模型簡介 / Introduction

Liujgoj-Cantonese-Gemma4-12b-Base 是一個基於 Gemma 4 12B 進行擴充詞表與增量預訓練（Continued Pre-training, CPT）的粵語大語言模型基座。

本模型的核心特色是深度集成了 Liujgoj 粵語（Liujgoj Cantonese） —— 一套專為粵語設計的實驗性、基於拉丁字母的專屬正詞法/拼寫系統（Latin-based orthography）。我們在基座模型中預先擴充並初始化了 6,000 個 Liujgoj 專屬音素與詞條，使模型能夠原生、無字符障礙地進行高效率的廣東話語意建模與文本生成。

---

GGUF Version available here: https://huggingface.co/Yvthyvq/Liujgoj-Cantonese-Gemma4-12b-Base-Q4_K_M-GGUF

---

📊 訓練數據與配置 / Training Data & Configuration

• 訓練數據量 (Data Size): 140 MB 的高質量並行與純文本語料（經過精細清洗與 Liujgoj 正記法轉換）。
• 訓練階段 (Stage): 增量預訓練 (Continued Pre-training / CPT)。
• 微調機制 (Method): LoRA 增量訓練，並在最終將殘差權重與預初始化基座進行了全量融合（Merged & Unloaded）。

---

🤝 數據集致謝與許可協議 / Dataset Acknowledgements & Licenses

中文與社區許可協議

本模型在增量預訓練（CPT）部分使用了 OpenCSG/Fineweb-Edu-Chinese 數據集。在此特別感謝 OpenCSG 開源社區提供的優質教育語料。本模型的衍生、分發與使用將嚴格遵循 OpenCSG 模型社區許可協議。

English & Global Dataset Acknowledgement

Part of the continued pre-training (CPT) data used in this model is derived from the HuggingFaceFW/fineweb-edu dataset. We are grateful to the Hugging Face vLLM/FW team for providing this high-quality dataset under the MIT license.

---

🚀 快速使用 / Quick Start

你可以使用 transformers 庫直接載入並調用本模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Yvthyvq/Liujgoj-Cantonese-Gemma4-12b-Base"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 測試你的 Liujgoj 粵語輸入
text = "請用 Liujgoj 粵語輸入你的 Prompt..."
inputs = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=512)
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))