| --- |
| model_name: PlutoLite-v1 |
| license: mit |
| language: |
| - en |
| - zh |
| base_model: |
| - google/gemma-4-E2B |
| tags: |
| - gemma4 |
| - QLoRA |
| --- |
| # PlutoLite-v1 |
| Author : **KochiyaSanaeNya** |
| PlutoLite-v1 是基于 [google/gemma-4-E2B](https://huggingface.co/google/gemma-4-E2B) 的 Python 代码生成 / 函数补全 QLoRA 适配器。 |
|
|
| 发布内容为 PEFT LoRA 权重，需要另外加载基础模型。基础模型固定版本为 `d29ff6b45f081a49ee2733a859c9c9c2d95d1a6f`。适配器已包含之前各阶段累计更新，使用时只需加载适配器。 |
|
|
| ## 加载与推理 |
|
|
| Python 3.11+；先安装适合本机 GPU 的 CUDA PyTorch，再进入本目录安装依赖： |
|
|
| ```bash |
| pip install -r requirements.txt |
| python load_adapter.py --prompt "Write a Python function that returns whether an integer is even." |
| ``` |
|
|
| 脚本默认从 Hugging Face 加载固定版本基础模型，并从脚本所在目录加载适配器；需要支持 BF16 的 NVIDIA GPU，使用 NF4 量化并将大型逐层词嵌入放在 CPU。也支持本地基础模型： |
|
|
| ```bash |
| python load_adapter.py --base-model ../../base/gemma-4-E2B --local-files-only --prompt "Write a Python function that adds two integers." |
| ``` |
|
|
| 使用其他 Hugging Face 适配器仓库路径时可传 `--adapter 用户名/PlutoLite-v1`。`--max-new-tokens` 默认为 256。 |
|
|
| 训练采用 **BOS + 原始 prompt** 的 completion 格式，instruction 为空；函数补全时保留原始换行和缩进，不添加聊天模板或 `Instruction/Response` 包装。脚本仅打印新生成文本，不执行生成的代码。 |
|
|
| 本适配器作用于 `Gemma4ForCausalLM` 文本模型。基础仓库使用多模态权重命名，因此加载脚本显式将 `model.language_model.` 映射为 `model.` 并检查文本权重完整性。它不是多模态微调产物。 |
|
|
| ## 来源与许可 |
|
|
| 基础模型由 Google 提供，其随附模型卡声明 Apache-2.0，参见 [基础模型卡](https://huggingface.co/google/gemma-4-E2B) 和 [基础模型许可](https://ai.google.dev/gemma/docs/gemma_4_license)。上述数据集的来源及条款以各自数据集卡为准。本包不包含基础权重或训练数据。此适配器尚未单独指定分发许可，未自动继承基础模型许可。 |
