Upload README.md with huggingface_hub

README.md

@@ -0,0 +1,60 @@
+---
+license: apache-2.0
+base_model: google/gemma-4-E2B-it-qat-q4_0-unquantized
+tags:
+- dgmc
+- boolq
+- gemma
+- yes-no-question-answering
+- reading-comprehension
+- pytorch
+datasets:
+- boolq
+metrics:
+- accuracy
+- f1
+---
+
+# Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on BoolQ
+
+Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu
+[BoolQ](https://huggingface.co/datasets/google/boolq), gắn thêm vào mô hình nền tảng
+**đóng băng hoàn toàn** `google/gemma-4-E2B-it-qat-q4_0-unquantized`. Chỉ các tham số của module DGMC được
+huấn luyện (`dgmc_params/1e6:.1f`M tham số).
+
+## Kết quả
+
+| Model | Method | Trainable Params | Accuracy | F1 Macro |
+|---|---|---|---|---|
+| Gemma (Zero-Shot) | Next-token logit scoring | 0 | 72.84% | 0.7279 |
+| Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 81.07% | 0.7974 |
+
+Cải thiện: **+8.23 điểm phần trăm** so với zero-shot.
+
+## Cấu hình DGMC
+
+- `block_size`: 64
+- `memory_dim`: 1536
+- `decay_alpha`: 0.1
+
+## Cách sử dụng
+
+Tải file `dgmc_boolq_weights.pt` rồi load lại vào module DGMC tương ứng với
+kiến trúc trong notebook huấn luyện gốc:
+
+```python
+import torch
+ckpt = torch.load("dgmc_boolq_weights.pt", map_location="cpu")
+dgmc.load_state_dict(ckpt["dgmc_state_dict"])
+```
+
+Model nền tảng `google/gemma-4-E2B-it-qat-q4_0-unquantized` cần được tải riêng và giữ đóng băng (frozen);
+adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay
+thế attention gốc của model.
+
+## Huấn luyện
+
+- Epochs: 10
+- Learning rate: 0.0002
+- Gradient accumulation steps: 16
+- Max sequence length: 256