---
license: mit
library_name: mlx
pipeline_tag: text-generation
base_model: microsoft/UserRepGen-4B
tags:
- mlx
- 4bit
---

# UserRepGen-4B-4bit-mlx

[`microsoft/UserRepGen-4B`](https://huggingface.co/microsoft/UserRepGen-4B) を Apple Silicon 向けに [MLX](https://github.com/ml-explore/mlx) の 4bit(group size 64)へ量子化した非公式の変換版です。M2 16GB クラスの Mac(GPU に使えるメモリ約 8GB)で動くサイズのモデルを対象にしています。ベースモデルの開発・公開者の皆様に感謝いたします。

An unofficial 4-bit MLX conversion of [`microsoft/UserRepGen-4B`](https://huggingface.co/microsoft/UserRepGen-4B) for Apple Silicon Macs (sized for 16GB unified memory). All credit goes to the original authors.

- Parameters: 4.54B / License: mit (same as the base model)

## Usage

```bash
pip install -U mlx-lm
mlx_lm.generate --model masahiroid/UserRepGen-4B-4bit-mlx --prompt "日本の首都はどこですか？" --max-tokens 256
```

```python
from mlx_lm import load, generate

model, tokenizer = load("masahiroid/UserRepGen-4B-4bit-mlx")
messages = [{"role": "user", "content": "日本の首都はどこですか？"}]
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True)
print(generate(model, tokenizer, prompt=prompt, max_tokens=256))
```

## Security / セキュリティ

公開前に [model-audit-lite](https://github.com/masahiroid/model-audit-lite) で検査しています。

- ファイル検査(pickle 形式の重み・独自コードの有無、SHA256)
- 変換前後のチャットテンプレートの一致
- 日本語の安全性プローブ(変換後モデル)

結果は [SECURITY.md](SECURITY.md) と [audit/report.md](audit/report.md) を参照してください。