| --- |
| license: mit |
| library_name: mlx |
| pipeline_tag: text-generation |
| base_model: microsoft/Sentiment-Analysis-7B |
| tags: |
| - mlx |
| - 4bit |
| --- |
| |
| # Sentiment-Analysis-7B-4bit-mlx |
|
|
| [`microsoft/Sentiment-Analysis-7B`](https://huggingface.co/microsoft/Sentiment-Analysis-7B) を Apple Silicon 向けに [MLX](https://github.com/ml-explore/mlx) の 4bit(group size 64)へ量子化した非公式の変換版です。M2 16GB クラスの Mac(GPU に使えるメモリ約 8GB)で動くサイズのモデルを対象にしています。ベースモデルの開発・公開者の皆様に感謝いたします。 |
|
|
| An unofficial 4-bit MLX conversion of [`microsoft/Sentiment-Analysis-7B`](https://huggingface.co/microsoft/Sentiment-Analysis-7B) for Apple Silicon Macs (sized for 16GB unified memory). All credit goes to the original authors. |
|
|
| - Parameters: 7.24B / License: mit (same as the base model) |
|
|
| ## Usage |
|
|
| ```bash |
| pip install -U mlx-lm |
| mlx_lm.generate --model masahiroid/Sentiment-Analysis-7B-4bit-mlx --prompt "日本の首都はどこですか？" --max-tokens 256 |
| ``` |
|
|
| ```python |
| from mlx_lm import load, generate |
| |
| model, tokenizer = load("masahiroid/Sentiment-Analysis-7B-4bit-mlx") |
| messages = [{"role": "user", "content": "日本の首都はどこですか？"}] |
| prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True) |
| print(generate(model, tokenizer, prompt=prompt, max_tokens=256)) |
| ``` |
|
|
| ## Security / セキュリティ |
|
|
| 公開前に [model-audit-lite](https://github.com/masahiroid/model-audit-lite) で検査しています。 |
|
|
| - ファイル検査(pickle 形式の重み・独自コードの有無、SHA256) |
| - 変換前後のチャットテンプレートの一致 |
| - 日本語の安全性プローブ(変換後モデル) |
|
|
| 結果は [SECURITY.md](SECURITY.md) と [audit/report.md](audit/report.md) を参照してください。 |
|
|
