Instructions to use j-llm/Qwen3.5-2B-SpeedX with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use j-llm/Qwen3.5-2B-SpeedX with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="j-llm/Qwen3.5-2B-SpeedX", trust_remote_code=True)
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("j-llm/Qwen3.5-2B-SpeedX", trust_remote_code=True, device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use j-llm/Qwen3.5-2B-SpeedX with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "j-llm/Qwen3.5-2B-SpeedX"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "j-llm/Qwen3.5-2B-SpeedX",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/j-llm/Qwen3.5-2B-SpeedX

SGLang

How to use j-llm/Qwen3.5-2B-SpeedX with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "j-llm/Qwen3.5-2B-SpeedX" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "j-llm/Qwen3.5-2B-SpeedX",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "j-llm/Qwen3.5-2B-SpeedX" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "j-llm/Qwen3.5-2B-SpeedX",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use j-llm/Qwen3.5-2B-SpeedX with Docker Model Runner:
```
docker model run hf.co/j-llm/Qwen3.5-2B-SpeedX
```

Qwen3.5-2B-SpeedX

Qwen3.5-2B-SpeedX は、Qwen/Qwen3.5-2B をベースに、自己回帰推論の高速化と固定サイズの再帰メモリを目的として変換した、実験的なテキスト専用リカレントモデルです。

元の Qwen3.5-2B のテキストバックボーンは、ネイティブの Gated DeltaNet（GDN） レイヤーとフルアテンションレイヤーを組み合わせた構成です。

SpeedX では、6層のフルアテンションレイヤーを蒸留済みのネイティブ GDN レイヤーへ置き換え、24 / 24 層すべてが再帰的トークンミキシングを行う構成へ変換しています。

本モデルは実験的な研究用チェックポイントであり、Qwen の公式リリースではありません。

主な特徴

約 1.92B パラメータ
24 / 24 層の再帰型 Gated DeltaNet
フルアテンションレイヤー 3, 7, 11, 15, 19, 23 をネイティブ GDN に置換
変換後のテキストスタックでは、トークン単位のフルアテンション KV キャッシュを使用しない
デコード時の再帰状態サイズはコンテキスト長に対して一定
カスタムリモートコードを利用した Hugging Face Transformers 互換
Qwen ネイティブ GDN カーネル向けに設計
実験的な Triton / CUDA Graph / FP8 推論ランタイム
テキスト生成専用
上流モデルのマルチモーダル / Vision コンポーネントは含まれない

アーキテクチャ

元の Qwen3.5-2B テキストスタック：

GDN → GDN → GDN → Full Attention

SpeedX：

GDN → GDN → GDN → GDN

この構成を全24層にわたって繰り返します。

再帰状態は次式に従います。

[ S_t = F(S_{t-1}, x_t) ]

したがって、デコード状態のメモリ使用量はコンテキスト長に対して概ね

[ M_{\mathrm{state}} = O(1) ]

となります。

これは、コンテキスト長 (T) に応じてメモリ使用量が概ね

[ M_{\mathrm{KV}} = O(T) ]

と増加する、トークン単位の Transformer KV キャッシュとは異なります。

NVIDIA L4 ベンチマーク

単一の NVIDIA L4 22.03 GiB、バッチサイズ 1、Greedy Decoding で測定。

Exact BF16 CUDA Graph

Context	Official Qwen3.5-2B	SpeedX exact	Speedup
256	25.90 tok/s	60.75 tok/s	2.35×
1,024	26.63 tok/s	60.58 tok/s	2.28×
4,096	26.06 tok/s	60.67 tok/s	2.33×
16,384	26.46 tok/s	60.68 tok/s	2.29×

Experimental FP8 runtime

Context	Official Qwen3.5-2B	SpeedX FP8	Speedup
256	25.90 tok/s	79.27 tok/s	3.06×
1,024	26.63 tok/s	78.85 tok/s	2.96×
4,096	26.06 tok/s	78.47 tok/s	3.01×
16,384	26.46 tok/s	78.38 tok/s	2.96×

これらの結果は、本プロジェクトの最適化済みランタイムを使用したものです。

標準的な Hugging Face の model.generate() で、上記の CUDA Graph / FP8 の性能値をそのまま再現できるとは限りません。

16K コンテキストでは、最適化された Exact Recurrent Path において、おおよそ以下の Prefill 性能を測定しました。

Official Qwen3.5-2B prefill: 10.85k tok/s
SpeedX prefill: 13.79k tok/s
Ratio: 約 1.27×

クイックスタート

カスタムモデルコードが含まれているため、trust_remote_code=True が必要です。

pip install -U \
  "transformers @ git+https://github.com/huggingface/transformers.git@e453228ef83ce0d756f7621ef8607220ebf5da6a" \
  "kernels>=0.16.0,<0.17" \
  "accelerate>=1.1.0" \
  "safetensors>=0.8.0"

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

MODEL_ID = "JLLM/Qwen3.5-2B-SpeedX"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_ID,
    trust_remote_code=True,
)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="cuda",
).eval()

inputs = tokenizer(
    "Explain recurrent memory in neural networks.",
    return_tensors="pt",
).to("cuda")

with torch.inference_mode():
    output = model.generate(
        **inputs,
        max_new_tokens=128,
        do_sample=False,
    )

print(tokenizer.decode(output[0], skip_special_tokens=True))

チャット例

messages = [
    {"role": "system", "content": "You are a precise technical assistant."},
    {"role": "user", "content": "Compare recurrent state memory with a Transformer KV cache."},
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

inputs = tokenizer(text, return_tensors="pt").to("cuda")

with torch.inference_mode():
    output = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False,
    )

print(tokenizer.decode(output[0], skip_special_tokens=True))

変換方法

元のテキストスタックには、18層のネイティブ GDN レイヤーと6層のフルアテンションレイヤーが含まれています。

SpeedX は既存のネイティブ GDN レイヤーを維持し、以下のフルアテンションレイヤーを置換します。

3, 7, 11, 15, 19, 23

置換先にはネイティブの Qwen3_5GatedDeltaNet モジュールを使用します。

置換されたレイヤーは、近傍にあるネイティブ GDN レイヤーを基に初期化し、元のフルアテンションレイヤーの出力を教師として蒸留します。

実験的なレイヤー単位の目的関数では、正規化 MSE と Cosine Distance を組み合わせています。

[ \mathcal{L}

\frac{|y_S-y_T|_2^2} {\mathbb{E}[y_T^2]+\epsilon} + \lambda \left(1-\cos(y_S,y_T)\right). ]

制限事項

実験的な蒸留

このチェックポイントは、主として再帰型アーキテクチャへの変換と高速推論ランタイムを検証するために作成されています。

Smoke Distillation の学習スケジュールは短いため、元の Qwen3.5-2B が持つ推論能力、事実知識、多言語性能、各種ベンチマーク性能を完全に維持していると仮定すべきではありません。

本格的な用途では、より長期間の蒸留または継続事前学習を推奨します。

テキスト専用

上流の Qwen3.5-2B はマルチモーダルモデルですが、SpeedX に含まれるのは変換済みのテキスト生成スタックのみです。

元モデルの Vision スタックは提供されません。

カスタムコード

以下を有効化する前に、リポジトリ内のコードを確認してください。

trust_remote_code=True

最適化ランタイムとチェックポイントの違い

約 60 tok/s の Exact 性能、および約 79 tok/s の FP8 性能は、以下を含むランタイム固有の最適化に依存しています。

ネイティブ GDN カーネル
Triton Fusion
Persistent CUDA Graph Greedy Decoding
選択的な精度制御 / FP8 実行

通常の Hugging Face 読み込み経路は、主として互換性を提供するためのものです。

想定用途

SpeedX は、以下の研究を主な用途として想定しています。

リカレント言語モデル
固定サイズ状態によるデコーディング
KV キャッシュを使用しないデコーディング
長コンテキスト再帰メモリ
Gated DeltaNet アーキテクチャ
CUDA Graph 推論
リカレントモデルの量子化

デモ

Hugging Face Space：

JLLM/Qwen-speed

ベースモデル

以下のモデルから派生しています。

Qwen/Qwen3.5-2B

上流モデルのモデルカードおよびライセンスも併せて確認してください。

ライセンス

上流の Qwen3.5-2B のモデルメタデータに従い、Apache-2.0 とします。

引用

SpeedX を実験等で使用する場合は、上流の Qwen 関連研究を引用したうえで、本チェックポイントが Qwen3.5-2B を実験的に再帰型アーキテクチャへ変換したモデルであることを明記してください。

現時点では、SpeedX 専用の技術レポートは公開されていません。

Downloads last month: 484

Safetensors

Model size

2B params

Tensor type

BF16

Model tree for j-llm/Qwen3.5-2B-SpeedX

Base model

Qwen/Qwen3.5-2B-Base

Finetuned

Qwen/Qwen3.5-2B

Finetuned

(585)

this model

Collection including j-llm/Qwen3.5-2B-SpeedX

FlatLM

Collection

memory cut model • 4 items • Updated 14 days ago