Instructions to use FINAL-Bench/Aether-7B-5Attn with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use FINAL-Bench/Aether-7B-5Attn with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="FINAL-Bench/Aether-7B-5Attn", trust_remote_code=True)
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("FINAL-Bench/Aether-7B-5Attn", trust_remote_code=True, device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use FINAL-Bench/Aether-7B-5Attn with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "FINAL-Bench/Aether-7B-5Attn"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "FINAL-Bench/Aether-7B-5Attn",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/FINAL-Bench/Aether-7B-5Attn

SGLang

How to use FINAL-Bench/Aether-7B-5Attn with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "FINAL-Bench/Aether-7B-5Attn" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "FINAL-Bench/Aether-7B-5Attn",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "FINAL-Bench/Aether-7B-5Attn" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "FINAL-Bench/Aether-7B-5Attn",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use FINAL-Bench/Aether-7B-5Attn with Docker Model Runner:
```
docker model run hf.co/FINAL-Bench/Aether-7B-5Attn
```

SeaWolf-AI commited on Jul 19

Commit

ef5e149

verified ·

1 Parent(s): ee8ba14

card: add 7x7 Latin-square structure section + diagram + batch_size=1 note

Browse files

Files changed (1) hide show

README_ko.md +33 -1

README_ko.md CHANGED Viewed

@@ -143,6 +143,36 @@ GPT 이후 거의 모든 트랜스포머는 **모든 층에서 똑같은 어텐
 ---
 ## 4. 사양
 | 항목 | 값 |
@@ -294,7 +324,9 @@ out = model.generate(**ids, max_new_tokens=128,
 print(tok.decode(out[0], skip_special_tokens=True))
 ```
-### 사용 시 참고
 - **베이스 모델입니다.** 지시(instruction) 튜닝이 되어 있지 않습니다. instruct 버전은 준비 중입니다.
 - **`do_sample=True` 를 사용하십시오.** 베이스 모델 특성상 greedy 디코딩은 반복에 빠집니다.

 ---
+## 3.2 구조 심화 — 7×7 라틴 직교 배치
+![7x7 Latin-Square Attention Placement](latin_square_7x7.png)
+49개 층은 **7 × 7 라틴 방진(Latin square)** 을 이룹니다. 각 층의 어텐션 종류는 다음 규칙으로 정해집니다:
+```
+attention_type(layer) = ATTN_TYPES[(row + col) mod 7]
+  단, row = layer // 7,  col = layer % 7
+```
+### 라틴 방진의 성질 (구조적 특이성)
+- **각 종류가 모든 행에 정확히 한 번, 모든 열에도 정확히 한 번** 나타납니다 (7종 × 7층 = 49). 이것이 "라틴 방진"의 정의입니다.
+- 그 결과 **어떤 어텐션 종류도 특정 깊이(초기·중간·후기 층)에 편중되지 않습니다.** 순환 이동(+1)으로 배치되어 깊이 방향으로 고르게 분산됩니다.
+- **왜 7인가**: 7은 소수(prime)이므로 순환 이동 `(row+col) mod 7` 이 완전한 라틴 방진(각 행·열이 7종의 순열)을 만듭니다. 7²=49층으로 딱 떨어집니다.
+### 왜 이렇게 배치하는가 — 통제 장치
+"섞으면 좋을 것 같다"는 직관은 쉽지만, 아무렇게나 섞으면 **결과가 배치 편향 탓인지 종류 탓인지 구분할 수 없습니다.** `full` 이 우연히 후기 층에 몰리면 "이종이라서" 잘한 게 아니라 "후기 층이 full 이라서" 잘한 것이 됩니다.
+**라틴 방진은 이 편향을 구조적으로 제거합니다.** 각 종류가 모든 깊이를 정확히 한 번씩 거치므로, "이종 배치의 효과"라는 질문을 **깊이 편향 없이** 던질 수 있습니다. 즉 라틴 방진은 성능을 위한 장식이 아니라 **재현 가능한 과학을 위한 통제 장치**입니다.
+### 7개 라벨 → 5개 메커니즘
+방진에 배치되는 라벨은 7개(`nsa`·`differential`·`full`·`linear`·`sliding`·`compress`·`hybrid`)이지만, **서로 다른 메커니즘은 5개**입니다 — `compress` 는 full 경로로, `linear` 는 SDPA+게이트로 동작합니다(그림에서 빗금). 모델명 `5Attn` 은 라벨 수(7)가 아니라 **메커니즘 수(5)** 를 따릅니다.
+*우리가 아는 한, 이종 어텐션을 라틴 방진으로 배치한 공개 모델은 없습니다.*
 ## 4. 사양
 | 항목 | 값 |
 print(tok.decode(out[0], skip_special_tokens=True))
 ```
+### 사용
+> ⚠️ **batch_size=1 로 사용하세요.** 본 모델의 일부 어텐션(NSA 계열)은 padding mask 를 사용하지 않으므로, 여러 시퀀스를 padding 하여 배치로 넣으면 결과가 조용히 오염될 수 있습니다. 한 번에 하나씩(batch_size=1) 추론하십시오.
+ 시 참고
 - **베이스 모델입니다.** 지시(instruction) 튜닝이 되어 있지 않습니다. instruct 버전은 준비 중입니다.
 - **`do_sample=True` 를 사용하십시오.** 베이스 모델 특성상 greedy 디코딩은 반복에 빠집니다.