LFM3-1.7B-v9

LiquidAI/LFM3-1.7B 加上維納圖靈網絡記憶（Wiener Turing memory，lfm3_v9）。記憶寫在一條只增不減、持久化在磁碟上的記憶帶：每個 token 一個具名 slot，之後的 episode、另一個模型實例或另一個行程都能依內容召回，只有指名刪除才會移除。

• backbone 與 LFM3-1.7B 完全相同：286 個 backbone 張量逐一與原始權重相同，只訓練了新增的記憶組件。
• 自帶程式碼：modeling_lfm3_v9.py 內含 LFM3 backbone 與全部記憶模組，以 trust_remote_code=True 載入，不需要額外套件。
• copy 相似度門檻：只有讀到的 key 與查詢夠接近（同一段內容重現）時才複製記憶中的續詞，不相關對話的內容不會被複製進回答。

架構

每次前向跑兩趟 backbone：baseline 一趟得到 base expert 的分佈 p_B 與定址用的 hidden state；記憶一趟在第 1 層輸出加上 sidecar 殘差。記憶 expert

p_M = α·q + (1 − α)·p_N，α = σ(copy_gate(h)) · confidence · σ(s·(c − τ))

q 是讀出的續詞分佈，c 是查詢與讀到的 key 的 cos（依讀取權重加權），τ、s 是可學的相似度門檻與銳度。最終分佈 p = w_B·p_B + w_M·p_M，權重以 Bayes 規則依兩個 expert 對已觀測 token 的預測更新。讀取包含內容、前向、後向三種模式（DNC 式時序鏈結）與 Time2Vec 年齡特徵。

項目	數值
參數	1,729,815,334（記憶 1,013,798）
注入層	第 1 層（第一個 attention 層之前）
key／value 維度、context window	64、64、16
copy 門檻 τ、銳度 s（訓練後）	0.883、20.4
dtype	bfloat16（記憶與 backbone 相同）

使用

需要 transformers>=5.19、torch；flash-attn 可選。

模板遮罩

聊天模板（<|im_start|>、角色標頭、<think> 等）出現在每一個對話裡，必須排除在記憶之外：這些位置不寫入記憶帶，也不參與 expert 權重的更新。config.json 的 lfm3_v9_template_mask: true 表示本模型以這個遮罩訓練，推理時也要套用：把下面的遮罩傳給 generate 或前向的 memory_write 與 memory_feedback。

import torch


def template_mask(tokenizer, input_ids):
    """True where the memory may write a slot and update the expert weights."""
    template_ids = set(tokenizer.added_tokens_decoder)
    im_start = tokenizer.convert_tokens_to_ids("<|im_start|>")
    im_end = tokenizer.convert_tokens_to_ids("<|im_end|>")
    vocab = tokenizer.convert_ids_to_tokens(list(range(len(tokenizer))))
    newline = {i for i, t in enumerate(vocab) if t is not None and "\n" in tokenizer.convert_tokens_to_string([t])}
    rows = []
    for row in input_ids.tolist():
        template, header = [], False
        for t, token in enumerate(row):
            is_template = token in template_ids or header
            if token == im_start:
                header = True
            elif header and token in newline:
                header = False
            elif t > 0 and row[t - 1] == im_end and token in newline:
                is_template = True
            template.append(is_template)
        rows.append([not template[t] and (t == 0 or not template[t - 1]) for t in range(len(row))])
    return torch.tensor(rows, dtype=torch.bool, device=input_ids.device)

生成

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "LTM-Lab/LFM3-1.7B-v9"
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, dtype=torch.bfloat16).cuda().eval()

messages = [{"role": "user", "content": "用三句話解釋什麼是熱泵。"}]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
ids = tokenizer(text, return_tensors="pt", add_special_tokens=False).input_ids.cuda()
mask = template_mask(tokenizer, ids)
out = model.generate(ids, max_new_tokens=512, do_sample=False, repetition_penalty=1.1,
                     memory_write=mask, memory_feedback=mask)
print(tokenizer.decode(out[0, ids.shape[1]:], skip_special_tokens=True))

推理模式下每個頂層呼叫是一個新的 episode，prompt 寫入記憶帶並在回傳前存檔；生成出來的 token 不寫入。

記憶帶

預設位置是 $LFM3_V9_MEMORY_HOME/model-<namespace>/memory.sqlite3（未設定時為 $XDG_STATE_HOME/lfm3_v9/…，再退回 ~/.local/state/lfm3_v9/…），也可以在 config.json 的 lfm3_v9_memory_config.storage_path 指定。記憶帶綁定寫入它的權重；namespace 帶有權重指紋，換權重就換一條新的記憶帶。

bank = model.open_memory_bank()
bank.memories(limit=20)          # 依寫入順序，最新的在最後
bank.recall(name)                # 單一記憶的內容、寫入時間、前後鏈結
bank.forget(name)                # 指名刪除一個記憶
bank.forget_episode(episode)     # 刪除一個 episode 寫下的全部
model.memory_stats()

只想要序列內記憶、不寫磁碟時，載入前把 lfm3_v9_memory_config.lifecycle 設為 "ephemeral"。

訓練

只訓練記憶組件，LFM3 backbone 完全凍結；記憶的定址部分（address、value、Time2Vec、內容銳度、讀取模式偏好、後綴增益）也凍結，保留未訓練時的召回能力。可訓練的是 copy_gate（含相似度門檻）、sidecars、target，共 751,621 個參數。

• 資料：900 筆不含工具呼叫的對話：Claude-opus-4.6 與 Claude-opus-4.7 TraceInversion 推理軌跡各 300 筆（單輪，含 <think>），clean LMSYS-Chat-1M 300 筆（多輪）；共 500,025 token，監督 token 413,549。
• 目標：跨 episode 記憶目標。每個樣本先在無梯度下把一段 context 寫入新的 RAM 記憶帶，再以新的 episode 計算樣本的 loss；context 一半是樣本本身（先前看過的內容），一半是不相關的樣本。loss 是最終混合分佈的 NLL。訓練與推理都套用模板遮罩。
• 設定：LlamaFactory（加入 lfm3 聊天模板、只訓練新增組件、跨 episode 記憶目標、模板遮罩與 fp32 master weights），pure bf16 搭配 fp32 master weights 的 AdamW，lr 5e-4、cosine、warmup 5%，batch 1 × 梯度累積 8，113 步，cutoff 2048；單張 NVIDIA RTX PRO 6000 Blackwell，1 小時 37 分。

評估

項目	LFM3-1.7B	同架構、訓練前	本模型
記憶召回：空記憶帶	—	0/40	0/40
記憶召回：寫入一次後	—	26/40	35/40
記憶召回：新的模型實例	—	26/40	35/40
刪除一半後：已刪除／保留	—	0/20／15/20	0/20／17/20
生成：384 token 內結束	3/6	3/6	4/6
生成：無多餘 <think>、同一 token 連續重複 ≤ 8	6/6、6/6	6/6、6/6	6/6、6/6
生成：工具呼叫可解析	✓	✓	✓
held-out NLL（混合分佈）	0.9701	0.9679	0.8154

• 記憶召回：40 筆模型不可能預先知道的隨機事實（Registry entry <名稱>: the vault code is <代碼>.），每筆在自己的 episode 寫入一次；之後在新的 episode 以 Registry entry <名稱>: the vault code is 查詢（貪婪解碼 10 token，查詢本身不寫入），輸出以正確代碼開頭才算命中。「新的模型實例」是重新載入模型後讀同一條記憶帶；「刪除一半」以 forget_episode 刪除前 20 筆的 episode。
• 生成：6 個固定 prompt（中英文問答、翻譯、程式、兩輪對話中的個人資訊、一個工具呼叫）依序在同一條持久記憶帶上執行，貪婪解碼、repetition_penalty=1.1、最多 384 token，套用模板遮罩。LFM3-1.7B 欄是原始模型。
• held-out NLL：60 筆與訓練資料同來源、未參與訓練的對話，訓練模式（序列內記憶）下監督 token 的平均 NLL，共 31,310 token。LFM3-1.7B 欄是 base expert 的 NLL，與原始模型相同。

限制

• 評估規模小（40 筆事實、6 個 prompt、60 筆對話），只涵蓋上述情境。召回測試的查詢與寫入時的前文逐字相同；說法不同時不保證召回。
• 記憶帶只增不減，沒有自動清理，磁碟與 RAM 用量隨寫入成長。
• 記憶的讀寫是逐 token 的 Python 參考實作，每次前向跑兩趟 backbone，速度遠低於原始 LFM3。
• 只訓練了約 0.5M token 的記憶組件；LFM3-1.7B 本身的能力與限制不變（見原始模型卡）。

授權

沿用 LFM3-1.7B 的 LFM Open License v1.0。