تمت مساهمة هذا النموذج في Hugging Face Transformers في 2023-05-09.

RWKV

نظرة عامة

قُدِّم نموذج RWKV (الإصدار 4) في هذا المستودع

يقترح إجراء تعديل على آلية الانتباه التقليدية في Transformer لجعلها خطية. وبهذه الطريقة، يمكن استخدام النموذج كشبكة عودية: فتمرير المدخلات الخاصة بالطابع الزمني 0 والطابع الزمني 1 معًا يعادل تمرير المدخلات عند الطابع الزمني 0، ثم تمرير المدخلات عند الطابع الزمني 1 مع حالة الطابع الزمني 0 (انظر المثال أدناه).

يمكن أن يكون هذا أكثر كفاءة من نموذج Transformer العادي، ويمكنه التعامل مع جمل بأي طول (حتى لو كان النموذج يستخدم طول سياق ثابتاً للتدريب).

تمت مساهمة هذا النموذج من قِبل sgugger. يمكن العثور على الكود الأصلي هنا.

مثال على الاستخدام

import torch

from transformers import AutoTokenizer, RwkvModel


model = RwkvModel.from_pretrained("sgugger/rwkv-430M-pile", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sgugger/rwkv-430M-pile")

inputs = tokenizer("This is an example.", return_tensors="pt").to(model.device)
# Feed everything to the model
outputs = model(inputs["input_ids"])
output_whole = outputs.last_hidden_state

outputs = model(inputs["input_ids"][:, :2])
output_one = outputs.last_hidden_state

# Using the state computed on the first inputs, we will get the same output
outputs = model(inputs["input_ids"][:, 2:], state=outputs.state)
output_two = outputs.last_hidden_state

torch.allclose(torch.cat([output_one, output_two], dim=1), output_whole, atol=1e-5)

إذا كنت ترغب في التأكد من توقف النموذج عن التوليد عند اكتشاف '\n\n'، فننصحك باستخدام معايير التوقف التالية:

from transformers import StoppingCriteria


class RwkvStoppingCriteria(StoppingCriteria):
    def __init__(self, eos_sequence = [187,187], eos_token_id = 537):
        self.eos_sequence = eos_sequence
        self.eos_token_id = eos_token_id

    def __call__(self, input_ids: torch.LongTensor, scores: torch.Tensor, **kwargs) -> bool:
        last_2_ids = input_ids[:,-2:].tolist()
        return self.eos_sequence in last_2_ids


output = model.generate(inputs["input_ids"], max_new_tokens=64, stopping_criteria = [RwkvStoppingCriteria()])

ملاحظات

• استخدم التعبئة اليسرى (left padding) للتوليد المجمّع. راجع جانب التعبئة.

RwkvConfig

>>> from transformers import RwkvConfig, RwkvModel

>>> # Initializing a Rwkv configuration
>>> configuration = RwkvConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = RwkvModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

RwkvModel

RwkvLMHeadModel

انتباه Rwkv والصيغ التكرارية

في نموذج Transformer ذاتي التوليد تقليدي، تُكتب عملية الانتباه على النحو التالي $$O = \hbox{softmax}(QK^{T} / \sqrt{d}) V$$

مع $Q$، $K$ و $V$ مصفوفات ذات أبعاد seq_len x hidden_size تُسمى الاستعلام والمفتاح والقيمة (في الواقع هي مصفوفات أكبر تحتوي على بُعد الدفعة وبُعد رأس الانتباه، لكننا نهتم فقط بالأبعاد الأخيرة حيث يتم حساب ضرب المصفوفات، لذا سنكتفي بها فقط من أجل التبسيط). يكون ناتج الضرب $QK^{T}$ ذو أبعاد seq_len x seq_len ونستطيع أخذ ضرب المصفوفات مع $V$ للحصول على المخرج $O$ ذو الأبعاد نفسها مثل المصفوفات الأخرى.

عند استبدال softmax بقيمته نحصل على: $$O_{i} = \frac{\sum_{j=1}^{i} e^{Q_{i} K_{j}^{T} / \sqrt{d}} V_{j}}{\sum_{j=1}^{i} e^{Q_{i} K_{j}^{T} / \sqrt{d}}}$$

لاحظ أن العناصر في $QK^{T}$ المقابلة لـ $j > i$ تكون مقنّعة (تتوقف عملية الجمع عند j) لأن الانتباه لا يُسمح له بالنظر إلى الرموز المستقبلية (بل إلى الرموز السابقة فقط).

بالمقارنة، تُعطى آلية الانتباه في RWKV بالصيغة التالية $$O_{i} = \sigma(R_{i}) \frac{\sum_{j=1}^{i} e^{W_{i-j} + K_{j}} V_{j}}{\sum_{j=1}^{i} e^{W_{i-j} + K_{j}}}$$

حيث $R$ مصفوفة جديدة يسمّيها المؤلف مصفوفة الاستجابة، $K$ و $V$ ما زالا المفتاح والقيمة (حيث $\sigma$ هنا هي دالة سيجمويد). $W$ متجه جديد يمثل موضع الرمز ويُعطى بـ $$W_{0} = u \hbox{ and } W_{k} = (k-1)w \hbox{ for } k \geq 1$$

مع $u$ و $w$ معلمات قابلة للتعلم تُسمى في الكود time_first و time_decay على التوالي. يمكن التعبير عن البسط والمقام بشكل تكراري. إذا سمّيناها $N_{i}$ و $D_{i}$ فإننا نحصل على: $$N_{i} = e^{u + K_{i}} V_{i} + \hat{N}_{i} \hbox{ where } \hat{N}_{i} = e^{K_{i-1}} V_{i-1} + e^{w + K_{i-2}} V_{i-2} \cdots + e^{(i-2)w + K_{1}} V_{1}$$

بحيث $\hat{N}_{i}$ (المُسمّى numerator_state في الكود) يحقق $$\hat{N}_{0} = 0 \hbox{ and } \hat{N}_{j+1} = e^{K_{j}} V_{j} + e^{w} \hat{N}_{j}$$

و $$D_{i} = e^{u + K_{i}} + \hat{D}_{i} \hbox{ where } \hat{D}_{i} = e^{K_{i-1}} + e^{w + K_{i-2}} \cdots + e^{(i-2)w + K_{1}}$$

لذا $\hat{D}_{i}$ (المعروف باسم denominator_state في الكود) يحقق $$\hat{D}_{0} = 0 \hbox{ and } \hat{D}_{j+1} = e^{K_{j}} + e^{w} \hat{D}_{j}$$

الصيغة التكرارية الفعلية المستخدمة أكثر تعقيدًا قليلاً، فبدافع الاستقرار العددي، لا نرغب في حساب أسس أرقام كبيرة. عادةً لا يُحسب softmax كما هو، بل يُقسَّم الأس الأقصى على البسط والمقام: $$\frac{e^{x_{i}}}{\sum_{j=1}^{n} e^{x_{j}}} = \frac{e^{x_{i} - M}}{\sum_{j=1}^{n} e^{x_{j} - M}}$$

مع $M$ القيمة العظمى لجميع $x_{j}$. لذا، هنا، بالإضافة إلى حفظ حالة البسط ($\hat{N}$) وحالة المقام ($\hat{D}$)، نتتبع أيضًا القيمة العظمى لجميع الحدود التي تظهر في الدوال الأسية. لذا، نستخدم فعليًا $$\tilde{N}_{i} = e^{-M_{i}} \hat{N}_{i} \hbox{ and } \tilde{D}_{i} = e^{-M_{i}} \hat{D}_{i}$$

المُعرَّفة بالمعادلات التكرارية التالية: $$\tilde{N}_{0} = 0 \hbox{ and } \tilde{N}_{j+1} = e^{K_{j} - q} V_{j} + e^{w + M_{j} - q} \tilde{N}_{j} \hbox{ where } q = \max(K_{j}, w + M_{j})$$

و $$\tilde{D}_{0} = 0 \hbox{ and } \tilde{D}_{j+1} = e^{K_{j} - q} + e^{w + M_{j} - q} \tilde{D}_{j} \hbox{ where } q = \max(K_{j}, w + M_{j})$$

و $M_{j+1} = q$. باستخدام هذه القيم، يمكننا بعد ذلك حساب $$N_{i} = e^{u + K_{i} - q} V_{i} + e^{M_{i}} \tilde{N}_{i} \hbox{ where } q = \max(u + K_{i}, M_{i})$$

و $$D_{i} = e^{u + K_{i} - q} + e^{M_{i}} \tilde{D}_{i} \hbox{ where } q = \max(u + K_{i}, M_{i})$$

والذي يمنحنا في النهاية $$O_{i} = \sigma(R_{i}) \frac{N_{i}}{D_{i}}$$