Buckets:
قالبهای گفتوگو
مقدمه
قالبهای چت برای ساختاردهی تعامل بین مدلهای زبان و کاربران ضروری هستند. چه در حال ساخت یک ربات چت ساده یا یک عامل هوش مصنوعی پیچیده باشید، درک نحوه قالب بندی صحیح مکالمات برای گرفتن بهترین نتایج از مدل شما بسیار مهم است. در این راهنما، ما الگوهای چت را بررسی خواهیم کرد، چرا اهمیت دارند و چگونه از آنها به طور موثر استفاده کنیم.
الگوهای چت برای موارد زیر بسیار مهم هستند:
- حفظ ساختار مکالمه منسجم
- اطمینان از شناسایی مناسب نقش
- مدیریت زمینه در چندین نوبت
- پشتیبانی از ویژگی های پیشرفته مانند استفاده از ابزار
انواع مدل و قالبها
مدلهای پایه در برابر مدلهای دستوری
یک مدل پایه بر روی دادههای متن خام آموزش داده میشود تا نشانه بعدی را پیشبینی کند، در حالی که یک مدل دستورالعمل بهطور خاص برای پیروی از دستورالعملها و شرکت در مکالمات دقیق تنظیم شده است. به عنوان مثال، SmolLM2-135M یک مدل پایه است، در حالی که SmolLM2-135M-Instruct نوع تنظیم شده توسط دستورالعمل آن است.
مدلهای تنظیمشده دستورالعمل برای پیروی از یک ساختار مکالمه خاص آموزش داده شدهاند که آنها را برای برنامههای چت بات مناسبتر میکند. علاوه بر این، مدلهای دستور میتوانند تعاملات پیچیده، از جمله استفاده از ابزار، ورودیهای چندوجهی، و فراخوانی تابع را مدیریت کنند.
برای اینکه یک مدل پایه مانند یک مدل دستورالعمل رفتار کند، باید اعلان های خود را به روشی سازگار قالب بندی کنیم که مدل بتواند آن را درک کند. اینجاست که قالبهای چت وارد میشوند. ChatML یکی از این قالبهای قالب است که مکالمات را با شاخصهای نقش روشن (سیستم، کاربر، دستیار) ساختار میدهد. در اینجا راهنمای ChatML آمده است.
هنگام استفاده از یک مدل دستورالعمل، همیشه بررسی کنید که از قالب درست قالب چت استفاده می کنید. استفاده از الگوی اشتباه می تواند منجر به عملکرد ضعیف مدل یا رفتار غیرمنتظره شود. ساده ترین راه برای اطمینان از این موضوع بررسی پیکربندی توکِن ساز مدل در هاب است. به عنوان مثال، مدل
SmolLM2-135M-Instructاز این پیکربندی استفاده می کند.
قالبهای رایج
قبل از پرداختن به پیادهسازیهای خاص، مهم است که بدانیم مدلهای مختلف چگونه انتظار دارند مکالماتشان قالببندی شود. بیایید با استفاده از یک مکالمه مثال ساده، برخی از قالبهای قالب رایج را بررسی کنیم:
ما از ساختار مکالمه زیر برای همه مثال ها استفاده خواهیم کرد:
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello!"},
{"role": "assistant", "content": "Hi! How can I help you today?"},
{"role": "user", "content": "What's the weather?"},
]
این قالب ChatML است که در مدل هایی مانند SmolLM2 و Qwen 2 استفاده می شود:
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
Hello!<|im_end|>
<|im_start|>assistant
Hi! How can I help you today?<|im_end|>
<|im_start|>user
What's the weather?<|im_start|>assistant
این با استفاده از قالب mistral است:
<s>[INST] You are a helpful assistant. [/INST]
Hi! How can I help you today?</s>
[INST] Hello! [/INST]
تفاوت های اصلی بین این فرمت ها عبارتند از:
مدیریت پیامهای سیستمی:
- Llama 2 پیام های سیستم را در برچسب های
<<SYS>>قرار می دهد - Llama 3 از تگ های
<|system|>با انتهای</s>استفاده می کند - Mistral شامل پیام سیستم در اولین دستورالعمل است
- Qwen از نقش صریح
systemبا برچسب های<|im_start|>استفاده می کند - ChatGPT از پیشوند
SYSTEM:استفاده می کند
- Llama 2 پیام های سیستم را در برچسب های
مرزهای پیام:
- لاما 2 از تگ های
[INST]و[/INST]استفاده می کند - Llama 3 از برچسبهای مخصوص نقش (
<|system|>،<|user|>،<|assistant|>) با انتهای</s>استفاده میکند. - Mistral از
[INST]و[/INST]با<s>و</s>استفاده می کند - Qwen از نشانه های شروع/پایان نقش خاص استفاده می کند
- لاما 2 از تگ های
توکِنهای ویژه:
- Llama 2 از
<s>و</s>برای مرزهای مکالمه استفاده می کند - Llama 3 از
</s>برای پایان دادن به هر پیام استفاده می کند - میسترال از
<s>و</s>برای مرزهای پیچ استفاده می کند - Qwen از نشانه های شروع/پایان نقش خاص استفاده می کند
- Llama 2 از
درک این تفاوت ها کلید کار با مدل های مختلف است. بیایید ببینیم چگونه کتابخانه ترنسفورمر به ما کمک می کند تا این تغییرات را به طور خودکار مدیریت کنیم:
from transformers import AutoTokenizer
# These will use different templates automatically
mistral_tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
qwen_tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat")
smol_tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-135M-Instruct")
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello!"},
]
# Each will format according to its model's template
mistral_chat = mistral_tokenizer.apply_chat_template(messages, tokenize=False)
qwen_chat = qwen_tokenizer.apply_chat_template(messages, tokenize=False)
smol_chat = smol_tokenizer.apply_chat_template(messages, tokenize=False)
برای دیدن نمونههای قالب کلیک کنید
قالب Qwen 2 و SmolLM2 ChatML:
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
Hello!<|im_end|>
<|im_start|>assistant
Hi! How can I help you today?<|im_end|>
<|im_start|>user
What's the weather?<|im_start|>assistant
الگوی میسترال:
<s>[INST] You are a helpful assistant. [/INST]
Hi! How can I help you today?</s>
[INST] Hello! [/INST]
قابلیتهای پیشرفته
الگوهای چت می توانند سناریوهای پیچیده تری را فراتر از تعاملات محاوره ای انجام دهند، از جمله:
- استفاده از ابزار: زمانی که مدل ها نیاز به تعامل با ابزارهای خارجی یا API دارند
- ورودی های چند وجهی: برای مدیریت تصاویر، صدا یا انواع رسانه های دیگر
- ** فراخوانی تابع **: برای اجرای ساختار یافته توابع
- ** زمینه چند نوبتی **: برای حفظ سابقه مکالمه
هنگام پیاده سازی ویژگی های پیشرفته:
- با مدل خاص خود به طور کامل تست کنید. چشم انداز و قالب استفاده از ابزار بسیار متنوع است.
- استفاده از نشانه را به دقت بین هر ویژگی و مدل نظارت کنید.
- فرمت مورد انتظار برای هر ویژگی را مستند کنید
برای مکالمات چندوجهی، الگوهای چت میتوانند شامل ارجاعات تصویری یا تصاویر کدگذاری شده با base64 باشند:
messages = [
{
"role": "system",
"content": "You are a helpful vision assistant that can analyze images.",
},
{
"role": "user",
"content": [
{"type": "text", "text": "What's in this image?"},
{"type": "image", "image_url": "https://example.com/image.jpg"},
],
},
]
در اینجا نمونه ای از قالب چت با استفاده از ابزار آورده شده است:
messages = [
{
"role": "system",
"content": "You are an AI assistant that can use tools. Available tools: calculator, weather_api",
},
{"role": "user", "content": "What's 123 * 456 and is it raining in Paris?"},
{
"role": "assistant",
"content": "Let me help you with that.",
"tool_calls": [
{
"tool": "calculator",
"parameters": {"operation": "multiply", "x": 123, "y": 456},
},
{"tool": "weather_api", "parameters": {"city": "Paris", "country": "France"}},
],
},
{"role": "tool", "tool_name": "calculator", "content": "56088"},
{
"role": "tool",
"tool_name": "weather_api",
"content": "{'condition': 'rain', 'temperature': 15}",
},
]
بهترین روشها
دستورالعملهای عمومی
هنگام کار با قالب های چت، این روش های کلیدی را دنبال کنید:
- **قالب بندی ثابت **: همیشه از قالب یکسانی در سراسر برنامه خود استفاده کنید
- پاک کردن تعریف نقش: نقش ها (سیستم، کاربر، دستیار، ابزار) را به وضوح برای هر پیام مشخص کنید.
- مدیریت زمینه: هنگام حفظ سابقه مکالمه به محدودیت های نشانه توجه کنید
- ** رسیدگی به خطا**: شامل مدیریت صحیح خطا برای تماس های ابزار و ورودی های چندوجهی
- ** اعتبارسنجی **: ساختار پیام را قبل از ارسال به مدل اعتبار سنجی کنید
مشکلات رایجی که باید از آنها اجتناب کرد:
- ترکیب قالب های مختلف در یک برنامه
- فراتر از حد مجاز با سابقه مکالمه طولانی
- فرار نکردن صحیح از کاراکترهای خاص در پیام ها
- فراموش کردن اعتبارسنجی ساختار پیام ورودی
- نادیده گرفتن الزامات الگوی خاص
تمرین عملی
بیایید پیاده سازی قالب های چت را با یک مثال در دنیای واقعی تمرین کنیم.
برای تبدیل دیتاسِت
HuggingFaceTB/smoltalkبه فرمت chatml مراحل زیر را دنبال کنید:
- دیتاسِت را بارگذاری کنید:
from datasets import load_dataset dataset = load_dataset("HuggingFaceTB/smoltalk")
- تابع پردازش را ایجاد کنید:
def convert_to_chatml(example): return { "messages": [ {"role": "user", "content": example["input"]}, {"role": "assistant", "content": example["output"]}, ] }
- قالب چت را با استفاده از توکِنساز مدل انتخابی اعمال کنید
به یاد داشته باشید که قالب خروجی را با نیازهای مدل هدف خود مطابقت دهید!
منابع بیشتر
Xet Storage Details
- Size:
- 13 kB
- Xet hash:
- 73e3afeda1dfeaf9ea4f7184fbc410152cf33f8a77754d715af3fc75e42e8d0c
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.