| \documentclass[12pt,a4paper]{report} | |
| \usepackage{amsmath,amssymb,amsthm} | |
| \usepackage{geometry} | |
| \geometry{a4paper, left=2.5cm, right=3cm, top=3cm, bottom=3cm} | |
| \usepackage{xepersian} | |
| \settextfont{X Nazanin} | |
| \setdigitfont{X Nazanin} | |
| \setlatintextfont{Times New Roman} | |
| \begin{document} | |
| \chapter*{تشریح ساختار معماری مدل‌های توجه و فشرده‌سازی} | |
| \addcontentsline{toc}{chapter}{تشریح ساختار معماری مدل‌های توجه و فشرده‌سازی} | |
| در این بخش، ساختار معماری، فرمول‌بندی ریاضی و مکانیزم‌های عملکردی ماژول‌های بررسی شده به تفصیل و تک‌به‌تک (به تفکیک) تشریح می‌گردند. در این توضیحات، تمرکز مستقیماً بر روی طراحی لایه‌ها، نحوه مدیریت ماتریس‌های پرس‌وجو، کلید و مقدار (\lr{Q, K, V})، و نحوه تقلیل پیچیدگی مکانی و زمانی معطوف است. | |
| \section*{1. ساختار ماژول \lr{nli\_softmax}} | |
| \addcontentsline{toc}{section}{1. ساختار ماژول \lr{nli\_softmax}} | |
| ساختار این مکانیزم توجه بر پایه‌ی تقریب توابع غیرخطی بنا شده است. در مکانیزم استاندارد توجه، محاسبه‌ی ماتریس احتمال نیازمند اعمال تابع نمایی بر روی ضرب داخلی $\mathbf{Q} \mathbf{K}^T$ است که دارای پیچیدگی $\mathcal{O}(N^2)$ می‌باشد. این ماژول با بهره‌گیری از نگاشت‌های ویژگی (Feature Maps) نظیر $\phi(\cdot)$، تقریب $\exp(\mathbf{q}_i^T \mathbf{k}_j) \approx \phi(\mathbf{q}_i)^T \phi(\mathbf{k}_j)$ را اعمال می‌کند. با استفاده از خاصیت شرکت‌پذیری ضرب ماتریسی، محاسبات به فرم $\phi(\mathbf{Q}) (\phi(\mathbf{K})^T \mathbf{V})$ بازآرایی می‌شود که منجر به کاهش پیچیدگی زمانی و مکانی به فرم خطی $\mathcal{O}(N \cdot d^2)$ می‌گردد. همچنین برای حفظ پایداری عددی، از روش‌های نرمال‌سازی متقارن در مخرج کسر توجه استفاده می‌شود. | |
| \section*{2. ساختار ماژول \lr{weighted\_ensemble}} | |
| \addcontentsline{toc}{section}{2. ساختار ماژول \lr{weighted\_ensemble}} | |
| معماری این مکانیزم از ترکیب چندین زیرشبکه یا هدِ توجه (Attention Branches) مجزا تشکیل شده است. به جای تکیه بر یک ماتریس توجه واحد، ورودی $\mathbf{X}$ به چندین مسیر موازی هدایت می‌شود که هر یک ویژگی‌های محلی یا سراسری متفاوتی را استخراج می‌کنند. خروجی نهایی به صورت یک ترکیب خطی وزن‌دار $\mathbf{O} = \sum_{i=1}^{M} \alpha_i \mathrm{Attention}_i(\mathbf{Q}, \mathbf{K}, \mathbf{V})$ محاسبه می‌گردد. مقادیر دروازه‌بندی (Gating) $\alpha_i$ می‌توانند به صورت پارامترهای آموزش‌پذیر، تابعی از ورودی، یا مکانیزم‌های مسیریابی (Routing) مبتنی بر شبکه عصبیِ کم‌عمق تعیین شوند. این ساختار تضمین می‌کند که در صورت افت کیفیت در یک زیرشبکه، سایر زیرشبکه‌ها با وزن‌دهی تطبیقی جبران خطا کنند. | |
| \section*{3. ساختار ماژول \lr{smart\_weighted\_ensemble}} | |
| \addcontentsline{toc}{section}{3. ساختار ماژول \lr{smart\_weighted\_ensemble}} | |
| معماری این مکانیزم از ترکیب چندین زیرشبکه یا هدِ توجه (Attention Branches) مجزا تشکیل شده است. به جای تکیه بر یک ماتریس توجه واحد، ورودی $\mathbf{X}$ به چندین مسیر موازی هدایت می‌شود که هر یک ویژگی‌های محلی یا سراسری متفاوتی را استخراج می‌کنند. خروجی نهایی به صورت یک ترکیب خطی وزن‌دار $\mathbf{O} = \sum_{i=1}^{M} \alpha_i \mathrm{Attention}_i(\mathbf{Q}, \mathbf{K}, \mathbf{V})$ محاسبه می‌گردد. مقادیر دروازه‌بندی (Gating) $\alpha_i$ می‌توانند به صورت پارامترهای آموزش‌پذیر، تابعی از ورودی، یا مکانیزم‌های مسیریابی (Routing) مبتنی بر شبکه عصبیِ کم‌عمق تعیین شوند. این ساختار تضمین می‌کند که در صورت افت کیفیت در یک زیرشبکه، سایر زیرشبکه‌ها با وزن‌دهی تطبیقی جبران خطا کنند. | |
| \section*{4. ساختار ماژول \lr{frandi}} | |
| \addcontentsline{toc}{section}{4. ساختار ماژول \lr{frandi}} | |
| در قلب این معماری، تئوری پرتاب تصادفی جانسون-لیندن‌اشتراوس (Johnson-Lindenstrauss Lemma) پیاده‌سازی شده است. برای کاهش ابعاد ماتریس‌های پرس‌وجو ($\mathbf{Q}$) و کلید ($\mathbf{K}$)، از ماتریس‌های تصادفی متعامد $\mathbf{R} \in \mathbb{R}^{d \times k}$ استفاده می‌شود که در آن $k \ll d$. با اعمال این پرتاب تصادفی ($\hat{\mathbf{Q}} = \mathbf{Q} \mathbf{R}$)، فاصله کسینوسی و ضرب داخلی بردارهای توجه در فضای کم‌بعدتر تا حد بسیار بالایی حفظ می‌شود. این فشرده‌سازی باعث می‌شود تا عملیات محاسبه شباهت با سرعت بالاتر و حافظه کمتری انجام شود، ضمن آنکه ویژگی‌های هندسی فضای تعبیه‌سازی اولیه دستخوش تغییرات مخرب نگردد. | |
| \section*{5. ساختار ماژول \lr{hashednets}} | |
| \addcontentsline{toc}{section}{5. ساختار ماژول \lr{hashednets}} | |
| ساختار این ماژول بر پایه فشرده‌سازی مقادیر عددی از طریق درهم‌سازی (Hashing) و کوانتیزاسیون (Quantization) استوار است. در مکانیزم توجه، ماتریس‌های وزن به جای ذخیره‌سازی با دقت ۳۲ بیتی، به کلاسترهای مجزا تقسیم شده و مقادیر آن‌ها در قالب‌های کم‌دقت‌تر (مانند \lr{INT4} یا \lr{FP8}) ذخیره می‌شوند. برای جبران خطای ناشی از این فشرده‌سازی، از تکنیک‌های چرخش فضا (Rotational Matrices) یا کالیبراسیون توزیع مقادیر (Outlier Handling) استفاده می‌گردد. همچنین در برخی از این معماری‌ها، از توابع درهم‌ساز برای به اشتراک‌گذاری وزن‌ها (Weight Sharing) میان هد‌های مختلف توجه استفاده می‌شود که افزونگی حافظه را به شدت می‌کاهد. | |
| \section*{6. ساختار ماژول \lr{grecodec}} | |
| \addcontentsline{toc}{section}{6. ساختار ماژول \lr{grecodec}} | |
| در این مدل، ساختار توجه با یک لایه کدگذاری انتروپی (Entropy Coding) ترکیب شده است. پس از محاسبه ماتریس توجه، توزیع مقادیر احتمال و اکتویشن‌ها تحلیل شده و از کدهایی با طول متغیر (مانند کدگذاری هافمن) برای تخصیص بیت‌های کمتر به مقادیر پرتکرار (نظیر وزن‌های صفر در ماتریس‌های تنک) استفاده می‌شود. این فشرده‌سازی بدون اتلاف (Lossless) یا با اتلاف کنترل‌شده، پهنای باند حافظه (Memory Bandwidth) مورد نیاز برای بارگذاری و واکشی تنسورها از حافظه‌ی اصلی (DRAM) به حافظه‌ی نهان (SRAM) را به طرز چشمگیری کاهش داده و گلوگاه ورودی/خروجی (I/O Bottleneck) را رفع می‌کند. | |
| \section*{7. ساختار ماژول \lr{flat\_llm}} | |
| \addcontentsline{toc}{section}{7. ساختار ماژول \lr{flat\_llm}} | |
| ساختار این ماژول بر پایه فشرده‌سازی مقادیر عددی از طریق درهم‌سازی (Hashing) و کوانتیزاسیون (Quantization) استوار است. در مکانیزم توجه، ماتریس‌های وزن به جای ذخیره‌سازی با دقت ۳۲ بیتی، به کلاسترهای مجزا تقسیم شده و مقادیر آن‌ها در قالب‌های کم‌دقت‌تر (مانند \lr{INT4} یا \lr{FP8}) ذخیره می‌شوند. برای جبران خطای ناشی از این فشرده‌سازی، از تکنیک‌های چرخش فضا (Rotational Matrices) یا کالیبراسیون توزیع مقادیر (Outlier Handling) استفاده می‌گردد. همچنین در برخی از این معماری‌ها، از توابع درهم‌ساز برای به اشتراک‌گذاری وزن‌ها (Weight Sharing) میان هد‌های مختلف توجه استفاده می‌شود که افزونگی حافظه را به شدت می‌کاهد. | |
| \section*{8. ساختار ماژول \lr{mgie\_budget}} | |
| \addcontentsline{toc}{section}{8. ساختار ماژول \lr{mgie\_budget}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{9. ساختار ماژول \lr{armor\_pruner}} | |
| \addcontentsline{toc}{section}{9. ساختار ماژول \lr{armor\_pruner}} | |
| این ماژول از تکنیک‌های هرس ساختاریافته (Structured Pruning) برای خلوت‌سازی (Sparsification) ماتریس‌های وزن $\mathbf{W}_q, \mathbf{W}_k, \mathbf{W}_v, \mathbf{W}_o$ استفاده می‌کند. با ارزیابی میزان اهمیت هر سطر یا ستون (اغلب از طریق بسط تیلورِ تابع زیان یا محاسبه نرم مقادیر ویژگی)، ابعاد زائد از ماتریس‌ها به طور کامل حذف (Slice) می‌شوند. برخلاف هرس‌های غیرساختاریافته که نیازمند فرمت‌های پیچیده‌ی حافظه هستند، این روش ابعاد پنهان (Hidden Dimension) مدل را مستقیماً کاهش داده و به ترانسفورمر اجازه می‌دهد تا ضرب‌های ماتریسی متراکم (Dense GEMM) را با ماتریس‌های کوچکتر انجام دهد، که منجر به کاهش خطی در تعداد پارامترهای محاسباتی (FLOPs) می‌شود. | |
| \section*{10. ساختار ماژول \lr{rotational\_slicegpt\_int4}} | |
| \addcontentsline{toc}{section}{10. ساختار ماژول \lr{rotational\_slicegpt\_int4}} | |
| این ماژول از تکنیک‌های هرس ساختاریافته (Structured Pruning) برای خلوت‌سازی (Sparsification) ماتریس‌های وزن $\mathbf{W}_q, \mathbf{W}_k, \mathbf{W}_v, \mathbf{W}_o$ استفاده می‌کند. با ارزیابی میزان اهمیت هر سطر یا ستون (اغلب از طریق بسط تیلورِ تابع زیان یا محاسبه نرم مقادیر ویژگی)، ابعاد زائد از ماتریس‌ها به طور کامل حذف (Slice) می‌شوند. برخلاف هرس‌های غیرساختاریافته که نیازمند فرمت‌های پیچیده‌ی حافظه هستند، این روش ابعاد پنهان (Hidden Dimension) مدل را مستقیماً کاهش داده و به ترانسفورمر اجازه می‌دهد تا ضرب‌های ماتریسی متراکم (Dense GEMM) را با ماتریس‌های کوچکتر انجام دهد، که منجر به کاهش خطی در تعداد پارامترهای محاسباتی (FLOPs) می‌شود. | |
| \section*{11. ساختار ماژول \lr{roast}} | |
| \addcontentsline{toc}{section}{11. ساختار ماژول \lr{roast}} | |
| ساختار این ماژول بر پایه فشرده‌سازی مقادیر عددی از طریق درهم‌سازی (Hashing) و کوانتیزاسیون (Quantization) استوار است. در مکانیزم توجه، ماتریس‌های وزن به جای ذخیره‌سازی با دقت ۳۲ بیتی، به کلاسترهای مجزا تقسیم شده و مقادیر آن‌ها در قالب‌های کم‌دقت‌تر (مانند \lr{INT4} یا \lr{FP8}) ذخیره می‌شوند. برای جبران خطای ناشی از این فشرده‌سازی، از تکنیک‌های چرخش فضا (Rotational Matrices) یا کالیبراسیون توزیع مقادیر (Outlier Handling) استفاده می‌گردد. همچنین در برخی از این معماری‌ها، از توابع درهم‌ساز برای به اشتراک‌گذاری وزن‌ها (Weight Sharing) میان هد‌های مختلف توجه استفاده می‌شود که افزونگی حافظه را به شدت می‌کاهد. | |
| \section*{12. ساختار ماژول \lr{roast\_hashed\_linear}} | |
| \addcontentsline{toc}{section}{12. ساختار ماژول \lr{roast\_hashed\_linear}} | |
| ساختار این ماژول بر پایه فشرده‌سازی مقادیر عددی از طریق درهم‌سازی (Hashing) و کوانتیزاسیون (Quantization) استوار است. در مکانیزم توجه، ماتریس‌های وزن به جای ذخیره‌سازی با دقت ۳۲ بیتی، به کلاسترهای مجزا تقسیم شده و مقادیر آن‌ها در قالب‌های کم‌دقت‌تر (مانند \lr{INT4} یا \lr{FP8}) ذخیره می‌شوند. برای جبران خطای ناشی از این فشرده‌سازی، از تکنیک‌های چرخش فضا (Rotational Matrices) یا کالیبراسیون توزیع مقادیر (Outlier Handling) استفاده می‌گردد. همچنین در برخی از این معماری‌ها، از توابع درهم‌ساز برای به اشتراک‌گذاری وزن‌ها (Weight Sharing) میان هد‌های مختلف توجه استفاده می‌شود که افزونگی حافظه را به شدت می‌کاهد. | |
| \section*{13. ساختار ماژول \lr{nasc\_attention}} | |
| \addcontentsline{toc}{section}{13. ساختار ماژول \lr{nasc\_attention}} | |
| ساختار این مکانیزم توجه بر پایه‌ی تقریب توابع غیرخطی بنا شده است. در مکانیزم استاندارد توجه، محاسبه‌ی ماتریس احتمال نیازمند اعمال تابع نمایی بر روی ضرب داخلی $\mathbf{Q} \mathbf{K}^T$ است که دارای پیچیدگی $\mathcal{O}(N^2)$ می‌باشد. این ماژول با بهره‌گیری از نگاشت‌های ویژگی (Feature Maps) نظیر $\phi(\cdot)$، تقریب $\exp(\mathbf{q}_i^T \mathbf{k}_j) \approx \phi(\mathbf{q}_i)^T \phi(\mathbf{k}_j)$ را اعمال می‌کند. با استفاده از خاصیت شرکت‌پذیری ضرب ماتریسی، محاسبات به فرم $\phi(\mathbf{Q}) (\phi(\mathbf{K})^T \mathbf{V})$ بازآرایی می‌شود که منجر به کاهش پیچیدگی زمانی و مکانی به فرم خطی $\mathcal{O}(N \cdot d^2)$ می‌گردد. همچنین برای حفظ پایداری عددی، از روش‌های نرمال‌سازی متقارن در مخرج کسر توجه استفاده می‌شود. | |
| \section*{14. ساختار ماژول \lr{saes\_svd\_v2}} | |
| \addcontentsline{toc}{section}{14. ساختار ماژول \lr{saes\_svd\_v2}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{15. ساختار ماژول \lr{lillama}} | |
| \addcontentsline{toc}{section}{15. ساختار ماژول \lr{lillama}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{16. ساختار ماژول \lr{subspace\_projection}} | |
| \addcontentsline{toc}{section}{16. ساختار ماژول \lr{subspace\_projection}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{17. ساختار ماژول \lr{soka}} | |
| \addcontentsline{toc}{section}{17. ساختار ماژول \lr{soka}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{18. ساختار ماژول \lr{hashed\_linear}} | |
| \addcontentsline{toc}{section}{18. ساختار ماژول \lr{hashed\_linear}} | |
| ساختار این ماژول بر پایه فشرده‌سازی مقادیر عددی از طریق درهم‌سازی (Hashing) و کوانتیزاسیون (Quantization) استوار است. در مکانیزم توجه، ماتریس‌های وزن به جای ذخیره‌سازی با دقت ۳۲ بیتی، به کلاسترهای مجزا تقسیم شده و مقادیر آن‌ها در قالب‌های کم‌دقت‌تر (مانند \lr{INT4} یا \lr{FP8}) ذخیره می‌شوند. برای جبران خطای ناشی از این فشرده‌سازی، از تکنیک‌های چرخش فضا (Rotational Matrices) یا کالیبراسیون توزیع مقادیر (Outlier Handling) استفاده می‌گردد. همچنین در برخی از این معماری‌ها، از توابع درهم‌ساز برای به اشتراک‌گذاری وزن‌ها (Weight Sharing) میان هد‌های مختلف توجه استفاده می‌شود که افزونگی حافظه را به شدت می‌کاهد. | |
| \section*{19. ساختار ماژول \lr{kronecker\_tt\_lora}} | |
| \addcontentsline{toc}{section}{19. ساختار ماژول \lr{kronecker\_tt\_lora}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{20. ساختار ماژول \lr{uniql}} | |
| \addcontentsline{toc}{section}{20. ساختار ماژول \lr{uniql}} | |
| ساختار این ماژول بر پایه فشرده‌سازی مقادیر عددی از طریق درهم‌سازی (Hashing) و کوانتیزاسیون (Quantization) استوار است. در مکانیزم توجه، ماتریس‌های وزن به جای ذخیره‌سازی با دقت ۳۲ بیتی، به کلاسترهای مجزا تقسیم شده و مقادیر آن‌ها در قالب‌های کم‌دقت‌تر (مانند \lr{INT4} یا \lr{FP8}) ذخیره می‌شوند. برای جبران خطای ناشی از این فشرده‌سازی، از تکنیک‌های چرخش فضا (Rotational Matrices) یا کالیبراسیون توزیع مقادیر (Outlier Handling) استفاده می‌گردد. همچنین در برخی از این معماری‌ها، از توابع درهم‌ساز برای به اشتراک‌گذاری وزن‌ها (Weight Sharing) میان هد‌های مختلف توجه استفاده می‌شود که افزونگی حافظه را به شدت می‌کاهد. | |
| \section*{21. ساختار ماژول \lr{huffman\_coder}} | |
| \addcontentsline{toc}{section}{21. ساختار ماژول \lr{huffman\_coder}} | |
| در این مدل، ساختار توجه با یک لایه کدگذاری انتروپی (Entropy Coding) ترکیب شده است. پس از محاسبه ماتریس توجه، توزیع مقادیر احتمال و اکتویشن‌ها تحلیل شده و از کدهایی با طول متغیر (مانند کدگذاری هافمن) برای تخصیص بیت‌های کمتر به مقادیر پرتکرار (نظیر وزن‌های صفر در ماتریس‌های تنک) استفاده می‌شود. این فشرده‌سازی بدون اتلاف (Lossless) یا با اتلاف کنترل‌شده، پهنای باند حافظه (Memory Bandwidth) مورد نیاز برای بارگذاری و واکشی تنسورها از حافظه‌ی اصلی (DRAM) به حافظه‌ی نهان (SRAM) را به طرز چشمگیری کاهش داده و گلوگاه ورودی/خروجی (I/O Bottleneck) را رفع می‌کند. | |
| \section*{22. ساختار ماژول \lr{enlighten}} | |
| \addcontentsline{toc}{section}{22. ساختار ماژول \lr{enlighten}} | |
| در این مدل، ساختار توجه با یک لایه کدگذاری انتروپی (Entropy Coding) ترکیب شده است. پس از محاسبه ماتریس توجه، توزیع مقادیر احتمال و اکتویشن‌ها تحلیل شده و از کدهایی با طول متغیر (مانند کدگذاری هافمن) برای تخصیص بیت‌های کمتر به مقادیر پرتکرار (نظیر وزن‌های صفر در ماتریس‌های تنک) استفاده می‌شود. این فشرده‌سازی بدون اتلاف (Lossless) یا با اتلاف کنترل‌شده، پهنای باند حافظه (Memory Bandwidth) مورد نیاز برای بارگذاری و واکشی تنسورها از حافظه‌ی اصلی (DRAM) به حافظه‌ی نهان (SRAM) را به طرز چشمگیری کاهش داده و گلوگاه ورودی/خروجی (I/O Bottleneck) را رفع می‌کند. | |
| \section*{23. ساختار ماژول \lr{replaceme}} | |
| \addcontentsline{toc}{section}{23. ساختار ماژول \lr{replaceme}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{24. ساختار ماژول \lr{huffman}} | |
| \addcontentsline{toc}{section}{24. ساختار ماژول \lr{huffman}} | |
| در این مدل، ساختار توجه با یک لایه کدگذاری انتروپی (Entropy Coding) ترکیب شده است. پس از محاسبه ماتریس توجه، توزیع مقادیر احتمال و اکتویشن‌ها تحلیل شده و از کدهایی با طول متغیر (مانند کدگذاری هافمن) برای تخصیص بیت‌های کمتر به مقادیر پرتکرار (نظیر وزن‌های صفر در ماتریس‌های تنک) استفاده می‌شود. این فشرده‌سازی بدون اتلاف (Lossless) یا با اتلاف کنترل‌شده، پهنای باند حافظه (Memory Bandwidth) مورد نیاز برای بارگذاری و واکشی تنسورها از حافظه‌ی اصلی (DRAM) به حافظه‌ی نهان (SRAM) را به طرز چشمگیری کاهش داده و گلوگاه ورودی/خروجی (I/O Bottleneck) را رفع می‌کند. | |
| \section*{25. ساختار ماژول \lr{cure}} | |
| \addcontentsline{toc}{section}{25. ساختار ماژول \lr{cure}} | |
| این ماژول از تکنیک‌های هرس ساختاریافته (Structured Pruning) برای خلوت‌سازی (Sparsification) ماتریس‌های وزن $\mathbf{W}_q, \mathbf{W}_k, \mathbf{W}_v, \mathbf{W}_o$ استفاده می‌کند. با ارزیابی میزان اهمیت هر سطر یا ستون (اغلب از طریق بسط تیلورِ تابع زیان یا محاسبه نرم مقادیر ویژگی)، ابعاد زائد از ماتریس‌ها به طور کامل حذف (Slice) می‌شوند. برخلاف هرس‌های غیرساختاریافته که نیازمند فرمت‌های پیچیده‌ی حافظه هستند، این روش ابعاد پنهان (Hidden Dimension) مدل را مستقیماً کاهش داده و به ترانسفورمر اجازه می‌دهد تا ضرب‌های ماتریسی متراکم (Dense GEMM) را با ماتریس‌های کوچکتر انجام دهد، که منجر به کاهش خطی در تعداد پارامترهای محاسباتی (FLOPs) می‌شود. | |
| \section*{26. ساختار ماژول \lr{cur\_linear}} | |
| \addcontentsline{toc}{section}{26. ساختار ماژول \lr{cur\_linear}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{27. ساختار ماژول \lr{come}} | |
| \addcontentsline{toc}{section}{27. ساختار ماژول \lr{come}} | |
| این ماژول از تکنیک‌های هرس ساختاریافته (Structured Pruning) برای خلوت‌سازی (Sparsification) ماتریس‌های وزن $\mathbf{W}_q, \mathbf{W}_k, \mathbf{W}_v, \mathbf{W}_o$ استفاده می‌کند. با ارزیابی میزان اهمیت هر سطر یا ستون (اغلب از طریق بسط تیلورِ تابع زیان یا محاسبه نرم مقادیر ویژگی)، ابعاد زائد از ماتریس‌ها به طور کامل حذف (Slice) می‌شوند. برخلاف هرس‌های غیرساختاریافته که نیازمند فرمت‌های پیچیده‌ی حافظه هستند، این روش ابعاد پنهان (Hidden Dimension) مدل را مستقیماً کاهش داده و به ترانسفورمر اجازه می‌دهد تا ضرب‌های ماتریسی متراکم (Dense GEMM) را با ماتریس‌های کوچکتر انجام دهد، که منجر به کاهش خطی در تعداد پارامترهای محاسباتی (FLOPs) می‌شود. | |
| \section*{28. ساختار ماژول \lr{saes\_svd\_compressor}} | |
| \addcontentsline{toc}{section}{28. ساختار ماژول \lr{saes\_svd\_compressor}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{29. ساختار ماژول \lr{dobi\_svd}} | |
| \addcontentsline{toc}{section}{29. ساختار ماژول \lr{dobi\_svd}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{30. ساختار ماژول \lr{dynamic\_entropy\_svd}} | |
| \addcontentsline{toc}{section}{30. ساختار ماژول \lr{dynamic\_entropy\_svd}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{31. ساختار ماژول \lr{adaptive\_compressor}} | |
| \addcontentsline{toc}{section}{31. ساختار ماژول \lr{adaptive\_compressor}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{32. ساختار ماژول \lr{rpca}} | |
| \addcontentsline{toc}{section}{32. ساختار ماژول \lr{rpca}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{33. ساختار ماژول \lr{modegpt}} | |
| \addcontentsline{toc}{section}{33. ساختار ماژول \lr{modegpt}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{34. ساختار ماژول \lr{mlorq}} | |
| \addcontentsline{toc}{section}{34. ساختار ماژول \lr{mlorq}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{35. ساختار ماژول \lr{mgie\_svd}} | |
| \addcontentsline{toc}{section}{35. ساختار ماژول \lr{mgie\_svd}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{36. ساختار ماژول \lr{lsc}} | |
| \addcontentsline{toc}{section}{36. ساختار ماژول \lr{lsc}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{37. ساختار ماژول \lr{slicegpt\_pca}} | |
| \addcontentsline{toc}{section}{37. ساختار ماژول \lr{slicegpt\_pca}} | |
| این ماژول از تکنیک‌های هرس ساختاریافته (Structured Pruning) برای خلوت‌سازی (Sparsification) ماتریس‌های وزن $\mathbf{W}_q, \mathbf{W}_k, \mathbf{W}_v, \mathbf{W}_o$ استفاده می‌کند. با ارزیابی میزان اهمیت هر سطر یا ستون (اغلب از طریق بسط تیلورِ تابع زیان یا محاسبه نرم مقادیر ویژگی)، ابعاد زائد از ماتریس‌ها به طور کامل حذف (Slice) می‌شوند. برخلاف هرس‌های غیرساختاریافته که نیازمند فرمت‌های پیچیده‌ی حافظه هستند، این روش ابعاد پنهان (Hidden Dimension) مدل را مستقیماً کاهش داده و به ترانسفورمر اجازه می‌دهد تا ضرب‌های ماتریسی متراکم (Dense GEMM) را با ماتریس‌های کوچکتر انجام دهد، که منجر به کاهش خطی در تعداد پارامترهای محاسباتی (FLOPs) می‌شود. | |
| \section*{38. ساختار ماژول \lr{adaptive\_ranks}} | |
| \addcontentsline{toc}{section}{38. ساختار ماژول \lr{adaptive\_ranks}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{39. ساختار ماژول \lr{padre}} | |
| \addcontentsline{toc}{section}{39. ساختار ماژول \lr{padre}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{40. ساختار ماژول \lr{faq}} | |
| \addcontentsline{toc}{section}{40. ساختار ماژول \lr{faq}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{41. ساختار ماژول \lr{svd\_linear\_attn}} | |
| \addcontentsline{toc}{section}{41. ساختار ماژول \lr{svd\_linear\_attn}} | |
| ساختار این مکانیزم توجه بر پایه‌ی تقریب توابع غیرخطی بنا شده است. در مکانیزم استاندارد توجه، محاسبه‌ی ماتریس احتمال نیازمند اعمال تابع نمایی بر روی ضرب داخلی $\mathbf{Q} \mathbf{K}^T$ است که دارای پیچیدگی $\mathcal{O}(N^2)$ می‌باشد. این ماژول با بهره‌گیری از نگاشت‌های ویژگی (Feature Maps) نظیر $\phi(\cdot)$، تقریب $\exp(\mathbf{q}_i^T \mathbf{k}_j) \approx \phi(\mathbf{q}_i)^T \phi(\mathbf{k}_j)$ را اعمال می‌کند. با استفاده از خاصیت شرکت‌پذیری ضرب ماتریسی، محاسبات به فرم $\phi(\mathbf{Q}) (\phi(\mathbf{K})^T \mathbf{V})$ بازآرایی می‌شود که منجر به کاهش پیچیدگی زمانی و مکانی به فرم خطی $\mathcal{O}(N \cdot d^2)$ می‌گردد. همچنین برای حفظ پایداری عددی، از روش‌های نرمال‌سازی متقارن در مخرج کسر توجه استفاده می‌شود. | |
| \section*{42. ساختار ماژول \lr{template\_attention}} | |
| \addcontentsline{toc}{section}{42. ساختار ماژول \lr{template\_attention}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{43. ساختار ماژول \lr{adaptive\_sparse\_attention\_attention}} | |
| \addcontentsline{toc}{section}{43. ساختار ماژول \lr{adaptive\_sparse\_attention\_attention}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{44. ساختار ماژول \lr{lora\_attention}} | |
| \addcontentsline{toc}{section}{44. ساختار ماژول \lr{lora\_attention}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{45. ساختار ماژول \lr{spectraformer}} | |
| \addcontentsline{toc}{section}{45. ساختار ماژول \lr{spectraformer}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{46. ساختار ماژول \lr{spectraformer\_attention}} | |
| \addcontentsline{toc}{section}{46. ساختار ماژول \lr{spectraformer\_attention}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{47. ساختار ماژول \lr{infini\_attention}} | |
| \addcontentsline{toc}{section}{47. ساختار ماژول \lr{infini\_attention}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{48. ساختار ماژول \lr{optimized\_hybrid\_attention}} | |
| \addcontentsline{toc}{section}{48. ساختار ماژول \lr{optimized\_hybrid\_attention}} | |
| معماری این ساختار بر پایه تقریب‌های رتبه-پایین (Low-Rank Approximations) نظیر تجزیه مقادیر منفرد ($\mathbf{SVD}$) یا تجزیه کرونکر (Kronecker) استوار است. ماتریس پرپارامتر وزن $\mathbf{W}$ از طریق فاکتورسازی به ضرب دو یا چند ماتریس کوچکتر $\mathbf{W} \approx \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ تقریب زده می‌شود. با حفظ تنها $r$ مقدار منفرد برتر (جایی که $r \ll d$)، ظرفیت بازنمایی شبکه حفظ شده اما تعداد پارامترها به شدت کاهش می‌یابد. در حین استنتاج، به جای ضرب مستقیم ورودی در $\mathbf{W}$، ورودی ابتدا به یک زیرفضای کم‌بعد (از طریق $\mathbf{V}^T$) پرتاب شده و پس از پردازش، توسط $\mathbf{U}$ به فضای اصلی بازگردانده می‌شود. | |
| \section*{49. ساختار ماژول \lr{fms}} | |
| \addcontentsline{toc}{section}{49. ساختار ماژول \lr{fms}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{50. ساختار ماژول \lr{factorised\_matrix\_state}} | |
| \addcontentsline{toc}{section}{50. ساختار ماژول \lr{factorised\_matrix\_state}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \section*{51. ساختار ماژول \lr{granite\_hybrid}} | |
| \addcontentsline{toc}{section}{51. ساختار ماژول \lr{granite\_hybrid}} | |
| ساختار این ماژول، تعمیمی بر مکانیزم توجه نقطه‌ای (Dot-Product Attention) با تغییر در نحوه مسیریابی و نرمال‌سازی تنسورها می‌باشد. ماتریس‌های $\mathbf{Q, K, V}$ با عبور از نگاشت‌های تحویلی، در فضایی با پیچیدگی پایین‌تر ادغام می‌شوند. بازآرایی محاسبات و استفاده از ماسک‌های پویای علی (Dynamic Causal Masking) در این معماری تضمین می‌کند که جریان گرادیان در حین بازپس‌گیری دچار محوشدگی (Vanishing Gradient) نگردد و ساختار ماتریس توجهِ حاصل، تعادل مطلوبی میان ظرفیت یادگیری و هزینه سخت‌افزاری ایجاد کند. | |
| \end{document} |
Xet Storage Details
- Size:
- 57.8 kB
- Xet hash:
- 88662cced7bf2197df8a32975da461e5c321632ce7f747a448eac894d48f48ec
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.