EX-AI-Corase-163M
1. Model Overview
English
EX-AI-Corase-163M is an Iranian AI model developed from scratch by EX AI Studio. It is a Persian-only Transformer model based on the BERT architecture, designed primarily for masked language modeling and contextual word prediction.
The model learns bidirectional contextual representations of Persian text, allowing it to predict words based on the surrounding context.
فارسی
مدل EX-AI-Corase-163M یک مدل هوش مصنوعی ایرانی است که از صفر توسط EX AI Studio توسعه یافته است.
این مدل یک ترنسفورمر مبتنی بر معماری BERT است که صرفاً برای زبان فارسی طراحی شده و هدف اصلی آن مدل‌سازی زبان با توکن‌های پوشیده و پیش‌بینی کلمات بر اساس بافت متنی است.
این مدل با یادگیری بازنمایی‌های دوطرفه از متن فارسی، توانایی پیش‌بینی کلمات با استفاده از محتوای اطراف آن‌ها را دارد.
2. Model Details
English
- Model Name: EX-AI-Corase-163M
- Model Family: Corase
- Developer: EX AI Studio
- Origin: Iran
- Development Method: From Scratch
- Architecture: BERT
- Model Class: BertForMaskedLM
- Model Type: Persian Masked Language Model
- Language: Persian Only
- Parameters: Approximately 163 Million
- Purpose: Research
فارسی
- نام مدل: EX-AI-Corase-163M
- خانواده مدل: Corase
- توسعه‌دهنده: EX AI Studio
- خاستگاه: ایران
- روش توسعه: توسعه و آموزش از صفر
- معماری: BERT
- کلاس مدل: BertForMaskedLM
- نوع مدل: مدل زبانی فارسی با قابلیت پیش‌بینی کلمات
- زبان: فقط فارسی
- تعداد پارامترها: حدود ۱۶۳ میلیون
- هدف: پژوهشی
3. Intended Use
English
EX-AI-Corase-163M is intended for research and experimentation in Persian Natural Language Processing (NLP).
Its primary applications include:
- Masked language modeling.
- Contextual word prediction.
- Persian text representation.
- Bidirectional language understanding.
- Research on Persian language models.
فارسی
مدل EX-AI-Corase-163M برای پژوهش و آزمایش در حوزه پردازش زبان طبیعی فارسی (NLP) طراحی شده است.
کاربردهای اصلی آن عبارت‌اند از:
- مدل‌سازی زبان با توکن‌های پوشیده.
- پیش‌بینی کلمات بر اساس بافت متنی.
- بازنمایی متون فارسی.
- درک دوطرفه زبان.
- پژوهش در زمینه مدل‌های زبانی فارسی.
4. Model Architecture
English
The model uses the BERT Transformer architecture with the following configuration:
| Parameter | Value |
|---|---|
| Architecture | BERT |
| Model Type | bert |
| Vocabulary Size | 100,000 |
| Hidden Size | 768 |
| Attention Heads | 12 |
| Hidden Layers | 12 |
| Intermediate Size | 3,072 |
| Maximum Position Embeddings | 512 |
| Type Vocabulary Size | 2 |
| Hidden Activation | GELU |
| Attention Dropout | 0.1 |
| Hidden Dropout | 0.1 |
| Position Embedding Type | Absolute |
| Data Type | float32 |
فارسی
این مدل از معماری ترنسفورمر BERT با پیکربندی زیر استفاده می‌کند:
| مشخصه | مقدار |
|---|---|
| معماری | BERT |
| نوع مدل | bert |
| اندازه واژگان | ۱۰۰٬۰۰۰ |
| اندازه لایه پنهان | ۷۶۸ |
| تعداد سرهای توجه | ۱۲ |
| تعداد لایه‌های پنهان | ۱۲ |
| ابعاد لایه میانی | ۳۰۷۲ |
| حداکثر تعبیه موقعیتی | ۵۱۲ |
| اندازه واژگان نوعی | ۲ |
| تابع فعال‌سازی | GELU |
| نرخ Dropout توجه | ۰٫۱ |
| نرخ Dropout لایه پنهان | ۰٫۱ |
| نوع تعبیه موقعیتی | Absolute |
| نوع داده | float32 |
5. Training Dataset
English
The model was trained on a proprietary dataset developed exclusively by EX AI Studio.
The dataset is high-quality, filtered, and curated for suitable model training.
فارسی
این مدل با استفاده از دیتاست اختصاصی توسعه‌یافته توسط EX AI Studio آموزش داده شده است.
این دیتاست از کیفیت بالا برخوردار بوده و برای استفاده در فرایند آموزش مدل، فیلتر و پالایش شده است.
6. Technical Information
English
- Padding Token ID: 0
- Maximum Sequence Length: 512
- Layer Normalization Epsilon: 1e-12
- Initializer Range: 0.02
- Classifier Dropout: null
- PyTorch Data Type: float32
- Attention Probability Dropout: 0.1
- Hidden Activation: GELU
- Position Embedding Type: Absolute
- Transformers Version: 4.57.6
فارسی
- شناسه توکن Padding: 0
- حداکثر طول دنباله: ۵۱۲
- مقدار Layer Normalization Epsilon: 1e-12
- محدوده مقداردهی اولیه: 0.02
- نرخ Dropout طبقه‌بندی‌کننده: null
- نوع داده PyTorch: float32
- نرخ Dropout احتمال توجه: ۰٫۱
- تابع فعال‌سازی: GELU
- نوع تعبیه موقعیتی: Absolute
- نسخه Transformers: 4.57.6
7. Training Information
English
The model was trained using the following hardware:
- GPU: NVIDIA GeForce RTX 3080
- Training Duration: Approximately 1 hour
The training process was designed with an emphasis on speed and efficiency. We aimed to complete the training in a relatively short time while developing the model.
فارسی
مدل با استفاده از سخت‌افزار زیر آموزش داده شده است:
- پردازنده گرافیکی: NVIDIA GeForce RTX 3080
- مدت زمان آموزش: حدود ۱ ساعت
در فرایند آموزش، تلاش کردیم سرعت و بهره‌وری را در اولویت قرار دهیم و مدل را در مدت‌زمان نسبتاً کوتاهی آموزش دهیم.
8. Model Identity
English
EX-AI-Corase-163M
An Iranian Persian-language AI model developed from scratch by EX AI Studio for contextual word prediction and language research.
فارسی
EX-AI-Corase-163M
یک مدل هوش مصنوعی ایرانی، فارسی‌زبان و توسعه‌یافته از صفر توسط EX AI Studio با هدف پیش‌بینی کلمات بر اساس بافت متنی و پژوهش در حوزه زبان.