Force Space rebuild v2.1.0 with incremental training

- Updated app version to 2.1.0 to force complete rebuild
- Added rebuild trigger file with timestamp
- Updated Docker environment variables
- Force restart to ensure all incremental training features are active
- Complete deployment of model retraining capabilities

README_ARABIC.md

@@ -0,0 +1,164 @@
+# منصة تقطير المعرفة متعددة الوسائط
+
+## نظرة عامة
+
+منصة شاملة لإنشاء نماذج ذكاء اصطناعي جديدة من خلال تقطير المعرفة من نماذج متعددة مدربة مسبقاً. تدعم المنصة النماذج متعددة الوسائط وتتخصص في البيانات الطبية.
+
+## الميزات الرئيسية
+
+### 🤖 إدارة النماذج
+- **النماذج المعلمة**: إضافة وإدارة النماذج المعلمة من مصادر متنوعة
+- **النماذج الطلابية**: إنشاء وإدارة النماذج الطلابية للتدريب
+- **نماذج Google**: دعم مباشر لنماذج Google المفتوحة المصدر
+- **نماذج مخصصة**: إمكانية إضافة نماذج من Hugging Face أو مصادر أخرى
+
+### 🏥 البيانات الطبية المتخصصة
+- **قواعد بيانات طبية**: مجموعة من قواعد البيانات الطبية المتخصصة
+- **الصور الشعاعية**: دعم للصور الشعاعية والتصوير الطبي
+- **معالجة DICOM**: معالجة ملفات DICOM الطبية
+- **حفظ البيانات**: إمكانية حفظ واسترجاع قواعد البيانات المفضلة
+
+### 🔑 إدارة الرموز المميزة
+- **رموز متعددة**: دعم أنواع مختلفة من الرموز المميزة
+- **رموز طبية**: رموز متخصصة للبيانات الطبية
+- **رموز تجارية**: رموز للنماذج التجارية
+- **إدارة آمنة**: تخزين آمن ومشفر للرموز
+
+### ⚡ تحسينات الأداء
+- **تحميل بالقطع**: تحميل النماذج الكبيرة بالقطع لتوفير الذاكرة
+- **تحسين CPU**: تحسينات خاصة للمعالجات
+- **إدارة الذاكرة**: إدارة ذكية للذاكرة لتجنب نفادها
+- **تدفق البيانات**: تحميل البيانات بالتدفق للمجموعات الكبيرة
+
+## بنية المشروع
+
+```
+ai-distillation-platform/
+├── src/                          # الكود المصدري
+│   ├── core/                     # المكونات الأساسية
+│   │   ├── memory_manager.py     # إدارة الذاكرة
+│   │   ├── chunk_loader.py       # تحميل بالقطع
+│   │   ├── cpu_optimizer.py      # تحسين المعالج
+│   │   └── token_manager.py      # إدارة الرموز
+│   │
+│   ├── medical/                  # المكونات الطبية
+│   │   ├── medical_datasets.py   # قواعد البيانات الطبية
+│   │   ├── dicom_handler.py      # معالج DICOM
+│   │   └── medical_preprocessing.py # معالجة البيانات الطبية
+│   │
+│   ├── models_manager.py         # إدارة النماذج المحفوظة
+│   └── saved_datasets_manager.py # إدارة قواعد البيانات المحفوظة
+│
+├── database/                     # قواعد البيانات
+│   ├── database.py              # إعداد قاعدة البيانات
+│   ├── models.py                # نماذج البيانات
+│   ├── saved_models.db          # النماذج المحفوظة
+│   └── saved_datasets.db       # قواعد البيانات المحفوظة
+│
+├── templates/                    # واجهة المستخدم
+│   ├── index.html               # الصفحة الرئيسية
+│   ├── google-models.html       # إدارة النماذج
+│   ├── medical-datasets.html    # البيانات الطبية
+│   └── token-management.html    # إدارة الرموز
+│
+├── static/                       # الملفات الثابتة
+│   ├── css/style.css            # التصميم
+│   ├── js/main.js               # JavaScript الأساسي
+│   ├── js/google-models.js      # إدارة النماذج
+│   ├── js/medical-datasets.js   # البيانات الطبية
+│   └── js/saved-items.js        # العناصر المحفوظة
+│
+└── app.py                        # التطبيق الرئيسي
+```
+
+## كيفية الاستخدام
+
+### 1. إعداد النماذج المعلمة
+1. انتقل إلى صفحة "إدارة النماذج"
+2. أضف نماذج معلمة من نماذج Google المتاحة أو أدخل معرفات مخصصة
+3. احفظ النماذج للاستخدام لاحقاً
+
+### 2. إعداد قواعد البيانات
+1. انتقل إلى صفحة "البيانات الطبية"
+2. استعرض قواعد البيانات المتاحة
+3. احفظ قواعد البيانات المفيدة لمشاريعك
+
+### 3. إعداد الرموز المميزة
+1. انتقل إلى صفحة "إدارة الرموز"
+2. أضف رموز Hugging Face المطلوبة
+3. اختر النوع المناسب لكل رمز
+
+### 4. بدء التدريب
+1. في الصفحة الرئيسية، اختر النماذج المعلمة
+2. اختر النموذج الطالب (أو اتركه فارغاً لإنشاء جديد)
+3. اختر قواعد البيانات للتدريب
+4. اضغط "بدء عملية التقطير"
+
+## الميزات المتقدمة
+
+### تقطير المعرفة الذكي
+- **استراتيجيات متعددة**: دعم لاستراتيجيات تقطير مختلفة
+- **تدريب متدرج**: تدريب بالمراحل لتحسين النتائج
+- **تحسين تلقائي**: تحسين تلقائي لمعاملات التدريب
+
+### دعم البيانات الطبية
+- **تخصص طبي**: تحسينات خاصة للبيانات الطبية
+- **معايير طبية**: دعم للمعايير الطبية المختلفة
+- **تحليل متقدم**: أدوات تحليل متقدمة للنتائج الطبية
+
+### الأمان والخصوصية
+- **تشفير البيانات**: تشفير جميع البيانات الحساسة
+- **إدارة الوصول**: نظام إدارة وصول متقدم
+- **امتثال طبي**: امتثال للمعايير الطبية
+
+## المتطلبات التقنية
+
+### الحد الأدنى
+- **الذاكرة**: 8 جيجابايت RAM
+- **المعالج**: معالج متعدد النوى
+- **التخزين**: 50 جيجابايت مساحة فارغة
+
+### الموصى به
+- **الذاكرة**: 16 جيجابايت RAM أو أكثر
+- **المعالج**: معالج حديث متعدد النوى
+- **التخزين**: 100 جيجابايت مساحة فارغة
+- **GPU**: كرت رسوميات للتسريع (اختياري)
+
+## الدعم والمساعدة
+
+### الوثائق
+- دليل المستخدم الشامل
+- أمثلة عملية
+- أسئلة شائعة
+
+### المجتمع
+- منتدى المطورين
+- قناة Discord
+- مجموعة Telegram
+
+## التطوير المستقبلي
+
+### الميزات القادمة
+- **دعم المزيد من النماذج**: إضافة دعم لنماذج جديدة
+- **تحسينات الأداء**: تحسينات إضافية للسرعة والكفاءة
+- **واجهة محسنة**: تحسينات على واجهة المستخدم
+- **دعم اللغات**: دعم لغات برمجة إضافية
+
+### المساهمة
+نرحب بالمساهمات من المجتمع! يمكنك المساهمة عبر:
+- تقديم تقارير الأخطاء
+- اقتراح ميزات جديدة
+- تحسين الكود
+- تحسين الوثائق
+
+## الترخيص
+
+هذا المشروع مرخص تحت رخصة MIT. راجع ملف LICENSE للتفاصيل.
+
+## الشكر والتقدير
+
+شكر خاص لجميع المساهمين والمطورين الذين ساعدوا في تطوير هذه المنصة.
+
+---
+
+**ملاحظة**: هذا المشروع في مرحلة التطوير النشط. قد تتغير بعض الميزات أو تتم إضافة ميزات جديدة.

deployment_config.md

@@ -0,0 +1,316 @@
+# إعدادات النشر - منصة تقطير المعرفة
+
+## متطلبات النشر
+
+### 1. متغيرات البيئة المطلوبة
+```bash
+# Hugging Face Configuration
+HF_TOKEN=your_huggingface_token_here
+HF_HOME=/tmp/huggingface
+
+# Application Configuration
+PORT=7860
+HOST=0.0.0.0
+DEBUG=false
+
+# Database Configuration
+DATABASE_URL=sqlite:///./database/main.db
+MODELS_DB_URL=sqlite:///./database/saved_models.db
+DATASETS_DB_URL=sqlite:///./database/saved_datasets.db
+
+# Memory Configuration
+MAX_MEMORY_GB=14
+CHUNK_SIZE_MB=512
+CPU_THREADS=4
+
+# Security Configuration
+SECRET_KEY=your_secret_key_here
+ENCRYPTION_KEY=your_encryption_key_here
+```
+
+### 2. ملفات التكوين المطلوبة
+
+#### requirements.txt
+```
+fastapi==0.104.1
+uvicorn[standard]==0.24.0
+jinja2==3.1.2
+python-multipart==0.0.6
+transformers==4.35.2
+torch==2.1.1
+datasets==2.14.6
+huggingface-hub==0.19.4
+accelerate==0.24.1
+safetensors==0.4.0
+pillow==10.1.0
+numpy==1.24.3
+pandas==2.0.3
+scikit-learn==1.3.2
+matplotlib==3.8.2
+seaborn==0.13.0
+tqdm==4.66.1
+psutil==5.9.6
+sqlite3
+logging
+pathlib
+datetime
+uuid
+json
+asyncio
+```
+
+#### Dockerfile (للنشر في حاويات)
+```dockerfile
+FROM python:3.10-slim
+
+WORKDIR /app
+
+# Install system dependencies
+RUN apt-get update && apt-get install -y \
+    git \
+    curl \
+    && rm -rf /var/lib/apt/lists/*
+
+# Copy requirements and install Python dependencies
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+
+# Copy application code
+COPY . .
+
+# Create necessary directories
+RUN mkdir -p database logs temp uploads models
+
+# Set permissions
+RUN chmod +x app.py
+
+# Expose port
+EXPOSE 7860
+
+# Health check
+HEALTHCHECK --interval=30s --timeout=30s --start-period=5s --retries=3 \
+    CMD curl -f http://localhost:7860/health || exit 1
+
+# Run the application
+CMD ["python", "app.py"]
+```
+
+### 3. إعدادات Hugging Face Spaces
+
+#### app.py (نقطة الدخول)
+```python
+import os
+import uvicorn
+
+if __name__ == "__main__":
+    # Configuration for Hugging Face Spaces
+    port = int(os.getenv("PORT", 7860))
+    host = os.getenv("HOST", "0.0.0.0")
+    
+    uvicorn.run(
+        "app:app",
+        host=host,
+        port=port,
+        reload=False,
+        access_log=True,
+        log_level="info"
+    )
+```
+
+#### README.md (لـ Hugging Face Spaces)
+```markdown
+---
+title: AI Knowledge Distillation Platform
+emoji: 🧠
+colorFrom: blue
+colorTo: purple
+sdk: gradio
+sdk_version: 4.7.1
+app_file: app.py
+pinned: false
+license: mit
+---
+
+# AI Knowledge Distillation Platform
+
+A comprehensive platform for creating new AI models through knowledge distillation from multiple pre-trained models.
+
+## Features
+- Multi-modal model support
+- Medical datasets specialization
+- Advanced memory management
+- Progressive training capabilities
+
+## Usage
+1. Add teacher models from Google models or custom sources
+2. Configure student models
+3. Select medical datasets
+4. Start the distillation process
+
+## Requirements
+- Python 3.10+
+- 16GB RAM recommended
+- GPU support (optional)
+```
+
+### 4. إعدادات الأمان
+
+#### تشفير البيانات
+```python
+# في ملف config/security.py
+import os
+from cryptography.fernet import Fernet
+
+class SecurityConfig:
+    def __init__(self):
+        self.encryption_key = os.getenv('ENCRYPTION_KEY', Fernet.generate_key())
+        self.secret_key = os.getenv('SECRET_KEY', 'your-secret-key-here')
+        self.cipher_suite = Fernet(self.encryption_key)
+    
+    def encrypt_token(self, token: str) -> str:
+        return self.cipher_suite.encrypt(token.encode()).decode()
+    
+    def decrypt_token(self, encrypted_token: str) -> str:
+        return self.cipher_suite.decrypt(encrypted_token.encode()).decode()
+```
+
+### 5. إعدادات قاعدة البيانات
+
+#### تهيئة قواعد البيانات
+```sql
+-- إنشاء الجداول الأساسية
+CREATE TABLE IF NOT EXISTS teacher_models (
+    id TEXT PRIMARY KEY,
+    name TEXT NOT NULL,
+    model_id TEXT NOT NULL,
+    description TEXT,
+    model_type TEXT DEFAULT 'huggingface',
+    config TEXT,
+    tags TEXT,
+    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
+    updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
+    is_active BOOLEAN DEFAULT 1
+);
+
+CREATE TABLE IF NOT EXISTS saved_datasets (
+    id TEXT PRIMARY KEY,
+    name TEXT NOT NULL,
+    dataset_key TEXT NOT NULL,
+    repo_id TEXT,
+    description TEXT,
+    dataset_type TEXT DEFAULT 'medical',
+    config TEXT,
+    metadata TEXT,
+    status TEXT DEFAULT 'saved',
+    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
+    updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
+    is_active BOOLEAN DEFAULT 1
+);
+```
+
+### 6. مراقبة الأداء
+
+#### إعدادات المراقبة
+```python
+# في ملف monitoring/performance.py
+import psutil
+import logging
+from datetime import datetime
+
+class PerformanceMonitor:
+    def __init__(self):
+        self.logger = logging.getLogger(__name__)
+    
+    def get_system_stats(self):
+        return {
+            'cpu_percent': psutil.cpu_percent(),
+            'memory_percent': psutil.virtual_memory().percent,
+            'disk_usage': psutil.disk_usage('/').percent,
+            'timestamp': datetime.now().isoformat()
+        }
+    
+    def log_performance(self):
+        stats = self.get_system_stats()
+        self.logger.info(f"Performance: {stats}")
+```
+
+### 7. إعدادات النسخ الاحتياطي
+
+#### نسخ احتياطي تلقائي
+```python
+# في ملف backup/backup_manager.py
+import shutil
+import os
+from datetime import datetime
+
+class BackupManager:
+    def __init__(self, backup_dir="backups"):
+        self.backup_dir = backup_dir
+        os.makedirs(backup_dir, exist_ok=True)
+    
+    def backup_databases(self):
+        timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
+        backup_path = os.path.join(self.backup_dir, f"backup_{timestamp}")
+        
+        # نسخ قواعد البيانات
+        shutil.copytree("database", backup_path)
+        
+        return backup_path
+```
+
+### 8. اختبارات النشر
+
+#### اختبارات التكامل
+```python
+# في ملف tests/test_deployment.py
+import pytest
+import requests
+from fastapi.testclient import TestClient
+from app import app
+
+client = TestClient(app)
+
+def test_health_check():
+    response = client.get("/health")
+    assert response.status_code == 200
+
+def test_main_page():
+    response = client.get("/")
+    assert response.status_code == 200
+
+def test_api_endpoints():
+    # اختبار APIs الأساسية
+    response = client.get("/api/models/teacher")
+    assert response.status_code == 200
+    
+    response = client.get("/api/datasets/saved")
+    assert response.status_code == 200
+```
+
+### 9. إرشادات النشر
+
+#### خطوات النشر على Hugging Face Spaces
+1. إنشاء Space جديد على Hugging Face
+2. رفع الملفات إلى المستودع
+3. تكوين متغيرات البيئة
+4. تفعيل Space
+5. مراقبة الأداء
+
+#### خطوات النشر على خادم مخصص
+1. إعداد الخادم وتثبيت المتطلبات
+2. نسخ الملفات إلى الخادم
+3. تكوين قاعدة البيانات
+4. تشغيل التطبيق
+5. إعداد Nginx/Apache للوكيل العكسي
+
+### 10. استكشاف الأخطاء
+
+#### مشاكل شائعة وحلولها
+- **نفاد الذاكرة**: تقليل حجم النماذج أو استخدام التحميل بالقطع
+- **بطء التحميل**: تحسين إعدادات الشبكة وحجم القطع
+- **أخطاء قاعدة البيانات**: التحقق من صلاحيات الكتابة
+- **مشاكل الرموز**: التحقق من صحة رموز Hugging Face
+
+---
+
+**ملاحظة**: تأكد من تحديث جميع الإعدادات حسب بيئة النشر المستهدفة.