| --- |
| license: apache-2.0 |
| language: |
| - id |
| - en |
| tags: |
| - text-generation |
| - indonesian |
| - lfm2.5 |
| - liquid |
| - fine-tuned |
| - sft |
| - instruction-tuning |
| - reasoning |
| pipeline_tag: text-generation |
| base_model: LiquidAI/LFM2.5-2.6B |
| datasets: |
| - OpenPathAI/alpaca-gpt4-indonesian-cleaned |
| - biznetgio/oasst2-indonesia |
| new_version: OpenPathAI/Orbit-3.2-Nano |
| --- |
| |
| # Orbit-3-Nano |
|
|
|  |
|
|
| **Model Bahasa Indonesia berbasis LFM2.5 yang di-fine-tune untuk instruksi dan percakapan.** |
|
|
| --- |
|
|
| ## Ringkasan |
|
|
| Orbit-3-Nano adalah model bahasa yang dikembangkan oleh **OpenPathAI** sebagai bagian dari seri Orbit. Model ini dibangun di atas **LFM2.5** dari **Liquid AI** dan di-fine-tune menggunakan dataset instruksi Bahasa Indonesia berkualitas tinggi. |
|
|
| Model ini dirancang untuk: |
| - Memahami instruksi Bahasa Indonesia dengan baik |
| - Menjawab pertanyaan secara natural dan informatif |
| - Membantu tugas sehari-hari seperti menulis, merangkum, dan menjawab pertanyaan umum |
|
|
| --- |
|
|
| ## Spesifikasi Model |
|
|
| | Komponen | Detail | |
| |-----------|---------| |
| | **Arsitektur** | Lfm2ForCausalLM | |
| | **Model Type** | lfm2 | |
| | **Hidden Size** | 2048 | |
| | **Jumlah Layer** | 30 | |
| | **Jumlah Attention Heads** | 32 | |
| | **Vocab Size** | 128.000 | |
| | **Max Position** | 131.072 token | |
| | **Total Parameter** | ~2,6 Miliar | |
| | **Bahasa** | Indonesia, Inggris | |
|
|
| ### Arsitektur Hybrid LFM2.5 |
|
|
| LFM2.5 menggunakan arsitektur **hybrid** yang menggabungkan: |
| - **Short-Conv (LIV) layers** — untuk efisiensi komputasi |
| - **GQA (Grouped Query Attention) layers** — untuk penalaran |
|
|
| Kombinasi ini membuat model **cepat** dan **hemat memori**, cocok untuk perangkat dengan sumber daya terbatas. |
|
|
| --- |
|
|
| ## Base Model |
|
|
| Model ini adalah versi **fine-tuned** dari: |
|
|
| | Aspek | Detail | |
| |-------|--------| |
| | **Base Model** | [LiquidAI/LFM2.5-2.6B](https://huggingface.co/LiquidAI/LFM2.5-2.6B) | |
| | **Pengembang** | Liquid AI | |
| | **Lisensi Base** | LFM Open License v1.0 | |
|
|
| Kami melakukan fine-tuning pada dataset instruksi Bahasa Indonesia untuk meningkatkan kemampuannya dalam memahami dan merespons perintah dalam konteks lokal. |
|
|
| --- |
|
|
| ## Detail Fine-Tuning |
|
|
| | Parameter | Nilai | |
| |-----------|-------| |
| | **Dataset** | OpenPathAI/alpaca-gpt4-indonesian-cleaned, biznetgio/oasst2-indonesia | |
| | **Jumlah Samples** | ~86.000 pasangan instruksi-respons | |
| | **Metode** | SFT (Supervised Fine-Tuning) dengan QLoRA | |
| | **LoRA Rank (r)** | 16 | |
| | **LoRA Alpha** | 32 | |
| | **LoRA Dropout** | 0,05 | |
| | **Target Modules** | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj | |
| | **Epoch** | 3 | |
| | **Learning Rate** | 2e-4 | |
| | **Precision** | BF16 | |
| |
| --- |
| |
| ## Cara Penggunaan |
| |
| ### Instalasi |
| |
| ```python |
| # ==================== CELL 1: INSTALL ==================== |
| !pip install -q --upgrade transformers>=5.2.0 torch accelerate huggingface_hub |
| !pip uninstall -y torchvision torchaudio # Hindari konflik torchvision |
|
|
| print("="*60) |
| print("SETELAH INSTALL SELESAI:") |
| print("1. Klik Runtime → Restart Session") |
| print("2. Jalankan cell berikutnya") |
| print("="*60) |
| ``` |
| |
| Penggunaan Dasar |
| |
| ```python |
| # ==================== CELL 2: TEST ORBIT-3-NANO ==================== |
| import os |
| import torch |
| from transformers import AutoModelForCausalLM, AutoTokenizer |
|
|
| # Cek versi |
| import transformers |
| print(f"transformers: {transformers.__version__}") |
| print(f"torch: {torch.__version__}") |
|
|
| HF_TOKEN = "TOKEN_HF" |
| MODEL_NAME = "OpenPathAI/Orbit-3-Nano" # ← Nama repo baru |
| |
| os.environ["HUGGING_FACE_HUB_TOKEN"] = HF_TOKEN |
| os.environ["HF_TOKEN"] = HF_TOKEN |
| |
| # ==================== LOAD TOKENIZER ==================== |
| print("\nLoading tokenizer...") |
| tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, token=HF_TOKEN) |
| print("✅ Tokenizer loaded!") |
|
|
| # ==================== LOAD MODEL ==================== |
| print("Loading model...") |
| model = AutoModelForCausalLM.from_pretrained( |
| MODEL_NAME, |
| torch_dtype=torch.float16, |
| device_map="auto", |
| token=HF_TOKEN, |
| ) |
| model.eval() |
| print("✅ Model loaded!") |
| |
| # ==================== FUNGSI CHAT ==================== |
| def chat(pertanyaan, max_new_tokens=512, temperature=0.7): |
| """Fungsi chat yang sudah diperbaiki untuk transformers v5.""" |
| messages = [{"role": "user", "content": pertanyaan}] |
| |
| inputs = tokenizer.apply_chat_template( |
| messages, |
| add_generation_prompt=True, |
| return_tensors="pt", |
| return_dict=True, # ← Kunci: return dict |
| ).to(model.device) |
| |
| with torch.no_grad(): |
| outputs = model.generate( |
| **inputs, # ← Kunci: unpack dengan ** |
| max_new_tokens=max_new_tokens, |
| temperature=temperature, |
| top_p=0.9, |
| do_sample=True, |
| pad_token_id=tokenizer.eos_token_id, |
| ) |
| |
| response = tokenizer.decode( |
| outputs[0][inputs["input_ids"].shape[1]:], |
| skip_special_tokens=True |
| ) |
| return response.strip() |
| |
| # ==================== TEST ==================== |
| pertanyaan = "halo, kamu bisa bantu aku gak?" |
|
|
| print("\n" + "="*60) |
| print(f"📝 Pertanyaan: {pertanyaan}") |
| print("="*60) |
| print("🤖 Jawaban dari Orbit-3-Nano:") |
| print(chat(pertanyaan)) |
| print("="*60) |
| ``` |
| |
| Format Chat |
| |
| Model ini menggunakan chat template standar LFM2.5: |
| |
| ``` |
| <|im_start|>user |
| [Pertanyaan kamu]<|im_end|> |
| <|im_start|>assistant |
| [Jawaban model]<|im_end|> |
| ``` |
| |
| Gunakan tokenizer.apply_chat_template() untuk format yang benar. |
| |
| --- |
| |
| Keterbatasan |
| |
| Keterbatasan Deskripsi |
| Ukuran Model 2,6B parameter kapasitas terbatas dibanding model besar |
| Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat |
| Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris |
| Reasoning Kemampuan penalaran terbatas untuk tugas kompleks |
| |
| Model ini BUKAN untuk: |
| |
| - Keputusan medis, hukum, atau keuangan |
| - Aplikasi produksi tanpa pengawasan |
| - Tugas yang butuh akurasi tinggi |
| |
| --- |
| |
| Lisensi |
| |
| Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI. |
| |
| Ketentuan penting: |
| |
| - Bebas digunakan untuk penelitian dan pengembangan |
| - Bebas dimodifikasi dan didistribusikan |
| - Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD |
| - Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI |
| |
| Lihat file LICENSE untuk detail lengkap. |
| |
| --- |
| |
| Atribusi |
| |
| Model ini dikembangkan oleh OpenPathAI sebagai turunan dari: |
| |
| - Base Model: LiquidAI/LFM2.5-2.6B |
| - Dataset: OpenPathAI/alpaca-gpt4-indonesian-cleaned, biznetgio/oasst2-indonesia |
| - Dataset Asli: FreedomIntelligence/alpaca-gpt4-indonesian |
| |
| Kami menghargai karya Liquid AI dan FreedomIntelligence serta Biznet Gio yang telah memungkinkan model ini dikembangkan. |
| |
| --- |
| |
| Sitasi |
| |
| ```bibtex |
| @misc{orbit-3-nano, |
| author = {OpenPathAI}, |
| title = {Orbit-3-Nano: Fine-tuned LFM2.5 for Indonesian Language}, |
| year = {2026}, |
| publisher = {Hugging Face}, |
| howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3-Nano}}, |
| note = {Fine-tuned from LiquidAI/LFM2.5-2.6B} |
| } |
| ``` |
| |
| --- |
| |
| Kontak |
| |
| - Website Details : https://openpath.web.id |
| - Hugging Face OpenPathAI : https://huggingface.co/OpenPathAI |
| - Email : Coming Soon |
| - Discord : https://discord.gg/Qp3NyrVFjg |
| - Base Model LiquidAI/LFM2.5-2.6B |
| |
| --- |
| |
| Dikembangkan oleh OpenPathAI |
| |
| Model ini adalah turunan dari LFM2.5-2.6B. Penggunaan tunduk pada LFM Open License v1.0. |
