README.md

---
license: apache-2.0
language:
- id
- en
tags:
- text-generation
- indonesian
- lfm2.5
- liquid
- fine-tuned
- sft
- instruction-tuning
- reasoning
pipeline_tag: text-generation
base_model: LiquidAI/LFM2.5-2.6B
datasets:
- OpenPathAI/alpaca-gpt4-indonesian-cleaned
- biznetgio/oasst2-indonesia
new_version: OpenPathAI/Orbit-3.2-Nano
---

# Orbit-3-Nano

![Banner](orbitnano.png)

**Model Bahasa Indonesia berbasis LFM2.5 yang di-fine-tune untuk instruksi dan percakapan.**

---

## Ringkasan

Orbit-3-Nano adalah model bahasa yang dikembangkan oleh **OpenPathAI** sebagai bagian dari seri Orbit. Model ini dibangun di atas **LFM2.5** dari **Liquid AI** dan di-fine-tune menggunakan dataset instruksi Bahasa Indonesia berkualitas tinggi.

Model ini dirancang untuk:
- Memahami instruksi Bahasa Indonesia dengan baik
- Menjawab pertanyaan secara natural dan informatif
- Membantu tugas sehari-hari seperti menulis, merangkum, dan menjawab pertanyaan umum

---

## Spesifikasi Model

| Komponen | Detail |
|-----------|---------|
| **Arsitektur** | Lfm2ForCausalLM |
| **Model Type** | lfm2 |
| **Hidden Size** | 2048 |
| **Jumlah Layer** | 30 |
| **Jumlah Attention Heads** | 32 |
| **Vocab Size** | 128.000 |
| **Max Position** | 131.072 token |
| **Total Parameter** | ~2,6 Miliar |
| **Bahasa** | Indonesia, Inggris |

### Arsitektur Hybrid LFM2.5

LFM2.5 menggunakan arsitektur **hybrid** yang menggabungkan:
- **Short-Conv (LIV) layers** — untuk efisiensi komputasi
- **GQA (Grouped Query Attention) layers** — untuk penalaran

Kombinasi ini membuat model **cepat** dan **hemat memori**, cocok untuk perangkat dengan sumber daya terbatas.

---

## Base Model

Model ini adalah versi **fine-tuned** dari:

| Aspek | Detail |
|-------|--------|
| **Base Model** | [LiquidAI/LFM2.5-2.6B](https://huggingface.co/LiquidAI/LFM2.5-2.6B) |
| **Pengembang** | Liquid AI |
| **Lisensi Base** | LFM Open License v1.0 |

Kami melakukan fine-tuning pada dataset instruksi Bahasa Indonesia untuk meningkatkan kemampuannya dalam memahami dan merespons perintah dalam konteks lokal.

---

## Detail Fine-Tuning

| Parameter | Nilai |
|-----------|-------|
| **Dataset** | OpenPathAI/alpaca-gpt4-indonesian-cleaned, biznetgio/oasst2-indonesia |
| **Jumlah Samples** | ~86.000 pasangan instruksi-respons |
| **Metode** | SFT (Supervised Fine-Tuning) dengan QLoRA |
| **LoRA Rank (r)** | 16 |
| **LoRA Alpha** | 32 |
| **LoRA Dropout** | 0,05 |
| **Target Modules** | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| **Epoch** | 3 |
| **Learning Rate** | 2e-4 |
| **Precision** | BF16 |

---

## Cara Penggunaan

### Instalasi

```python
# ==================== CELL 1: INSTALL ====================
!pip install -q --upgrade transformers>=5.2.0 torch accelerate huggingface_hub
!pip uninstall -y torchvision torchaudio  # Hindari konflik torchvision

print("="*60)
print("SETELAH INSTALL SELESAI:")
print("1. Klik Runtime → Restart Session")
print("2. Jalankan cell berikutnya")
print("="*60)
```

Penggunaan Dasar

```python
# ==================== CELL 2: TEST ORBIT-3-NANO ====================
import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# Cek versi
import transformers
print(f"transformers: {transformers.__version__}")
print(f"torch: {torch.__version__}")

HF_TOKEN = "TOKEN_HF"
MODEL_NAME = "OpenPathAI/Orbit-3-Nano"  # ← Nama repo baru

os.environ["HUGGING_FACE_HUB_TOKEN"] = HF_TOKEN
os.environ["HF_TOKEN"] = HF_TOKEN

# ==================== LOAD TOKENIZER ====================
print("\nLoading tokenizer...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, token=HF_TOKEN)
print("✅ Tokenizer loaded!")

# ==================== LOAD MODEL ====================
print("Loading model...")
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    device_map="auto",
    token=HF_TOKEN,
)
model.eval()
print("✅ Model loaded!")

# ==================== FUNGSI CHAT ====================
def chat(pertanyaan, max_new_tokens=512, temperature=0.7):
    """Fungsi chat yang sudah diperbaiki untuk transformers v5."""
    messages = [{"role": "user", "content": pertanyaan}]
    
    inputs = tokenizer.apply_chat_template(
        messages,
        add_generation_prompt=True,
        return_tensors="pt",
        return_dict=True,  # ← Kunci: return dict
    ).to(model.device)
    
    with torch.no_grad():
        outputs = model.generate(
            **inputs,  # ← Kunci: unpack dengan **
            max_new_tokens=max_new_tokens,
            temperature=temperature,
            top_p=0.9,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id,
        )
    
    response = tokenizer.decode(
        outputs[0][inputs["input_ids"].shape[1]:],
        skip_special_tokens=True
    )
    return response.strip()

# ==================== TEST ====================
pertanyaan = "halo, kamu bisa bantu aku gak?"

print("\n" + "="*60)
print(f"📝 Pertanyaan: {pertanyaan}")
print("="*60)
print("🤖 Jawaban dari Orbit-3-Nano:")
print(chat(pertanyaan))
print("="*60)
```

Format Chat

Model ini menggunakan chat template standar LFM2.5:

```
<|im_start|>user
[Pertanyaan kamu]<|im_end|>
<|im_start|>assistant
[Jawaban model]<|im_end|>
```

Gunakan tokenizer.apply_chat_template() untuk format yang benar.

---

Keterbatasan

Keterbatasan Deskripsi
Ukuran Model 2,6B parameter kapasitas terbatas dibanding model besar
Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat
Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris
Reasoning Kemampuan penalaran terbatas untuk tugas kompleks

Model ini BUKAN untuk:

- Keputusan medis, hukum, atau keuangan
- Aplikasi produksi tanpa pengawasan
- Tugas yang butuh akurasi tinggi

---

Lisensi

Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI.

Ketentuan penting:

- Bebas digunakan untuk penelitian dan pengembangan
- Bebas dimodifikasi dan didistribusikan
- Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD
- Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI

Lihat file LICENSE untuk detail lengkap.

---

Atribusi

Model ini dikembangkan oleh OpenPathAI sebagai turunan dari:

- Base Model: LiquidAI/LFM2.5-2.6B
- Dataset: OpenPathAI/alpaca-gpt4-indonesian-cleaned, biznetgio/oasst2-indonesia
- Dataset Asli: FreedomIntelligence/alpaca-gpt4-indonesian

Kami menghargai karya Liquid AI dan FreedomIntelligence serta Biznet Gio yang telah memungkinkan model ini dikembangkan.

---

Sitasi

```bibtex
@misc{orbit-3-nano,
  author = {OpenPathAI},
  title = {Orbit-3-Nano: Fine-tuned LFM2.5 for Indonesian Language},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3-Nano}},
  note = {Fine-tuned from LiquidAI/LFM2.5-2.6B}
}
```

---

Kontak

-  Website Details : https://openpath.web.id
-  Hugging Face OpenPathAI : https://huggingface.co/OpenPathAI
-  Email : Coming Soon
-  Discord : https://discord.gg/Qp3NyrVFjg
-  Base Model LiquidAI/LFM2.5-2.6B

---

Dikembangkan oleh OpenPathAI

Model ini adalah turunan dari LFM2.5-2.6B. Penggunaan tunduk pada LFM Open License v1.0.