A newer version of this model is available: OpenPathAI/Orbit-3.2-Nano

Orbit-3-Nano

Model Bahasa Indonesia berbasis LFM2.5 yang di-fine-tune untuk instruksi dan percakapan.

Ringkasan

Orbit-3-Nano adalah model bahasa yang dikembangkan oleh OpenPathAI sebagai bagian dari seri Orbit. Model ini dibangun di atas LFM2.5 dari Liquid AI dan di-fine-tune menggunakan dataset instruksi Bahasa Indonesia berkualitas tinggi.

Model ini dirancang untuk:

Memahami instruksi Bahasa Indonesia dengan baik
Menjawab pertanyaan secara natural dan informatif
Membantu tugas sehari-hari seperti menulis, merangkum, dan menjawab pertanyaan umum

Spesifikasi Model

Komponen	Detail
Arsitektur	Lfm2ForCausalLM
Model Type	lfm2
Hidden Size	2048
Jumlah Layer	30
Jumlah Attention Heads	32
Vocab Size	128.000
Max Position	131.072 token
Total Parameter	~2,6 Miliar
Bahasa	Indonesia, Inggris

Arsitektur Hybrid LFM2.5

LFM2.5 menggunakan arsitektur hybrid yang menggabungkan:

Short-Conv (LIV) layers — untuk efisiensi komputasi
GQA (Grouped Query Attention) layers — untuk penalaran

Kombinasi ini membuat model cepat dan hemat memori, cocok untuk perangkat dengan sumber daya terbatas.

Base Model

Model ini adalah versi fine-tuned dari:

Aspek	Detail
Base Model	LiquidAI/LFM2.5-2.6B
Pengembang	Liquid AI
Lisensi Base	LFM Open License v1.0

Kami melakukan fine-tuning pada dataset instruksi Bahasa Indonesia untuk meningkatkan kemampuannya dalam memahami dan merespons perintah dalam konteks lokal.

Detail Fine-Tuning

Parameter	Nilai
Dataset	OpenPathAI/alpaca-gpt4-indonesian-cleaned, biznetgio/oasst2-indonesia
Jumlah Samples	~86.000 pasangan instruksi-respons
Metode	SFT (Supervised Fine-Tuning) dengan QLoRA
LoRA Rank (r)	16
LoRA Alpha	32
LoRA Dropout	0,05
Target Modules	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Epoch	3
Learning Rate	2e-4
Precision	BF16

Cara Penggunaan

Instalasi

# ==================== CELL 1: INSTALL ====================
!pip install -q --upgrade transformers>=5.2.0 torch accelerate huggingface_hub
!pip uninstall -y torchvision torchaudio  # Hindari konflik torchvision

print("="*60)
print("SETELAH INSTALL SELESAI:")
print("1. Klik Runtime → Restart Session")
print("2. Jalankan cell berikutnya")
print("="*60)

Penggunaan Dasar

# ==================== CELL 2: TEST ORBIT-3-NANO ====================
import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# Cek versi
import transformers
print(f"transformers: {transformers.__version__}")
print(f"torch: {torch.__version__}")

HF_TOKEN = "TOKEN_HF"
MODEL_NAME = "OpenPathAI/Orbit-3-Nano"  # ← Nama repo baru

os.environ["HUGGING_FACE_HUB_TOKEN"] = HF_TOKEN
os.environ["HF_TOKEN"] = HF_TOKEN

# ==================== LOAD TOKENIZER ====================
print("\nLoading tokenizer...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, token=HF_TOKEN)
print("✅ Tokenizer loaded!")

# ==================== LOAD MODEL ====================
print("Loading model...")
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    device_map="auto",
    token=HF_TOKEN,
)
model.eval()
print("✅ Model loaded!")

# ==================== FUNGSI CHAT ====================
def chat(pertanyaan, max_new_tokens=512, temperature=0.7):
    """Fungsi chat yang sudah diperbaiki untuk transformers v5."""
    messages = [{"role": "user", "content": pertanyaan}]
    
    inputs = tokenizer.apply_chat_template(
        messages,
        add_generation_prompt=True,
        return_tensors="pt",
        return_dict=True,  # ← Kunci: return dict
    ).to(model.device)
    
    with torch.no_grad():
        outputs = model.generate(
            **inputs,  # ← Kunci: unpack dengan **
            max_new_tokens=max_new_tokens,
            temperature=temperature,
            top_p=0.9,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id,
        )
    
    response = tokenizer.decode(
        outputs[0][inputs["input_ids"].shape[1]:],
        skip_special_tokens=True
    )
    return response.strip()

# ==================== TEST ====================
pertanyaan = "halo, kamu bisa bantu aku gak?"

print("\n" + "="*60)
print(f"📝 Pertanyaan: {pertanyaan}")
print("="*60)
print("🤖 Jawaban dari Orbit-3-Nano:")
print(chat(pertanyaan))
print("="*60)

Format Chat

Model ini menggunakan chat template standar LFM2.5:

<|im_start|>user
[Pertanyaan kamu]<|im_end|>
<|im_start|>assistant
[Jawaban model]<|im_end|>

Gunakan tokenizer.apply_chat_template() untuk format yang benar.

Keterbatasan

Keterbatasan Deskripsi Ukuran Model 2,6B parameter kapasitas terbatas dibanding model besar Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris Reasoning Kemampuan penalaran terbatas untuk tugas kompleks

Model ini BUKAN untuk:

Keputusan medis, hukum, atau keuangan
Aplikasi produksi tanpa pengawasan
Tugas yang butuh akurasi tinggi

Lisensi

Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI.

Ketentuan penting:

Bebas digunakan untuk penelitian dan pengembangan
Bebas dimodifikasi dan didistribusikan
Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD
Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI

Lihat file LICENSE untuk detail lengkap.

Atribusi

Model ini dikembangkan oleh OpenPathAI sebagai turunan dari:

Base Model: LiquidAI/LFM2.5-2.6B
Dataset: OpenPathAI/alpaca-gpt4-indonesian-cleaned, biznetgio/oasst2-indonesia
Dataset Asli: FreedomIntelligence/alpaca-gpt4-indonesian

Kami menghargai karya Liquid AI dan FreedomIntelligence serta Biznet Gio yang telah memungkinkan model ini dikembangkan.

Sitasi

@misc{orbit-3-nano,
  author = {OpenPathAI},
  title = {Orbit-3-Nano: Fine-tuned LFM2.5 for Indonesian Language},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3-Nano}},
  note = {Fine-tuned from LiquidAI/LFM2.5-2.6B}
}

Kontak