zelapi/lilo-cyber

Lilo Cyber

Model bahasa Indonesia yang fokus pada keamanan siber, pemrograman, dan analisis teknis. Dikemas sebagai GGUF Q4_K_M dengan ukuran sekitar 2.4 GB, jadi bisa dijalankan lokal di CPU laptop tanpa GPU, dan tetap punya karakter jawaban yang singkat serta terstruktur.

Kenapa model ini dibuat

Model besar (27B, context 200K) memang bagus, tapi bobotnya berat: butuh GPU, boros biaya API per token, dan tidak bisa dipakai offline saat jauh dari internet. Di sisi lain, model kecil generik sering ngaco di soal cybersecurity — memberi rekomendasi yang salah, atau buru-buru menambahkan setting tanpa menjelaskan risikonya.

Lilo Cyber dibuat untuk mengisi celah itu:

• Jalan di CPU, offline, gratis — format GGUF Q4_K_M, context pendek, jumlah thread sedikit
• Bahasa Indonesia — istilah keamanan siber diterjemahkan natural, bukan literal translation
• Jawaban ringkas dan actionable — checklist, perintah, langkah bernomor, bukan paragraf panjang
• Cukup pintar untuk coding & cyber — code review, analisis log, config hardening, skrip

Untuk agent dengan budget terbatas, atau untuk siapa pun yang sering kerja tanpa koneksi internet, ini titik masuk yang murah.

Fokus model

Area	Contoh tugas
Hardening	Checklist Ubuntu/Debian, nginx, SSH, Docker
Audit & log	Analisis log auth, deteksi anomali, korelasi event
Pemrograman	Code review, debugging, menulis skrip, optimasi query
DevOps	CI/CD hardening, image scanning, secret management
Incident response	Containment, eradication, post-mortem ringkas
Threat modeling	STRIDE, abuse case, attack surface mapping

Parameter runtime

Nilai-nilai ini dipilih supaya nyaman di RAM kecil:

Parameter	Nilai	Alasan
num_ctx	1024	Batas context rendah = VRAM/RAM jauh lebih hemat
num_thread	2	CPU 2 vCPU adalah titik bottleneck yang paling sering ditemui
num_batch	128	Batch kecil → latensi lebih stabil di CPU
temperature	0.7	Cukup variatif tanpa terlalu liar
top_p	0.9	Memotong ekor distribusi token yang noise
repeat_penalty	1.1	Mengurangi pengulangan kalimat
stop	<start_of_turn>, <end_of_turn>	Gaya chat gemma, jadi berhenti rapi

Prompt template (gemma):

<start_of_turn>user
{prompt}<end_of_turn>
<start_of_turn>model

Contoh

./llama-cli -m lilo-cyber-Q4_K_M.gguf -c 1024 -t 2 -n 256 --chat-template gemma \
  -p "Buat checklist hardening untuk server Ubuntu"

Benchmark

Di bawah ini perbandingan indikator standar industri antara model ini dan model generasi besar yang umumnya dipakai sebagai referensi (angka dari sumber publik masing-masing model, jadi bersifat indikatif — bukan hasil pengukuran langsung atas model ini):

Atribut / Metrik	Claude Haiku 5.5	Gemma 2 (27B)	Gemma 3 (27B)	Lilo Cyber
Penyedia / Sifat	Anthropic (proprietary)	Google (open weights)	Google (open weights)	Open weights, lokal
Arena AI (Text)	Sangat tinggi (#26 di Agent)	Menengah–tinggi	Tinggi	Tidak masuk arena (model niche)
MMLU	~78–80%	75.2%	~79.5%	Tidak dilaporkan
HumanEval (coding)	Tinggi / unggul	51.8%	~56.4%	Tidak dilaporkan
Context window	200.000 token	8.192 token	32.000 / 64.000 token	1.024 token (aktif)
Harga input / 1M token	$0.10	Gratis lokal / variatif	$0.08 (API)	Gratis, offline
Harga output / 1M token	$0.50	Gratis lokal / variatif	$0.16 (API)	Gratis, offline
Ukuran file	—	—	—	~2.4 GB (Q4_K_M)
Kebutuhan GPU	Tidak wajib (API)	Tidak wajib	Tidak wajib	Tidak perlu

Poin analisis

• Claude Haiku 5.5 unggul di workflow agentik, coding kompleks, dan dokumen panjang berkat context 200K. Konsekuensinya: model proprietary, biaya per token, dan butuh internet.
• Gemma 2 / 3 (27B) unggul dari sisi biaya operasional — open weights, bisa lokal gratis atau disewa API murah. Tapi ukuran model besar, jalankan nyaman di CPU.
• Lilo Cyber — trade-off-nya berbeda: ukurannya kecil (2.4 GB), bisa jalan di CPU mana pun, sepenuhnya offline, dan spesialis di domain cyber/coding berbahasa Indonesia. Ia bukan pengganti model 27B untuk pengetahuan umum atau dokumen panjang.

Kapan pakai yang mana

Kebutuhan	Pilihan
Review kode panjang, dokumen besar, agentic workflow	Claude Haiku 5.5
Knowledge base luas, chat umum, ribuan Q&A	Gemma 3 (27B)
Hardening server, analisis log, cyber ops, offline	Lilo Cyber
RAM terbatas (< 4 GB), tanpa GPU	Lilo Cyber

Keterbatasan

• Context hanya 1.024 token — pertanyaan panjang harus dipecah
• Pengetahuan umum bukan fokus; angka MMLU/HumanEval sengaja tidak diklaim
• Memberi rekomendasi keamanan yang salah tetap mungkin — verifikasi selalu sebelum dipakai ke sistem nyata
• Kecepatan token/detik rendah di CPU dibanding model yang dijalankan di GPU

Cara pakai

llama.cpp

./llama-cli -m lilo-cyber-Q4_K_M.gguf -c 1024 -t 2 -n 256 --chat-template gemma

Ollama

ollama create lilo-cyber -f Modelfile
ollama run lilo-cyber