lilo-cyber / README.md
hzlo0's picture
Update README.md
681f971 verified
|
Raw History Blame Contribute Delete
5.45 kB
---
tags:
- gguf
- lilo
- cybersecurity
- indonesian
- llama-cpp
language:
- id
- en
datasets:
- zelapi/lilo-cyber
base_model:
- zelapi/lilo
---
![Lilo Public Preview Dark](image/dark.png)
# Lilo Cyber
Model bahasa Indonesia yang fokus pada **keamanan siber, pemrograman, dan analisis teknis**.
Dikemas sebagai **GGUF Q4_K_M** dengan ukuran sekitar **2.4 GB**, jadi bisa dijalankan lokal
di CPU laptop tanpa GPU, dan tetap punya karakter jawaban yang singkat serta terstruktur.
## Kenapa model ini dibuat
Model besar (27B, context 200K) memang bagus, tapi bobotnya berat: butuh GPU,
boros biaya API per token, dan tidak bisa dipakai offline saat jauh dari internet.
Di sisi lain, model kecil
generik sering ngaco di soal cybersecurity — memberi rekomendasi yang salah,
atau buru-buru menambahkan setting tanpa menjelaskan risikonya.
Lilo Cyber dibuat untuk mengisi celah itu:
- **Jalan di CPU, offline, gratis** — format GGUF Q4_K_M, context pendek, jumlah thread sedikit
- **Bahasa Indonesia** — istilah keamanan siber diterjemahkan natural, bukan literal translation
- **Jawaban ringkas dan actionable** — checklist, perintah, langkah bernomor, bukan paragraf panjang
- **Cukup pintar untuk coding & cyber** — code review, analisis log, config hardening, skrip
Untuk agent dengan budget terbatas, atau untuk siapa pun yang sering kerja
tanpa koneksi internet, ini titik masuk yang murah.
## Fokus model
| Area | Contoh tugas |
|---|---|
| Hardening | Checklist Ubuntu/Debian, nginx, SSH, Docker |
| Audit & log | Analisis log auth, deteksi anomali, korelasi event |
| Pemrograman | Code review, debugging, menulis skrip, optimasi query |
| DevOps | CI/CD hardening, image scanning, secret management |
| Incident response | Containment, eradication, post-mortem ringkas |
| Threat modeling | STRIDE, abuse case, attack surface mapping |
## Parameter runtime
Nilai-nilai ini dipilih supaya **nyaman di RAM kecil**:
| Parameter | Nilai | Alasan |
|---|---|---|
| `num_ctx` | 1024 | Batas context rendah = VRAM/RAM jauh lebih hemat |
| `num_thread` | 2 | CPU 2 vCPU adalah titik bottleneck yang paling sering ditemui |
| `num_batch` | 128 | Batch kecil → latensi lebih stabil di CPU |
| `temperature` | 0.7 | Cukup variatif tanpa terlalu liar |
| `top_p` | 0.9 | Memotong ekor distribusi token yang noise |
| `repeat_penalty` | 1.1 | Mengurangi pengulangan kalimat |
| `stop` | `<start_of_turn>`, `<end_of_turn>` | Gaya chat gemma, jadi berhenti rapi |
Prompt template (gemma):
```
<start_of_turn>user
{prompt}<end_of_turn>
<start_of_turn>model
```
### Contoh
```bash
./llama-cli -m lilo-cyber-Q4_K_M.gguf -c 1024 -t 2 -n 256 --chat-template gemma \
-p "Buat checklist hardening untuk server Ubuntu"
```
## Benchmark
Di bawah ini perbandingan indikator standar industri antara model ini dan model
generasi besar yang umumnya dipakai sebagai referensi (angka dari sumber publik
masing-masing model, jadi bersifat indikatif — **bukan hasil pengukuran langsung
atas model ini**):
| Atribut / Metrik | Claude Haiku 5.5 | Gemma 2 (27B) | Gemma 3 (27B) | **Lilo Cyber** |
|---|---|---|---|---|
| Penyedia / Sifat | Anthropic (proprietary) | Google (open weights) | Google (open weights) | **Open weights, lokal** |
| Arena AI (Text) | Sangat tinggi (#26 di Agent) | Menengah–tinggi | Tinggi | **Tidak masuk arena (model niche)** |
| MMLU | ~78–80% | 75.2% | ~79.5% | **Tidak dilaporkan** |
| HumanEval (coding) | Tinggi / unggul | 51.8% | ~56.4% | **Tidak dilaporkan** |
| Context window | 200.000 token | 8.192 token | 32.000 / 64.000 token | **1.024 token (aktif)** |
| Harga input / 1M token | $0.10 | Gratis lokal / variatif | $0.08 (API) | **Gratis, offline** |
| Harga output / 1M token | $0.50 | Gratis lokal / variatif | $0.16 (API) | **Gratis, offline** |
| Ukuran file | — | — | — | **~2.4 GB (Q4_K_M)** |
| Kebutuhan GPU | Tidak wajib (API) | Tidak wajib | Tidak wajib | **Tidak perlu** |
### Poin analisis
- **Claude Haiku 5.5** unggul di workflow agentik, coding kompleks, dan dokumen
panjang berkat context 200K. Konsekuensinya: model proprietary, biaya per token, dan butuh internet.
- **Gemma 2 / 3 (27B)** unggul dari sisi biaya operasional — open weights, bisa lokal
gratis atau disewa API murah. Tapi ukuran model besar, jalankan nyaman di CPU.
- **Lilo Cyber** — trade-off-nya berbeda: ukurannya kecil (2.4 GB), bisa jalan
di CPU mana pun, sepenuhnya offline, dan spesialis di domain cyber/coding berbahasa Indonesia.
Ia **bukan** pengganti model 27B untuk pengetahuan umum atau dokumen panjang.
### Kapan pakai yang mana
| Kebutuhan | Pilihan |
|---|---|
| Review kode panjang, dokumen besar, agentic workflow | Claude Haiku 5.5 |
| Knowledge base luas, chat umum, ribuan Q&A | Gemma 3 (27B) |
| Hardening server, analisis log, cyber ops, offline | **Lilo Cyber** |
| RAM terbatas (< 4 GB), tanpa GPU | **Lilo Cyber** |
## Keterbatasan
- Context hanya 1.024 token — pertanyaan panjang harus dipecah
- Pengetahuan umum bukan fokus; angka MMLU/HumanEval sengaja tidak diklaim
- Memberi rekomendasi keamanan yang salah tetap mungkin — **verifikasi selalu sebelum dipakai** ke sistem nyata
- Kecepatan token/detik rendah di CPU dibanding model yang dijalankan di GPU
## Cara pakai
**llama.cpp**
```bash
./llama-cli -m lilo-cyber-Q4_K_M.gguf -c 1024 -t 2 -n 256 --chat-template gemma
```
**Ollama**
```bash
ollama create lilo-cyber -f Modelfile
ollama run lilo-cyber
```