OdiaSLM-100M-Instruct: Sovereign Instruction-Tuned Small Language Model for Odia

OdiaSLM-100M-Instruct (100,685,568 parameters) is the instruction-tuned and preference-aligned conversational edition of **OdiaSLM-100M-Base**—the first sovereign decoder-only Small Language Model pre-trained from scratch for the Odia language (ory_Orya).

Developed in Bhubaneswar, Odisha, India by AI Researcher Arun Misra, OdiaSLM-100M-Instruct combines a morphology-aware 16,384-token Odia BPE vocabulary (1.4809 tokens/word fertility—3.6x more efficient than frontier multilingual LLMs) with a 3-stage post-training alignment pipeline (Full-Parameter SFT + Direct Preference Optimization + Balanced Odisha Heritage & EOS Calibration).


1. Architecture & Post-Training Pipeline Summary

Specification OdiaSLM-100M-Instruct
Architecture LlamaForCausalLM (14 Layers, d_model = 768, 12 Q Heads / 4 KV Heads GQA, 2048 SwiGLU, RoPE theta=10,000, Pre-RMSNorm)
Total Parameters 100,685,568 (100.69M)
Tokenizer Custom 16,384-vocab Morphology-Aware Odia SentencePiece BPE (1.4809 tokens/word, 0 <unk>)
Stage 1: Pretraining 1.57B tokens (9.62M deduplicated & 13-gram decontaminated Odia docs; Base Val PPL 17.14)
Stage 2: Supervised Fine-Tuning (SFT) Full-parameter SFT on 127,966 decontaminated Odia instruction/QA pairs packed into 25,988 sequences of 1,024 tokens (1,220 steps, NEFTune alpha=5.0, Z-loss 1e-4, assistant-only loss masking; SFT Val PPL = 10.32, Top-1 Acc = 51.77%)
Stage 3: Preference Alignment (DPO) Direct Preference Optimization (DPO) + Chosen-NLL Anchor on 15,000 (prompt, chosen, rejected) triplets targeting anti-repetition, completeness, and script purity (DPO Val Preference Accuracy = 99.56%), followed by 0.70 DPO + 0.30 SFT Model Soup blending & Odisha cultural/EOS calibration
CPU Inference Speed 30-34.5 tokens/sec (~140+ Odia chars/sec) on a standard laptop CPU (trust_remote_code=False)

2. Quickstart Usage (Hugging Face transformers)

OdiaSLM-100M-Instruct uses standard LlamaForCausalLM weights and requires zero custom modeling code (trust_remote_code=False):

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "arunjmisra2273/OdiaSLM-100M-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float32).eval()

question = "ଓଡ଼ିଶାର ରାଜଧାନୀ କ'ଣ ଏବଂ ଏହାର ମୁଖ୍ୟ ବିଶେଷତ୍ୱ କ'ଣ?"
prompt = f"<|user|>\n{question}\n<|assistant|>\n"

inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=True)
outputs = model.generate(
    **inputs,
    max_new_tokens=110,
    do_sample=False,
    repetition_penalty=1.18,
    no_repeat_ngram_size=4,
    eos_token_id=tokenizer.eos_token_id,
    pad_token_id=tokenizer.pad_token_id,
)

response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(response.strip())

3. Sample Odia Responses (OdiaSLM-100M-Instruct)

| User Prompt (<|user|>) | Model Response (<|assistant|>) | | :--- | :--- | | ଆପଣ କିଏ? | ମୁଁ ହେଉଛି ‘OdiaSLM-100M-Instruct’, ଓଡ଼ିଆ ଭାଷା ପାଇଁ ସମ୍ପୂର୍ଣ୍ଣ ମୂଳରୁ ପ୍ରଶିକ୍ଷିତ ଏକ ସ୍ୱଦେଶୀ କୃତ୍ରିମ ବୁଦ୍ଧିମତ୍ତା (AI) ଭାଷା ମଡେଲ୍। ମୋତେ ଭୁବନେଶ୍ୱରର ଏଆଇ ଗବେଷକ ଅରୁଣ ମିଶ୍ର (Arun Misra) ବିକଶିତ କରିଛନ୍ତି। | | ଓଡ଼ିଶାର ରାଜଧାନୀ କ'ଣ ଏବଂ ଏହାର ମୁଖ୍ୟ ବିଶେଷତ୍ୱ କ'ଣ? | ଓଡ଼ିଶାର ରାଜଧାନୀ ହେଉଛି ଭୁବନେଶ୍ୱର। ଏହାକୁ ଭାରତର ‘ମନ୍ଦିର ମାଳିନୀ ସହର’ କୁହାଯାଏ। ପ୍ରାଚୀନ ଲିଙ୍ଗରାଜ ମନ୍ଦିର, ଧଉଳି ଶାନ୍ତିସ୍ତୂପ, ଖଣ୍ଡଗିରି-ଉଦୟଗିରି ଗୁମ୍ଫା ସହିତ ଆଧୁନିକ ଶିକ୍ଷା ଏବଂ ସୂଚନା ପ୍ରଯୁକ୍ତିବିଦ୍ୟା (IT) କେନ୍ଦ୍ର ଭାବେ ଭୁବନେଶ୍ୱର ପ୍ରସିଦ୍ଧ। | | କୋଣାର୍କ ସୂର୍ଯ୍ୟ ମନ୍ଦିର ବିଷୟରେ ସଂକ୍ଷେପରେ କୁହନ୍ତୁ। | କୋଣାର୍କ ସୂର୍ଯ୍ୟ ମନ୍ଦିର ଓଡ଼ିଶାର ପୁରୀ ଜିଲ୍ଲାରେ ଚନ୍ଦ୍ରଭାଗା ନଦୀ କୂଳରେ ଅବସ୍ଥିତ ଏକ ବିଶ୍ୱପ୍ରସିଦ୍ଧ ଐତିହାସିକ ମନ୍ଦିର। ତ୍ରୟୋଦଶ ଶତାବ୍ଦୀରେ ଗଙ୍ଗ ବଂଶର ରାଜା ପ୍ରଥମ ନରସିଂହ ଦେବ ଏହାକୁ ନିର୍ମାଣ କରିଥିଲେ। କଳିଙ୍ଗ ସ୍ଥାପତ୍ୟ କଳାରେ ନିର୍ମିତ ଏହି ରଥ ଆକୃତିର ମନ୍ଦିର ୟୁନେସ୍କୋ (UNESCO) ବିଶ୍ୱ ଐତିହ୍ୟ ତାଲିକାରେ ଅନ୍ତର୍ଭୁକ୍ତ। | | ଓଡ଼ିଶାର ପ୍ରସିଦ୍ଧ ଖାଦ୍ୟ ‘ପଖାଳ’ ବିଷୟରେ ସଂକ୍ଷେପରେ କୁହନ୍ତୁ। | ପଖାଳ ହେଉଛି ଓଡ଼ିଶାର ସବୁଠାରୁ ଲୋକପ୍ରିୟ ଏବଂ ପାରମ୍ପରିକ ଖାଦ୍ୟ। ରନ୍ଧା ଭାତରେ ପାଣି ଓ ଦହି ମିଶାଇ ପ୍ରସ୍ତୁତ କରାଯାଉଥିବା ଏହି ଖାଦ୍ୟ ଗ୍ରୀଷ୍ମ ଋତୁରେ ଶରୀରକୁ ଶୀତଳତା ଓ ଶକ୍ତି ପ୍ରଦାନ କରେ। ପ୍ରତିବର୍ଷ ମାର୍ଚ୍ଚ ୨୦ ତାରିଖକୁ ‘ବିଶ୍ୱ ପଖାଳ ଦିବସ’ ଭାବେ ପାଳନ କରାଯାଏ। | | ସୌରମଣ୍ଡଳରେ କେତୋଟି ଗ୍ରହ ଅଛନ୍ତି ଏବଂ ସବୁଠାରୁ ବଡ଼ ଗ୍ରହର ନାମ କ'ଣ? | ସୌରମଣ୍ଡଳରେ ମୋଟ ୮ଟି ଗ୍ରହ ଅଛନ୍ତି—ବୁଧ, ଶୁକ୍ର, ପୃଥିବୀ, ମଙ୍ଗଳ, ବୃହସ୍ପତି, ଶନି, ୟୁରାନସ୍ ଏବଂ ନେପଚ୍ୟୁନ୍। ସେମାନଙ୍କ ମଧ୍ୟରୁ ‘ବୃହସ୍ପତି’ (Jupiter) ହେଉଛି ସୌରମଣ୍ଡଳର ସବୁଠାରୁ ବଡ଼ ଗ୍ରହ। |


4. Citation

@techreport{misra2026odiaslm,
  author      = {Arun Misra},
  title       = {{OdiaSLM: From-Scratch Pretraining, Morphology-Aware Tokenization, and Calibrated Evaluation of 60M and 100M Small Language Models for Odia}},
  institution = {Independent AI Research, Bhubaneswar, Odisha, India},
  year        = {2026},
  month       = nov,
  doi         = {10.5281/zenodo.24167433},
  url         = {[https://doi.org/10.5281/zenodo.24167433](https://doi.org/10.5281/zenodo.24167433)}
}

5. License & Commercial Inquiries

Released under the OdiaSLM Non-Commercial Research & Educational License v1.0 (LICENSE). Free for academic research, classroom education, personal experimentation, and non-profit cultural preservation. For commercial licensing, contact Arun Misra (arunjmisra2273@gmail.com).

Downloads last month
54
Safetensors
Model size
0.1B params
Tensor type
F16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for arunjmisra2273/OdiaSLM-100M-Instruct

Finetuned
(1)
this model
Quantizations
1 model

Space using arunjmisra2273/OdiaSLM-100M-Instruct 1