You need to agree to share your Hugging Face information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

Ayb-0.5-0.8B

Ayb v0.5: Open Armenian Large Language Model

This repository contains the weights of Ayb-0.5-0.8B, the post-trained model, in the Hugging Face Transformers format. It works with Transformers and vLLM, like Qwen3.5-0.8B.

Ayb-0.5-0.8B is the smallest model of Ayb-0.5, the first release of Ayb, a family of open-weight Armenian language models from Metric AI Lab, named after Ա (Ayb), the first letter of the Armenian alphabet. It is built on Qwen3.5-0.8B: we extended the tokenizer with Armenian tokens, continued pretraining on about 26B tokens of Armenian and English text, and post-trained it with two stages of supervised fine-tuning.

Ayb-0.5-0.8B Highlights

  • Fluent Armenian: ArmBench 0.530 at under 1B parameters, strongest in text correction and reading comprehension.
  • Efficient tokenizer: 2,558 added Armenian tokens halve the token count of Armenian text.
  • Tiny: about 1.75 GB of weights in bf16 (including the vision encoder); runs on a laptop GPU or CPU.

Model Overview

  • Type: Causal Language Model with Vision Encoder
  • Training Stage: Continued Pre-training & Post-training (SFT)
  • Base Model: Qwen/Qwen3.5-0.8B-Base
  • Languages: Armenian, English
  • Number of Parameters: 0.8B
  • Number of Layers: 24
  • Hidden Dimension: 1024 (tied input and output embeddings)
  • Vocabulary: 250,635 (Qwen3.5 + 2,558 Armenian tokens)
  • Context Length: 262,144 (inherited from Qwen3.5; tested up to 8,192)
  • Training Tokens: ~27B (26.2B continued pre-training + 0.8B post-training)
  • Training Compute: ~2,800 AMD MI250X GPU-hours (GCDs) on LUMI
  • Knowledge Cutoff: mid-2026

Benchmark Results

All results are zero-shot with thinking mode off.

Ayb-0.5-9B Ayb-0.5-4B Ayb-0.5-0.8B
ArmBench (24 tasks)
Overall 0.616 0.583 0.530
Knowledge 0.480 0.428 0.334
Reading comprehension 0.774 0.738 0.693
Analysis 0.653 0.652 0.564
Generation 0.270 0.249 0.189
Correction 0.905 0.848 0.870
Instruction following
IFEval-hy (3 turns) 0.729 0.491 0.245
lm-evaluation-harness
MultiBLiMP-hy 0.991 0.984 0.965
HellaSwag-hy 0.260 0.258 0.256
ARC-hy 0.232 0.224 0.218
m_MMLU-hy 0.382 0.336 0.307
INCLUDE-hy 0.789 0.727 0.589
Belebele-hy 0.811 0.731 0.569
Mean 0.578 0.543 0.484

Leaderboards: ArmBench-LLM (data) and IFEval-hy. The lm-evaluation-harness tasks are the harness's own Armenian tasks, run zero-shot.

Tokenizer. Ayb uses Qwen3.5's tokenizer plus 2,558 Armenian tokens. Armenian text needs about half as many tokens as with Qwen3.5.

Tokenizer Tokens per word (Armenian Wikipedia) ↓ Armenian / English tokens (Belebele) ↓
Ayb 2.90 1.69
Qwen3.5 5.51 3.67
GPT-4o / GPT-5 (o200k) 2.88 1.79
Gemma 3 / 4 4.39 2.87

Examples

Real outputs of Ayb-0.5-0.8B (greedy decoding, thinking off).

Fixing punctuation

Prompt:

Ուղղիր կետադրությունը և վերադարձրու միայն ուղղված տեքստը.

երեկ երեկոյան մենք գնացինք թատրոն բայց ներկայացումը չսկսվեց ժամանակին քանի որ դերասաններից մեկը ուշացավ

Ayb-0.5-0.8B:

Երեկ երեկոյան մենք գնացինք թատրոն, բայց ներկայացումը չսկսվեց ժամանակին, քանի որ դերասաններից մեկը ուշացավ։

Restoring spaces

Prompt:

Տեքստում բառերի միջև բացատները կորել են։ Վերականգնիր դրանք և վերադարձրու միայն ուղղված տեքստը.

Հայաստանըլեռնայիներկիրէևունիհարուստպատմություն։

Ayb-0.5-0.8B:

Հայաստանը լեռնային երկիր է և ունի հարուստ պատմություն։

Summarizing an email

Prompt:

Ամփոփիր հետևյալ նամակը մեկ նախադասությամբ.

Բարև Անի, ուզում էի հիշեցնել, որ վաղը ժամը 11-ին ունենք թիմային հանդիպում գրասենյակում։ Խնդրում եմ բեր նախագծի վերջին տարբերակը և պատրաստիր կարճ ներկայացում արդյունքների մասին։ Եթե չես կարող գալ, տեղեկացրու մինչև այսօր երեկո։ Շնորհակալություն, Արամ

Ayb-0.5-0.8B:

Արամը հիշեցնում է վաղը ժամը 11-ին գրասենյակում կայանալիք թիմային հանդիպման մասին և խնդրում է բերել նախագծի վերջին տարբերակը և ներկայացում արդյունքների մասին։

Quickstart

Ayb-0.5-0.8B is trained without thinking mode. Turn it off with "chat_template_kwargs": {"enable_thinking": false}.

Serve the model with vLLM (0.20 or newer):

vllm serve Metric-AI/Ayb-0.5-0.8B --port 8000 --max-model-len 8192

Then call it through the OpenAI-compatible API:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
    model="Metric-AI/Ayb-0.5-0.8B",
    messages=[{"role": "user", "content": "Պատմիր հակիրճ Մեսրոպ Մաշտոցի մասին։"}],
    temperature=0.7,
    top_p=0.9,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)

Best Practices

  1. Sampling: temperature=0.7, top_p=0.9 for chat; temperature=0 for short factual answers.
  2. Multiple-choice questions: ask the model to reason step by step before giving the letter. It tends to answer directly otherwise.
  3. Dates: the model does not know today's date. Put it in a system message when it matters.
  4. Use it for text work: it is strongest at correction, summarization and answering from a given text. Do not rely on it for facts it has to recall, and it was not trained for tool calling.

Acknowledgements

We acknowledge the EuroHPC Joint Undertaking for awarding this project access to the EuroHPC supercomputer LUMI, hosted by CSC (Finland) and the LUMI consortium. Ayb-0.5-0.8B was trained on LUMI.

License

Ayb-0.5-0.8B is released under CC BY-NC 4.0. It is built on Qwen/Qwen3.5-0.8B-Base (Apache 2.0).

Citation

@misc{ayb2026ayb05,
    title        = {{Ayb-0.5}: Open Armenian Language Models},
    author       = {Bughdaryan, Spartak and Navasardyan, Zaruhi and Minasyan, Bagratuni and Davtyan, Hrant},
    year         = {2026},
    publisher    = {Metric AI Lab},
    howpublished = {\url{https://huggingface.co/Metric-AI/Ayb-0.5-0.8B}}
}
Downloads last month
4
Safetensors
Model size
0.9B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Metric-AI/Ayb-0.5-0.8B

Finetuned
(192)
this model

Collection including Metric-AI/Ayb-0.5-0.8B

Article mentioning Metric-AI/Ayb-0.5-0.8B