Instructions to use AhiskaAI/AhiskaAI-v0.5-440M-Base with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use AhiskaAI/AhiskaAI-v0.5-440M-Base with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="AhiskaAI/AhiskaAI-v0.5-440M-Base")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("AhiskaAI/AhiskaAI-v0.5-440M-Base")
model = AutoModelForCausalLM.from_pretrained("AhiskaAI/AhiskaAI-v0.5-440M-Base", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use AhiskaAI/AhiskaAI-v0.5-440M-Base with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "AhiskaAI/AhiskaAI-v0.5-440M-Base"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AhiskaAI/AhiskaAI-v0.5-440M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/AhiskaAI/AhiskaAI-v0.5-440M-Base

SGLang

How to use AhiskaAI/AhiskaAI-v0.5-440M-Base with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "AhiskaAI/AhiskaAI-v0.5-440M-Base" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AhiskaAI/AhiskaAI-v0.5-440M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "AhiskaAI/AhiskaAI-v0.5-440M-Base" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AhiskaAI/AhiskaAI-v0.5-440M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use AhiskaAI/AhiskaAI-v0.5-440M-Base with Docker Model Runner:
```
docker model run hf.co/AhiskaAI/AhiskaAI-v0.5-440M-Base
```

AhıskaAI v0.5 440M Base

(Türkçe Açıklama Aşağıda)

AhıskaAI v0.5 Series

AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.

The AhıskaAI v0.5 series continues this work with larger pretraining data and a cleaner, standardized training pipeline, while keeping the models lightweight and accessible.

This release is the Base (pretrained) version of AhıskaAI v0.5 440M — the largest model in the AhıskaAI v0.5 series so far.

AhıskaAI v0.5 440M Base

AhıskaAI v0.5 440M Base is a small causal language model trained completely from scratch on Turkish web text. It is a raw pretrained model: it has not been instruction-tuned and does not follow a chat format. It is best used for text continuation, research, and as a starting point for fine-tuning.

This is an experimental small language model developed as part of the AhıskaAI research project.

Model Specifications

Specification	Value
Model name	AhıskaAI v0.5 440M Base
Parameters	~440M
Architecture	LlamaForCausalLM
Hidden size	1536
Hidden layers	16
Attention heads	12
Key/Value heads	4
Intermediate size	4096
Head dimension	128
Maximum context length	1024
Vocabulary size	24,000
Activation	SiLU
Data type	bfloat16
Position encoding	RoPE (theta 10,000)
Word embeddings	Tied
Attention dropout	0.0
Attention bias	None
MLP bias	None

The model uses the LlamaForCausalLM architecture, but it was trained completely from scratch rather than initialized from the weights of an existing Llama model.

Training

Pretraining

AhıskaAI v0.5 440M Base was trained completely from scratch on FineWeb-2 HQ Turkish, using approximately 5.1B tokens. It was not initialized from, or fine-tuned from, any other pretrained model.

Hardware: Kaggle TPU v5e-8
Training time: ~15 hours 13 minutes

The number of layers was deliberately kept low to increase training MFU (Model FLOPs Utilization).

This Base model has no instruction-tuning stage. The AhıskaAI v0.5 SFT data is not publicly released.

Tokenizer

AhıskaAI v0.5 uses a custom 24K vocabulary BPE tokenizer focused on Turkish, Ahıska Turkish, and Turkish morphology. This tokenizer was trained separately for the v0.5 series on its own training data. Although its vocabulary size matches the v0.4 tokenizer, it is a different tokenizer and is not interchangeable with v0.4 models. A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.

Intended Use

AhıskaAI v0.5 440M Base can be used for:

Turkish text generation and continuation
Small language model research
Low-resource language experiments
Tokenizer and Turkish morphology experiments
A starting point for fine-tuning (SFT, domain adaptation)

The model is particularly intended for experimentation and research rather than production-critical applications.

How to Run

pip install -U transformers torch

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.5-440M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri"

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1,
        use_cache=True
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Note: This is a Base model. Give it the beginning of a text and it will continue it; it does not use a chat template.

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark is an experimental benchmark evaluating Turkish quality, topic relevance, and factual/logical correctness (binary scoring, averaged).

AhıskaAI v0.1 Lite Benchmark

Results for AhıskaAI v0.5 440M:

Turkish Fluency: 97.98%
Topic Relevance: 50.51%
Correctness: 24.24%
Overall Average: 57.58%
Total Questions: 99

Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

Limitations

This model is intentionally small and experimental.

Because of its size and its Base (non-instruction-tuned) nature, it may:

Produce factually incorrect information
Generate meaningless or incomplete text
Ignore instructions, since it is not trained to follow them
Lose context in longer texts (maximum context is 1024 tokens)
Repeat words or phrases
Drift off-topic
Struggle with reasoning and multi-step tasks
Hallucinate information
Reflect biases present in web-scale training data

In particular, the model was pretrained on ~5.1B tokens, which is relatively few for its parameter count (roughly 12 tokens per parameter). This may affect knowledge coverage and fluency relative to what its size alone would suggest.

Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.

Other Versions

AhıskaAI v0.5 440M Base — This model
AhıskaAI v0.5 440M IT — Instruction-tuned version of this model
AhıskaAI v0.5 120M Base — Smaller Base model
AhıskaAI v0.5 120M IT — Instruction-tuned 120M model
AhıskaAI v0.4 Series — Previous generation (35M, 145M, 235M)

License

This model is released under the Apache 2.0 License.

If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated.

Suggested Citation

AhıskaAI v0.5 440M Base — A small language model pretrained from scratch for Turkish and Ahıska Turkish research.

Project: AhıskaAI Model: AhıskaAI v0.5 440M Base

Türkçe

AhıskaAI v0.5 Serisi

AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.

AhıskaAI v0.5 serisi, daha büyük ön eğitim verisi ve daha temiz, standartlaştırılmış bir eğitim süreciyle bu çalışmayı sürdürürken modelleri hafif ve erişilebilir tutmayı amaçlamaktadır.

Bu sürüm, AhıskaAI v0.5 serisinin şu ana kadarki en büyük modeli olan AhıskaAI v0.5 440M modelinin Base (ön eğitimli) sürümüdür.

AhıskaAI v0.5 440M Base

AhıskaAI v0.5 440M Base, Türkçe web metinleri üzerinde tamamen sıfırdan eğitilmiş küçük bir nedensel (causal) dil modelidir. Ham bir ön eğitim modelidir: instruction tuning uygulanmamıştır ve sohbet formatını takip etmez. Metin devam ettirme, araştırma ve fine-tuning için başlangıç noktası olarak kullanılması en uygunudur.

Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.

Model Özellikleri

Özellik	Değer
Model adı	AhıskaAI v0.5 440M Base
Parametre sayısı	~440M
Mimari	LlamaForCausalLM
Hidden size	1536
Hidden layers	16
Attention heads	12
Key/Value heads	4
Intermediate size	4096
Head dimension	128
Maksimum context	1024
Vocabulary	24,000
Aktivasyon	SiLU
Veri tipi	bfloat16
Position encoding	RoPE (theta 10.000)
Word embeddings	Tied
Attention dropout	0.0
Attention bias	Yok
MLP bias	Yok

Model LlamaForCausalLM mimarisini kullanmaktadır ancak mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Model tamamen sıfırdan eğitilmiştir.

Eğitim

Ön Eğitim

AhıskaAI v0.5 440M Base, FineWeb-2 HQ Turkish verisi üzerinde yaklaşık 5.1B token kullanılarak tamamen sıfırdan eğitilmiştir. Başka bir pretrained modelden başlatılmamış veya fine-tune edilmemiştir.

Donanım: Kaggle TPU v5e-8
Eğitim süresi: ~15 saat 13 dakika

Katman sayısı, eğitim sırasındaki MFU (Model FLOPs Utilization) değerini artırmak amacıyla bilinçli olarak düşük tutulmuştur.

Bu Base modele instruction tuning uygulanmamıştır. AhıskaAI v0.5 SFT verisi herkese açık olarak yayınlanmamaktadır.

Tokenizer

AhıskaAI v0.5 serisinde, Türkçe/Ahıska Türkçesi ve Türkçe morfolojisine odaklı özel bir 24K vocabulary BPE tokenizer kullanılmaktadır. Bu tokenizer, v0.5 serisi için kendi eğitim verisi üzerinde ayrıca eğitilmiştir. Vocabulary boyutu v0.4 tokenizer'ı ile aynı olsa da farklı bir tokenizer'dır ve v0.4 modelleriyle birbirinin yerine kullanılamaz. Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.

Kullanım Alanları

AhıskaAI v0.5 440M Base şu alanlarda kullanılabilir:

Türkçe metin üretimi ve devam ettirme
Küçük dil modeli araştırmaları
Düşük kaynaklı dil deneyleri
Tokenizer ve Türkçe morfoloji deneyleri
Fine-tuning (SFT, alan uyarlaması) için başlangıç noktası

Model öncelikli olarak deneysel ve araştırma amaçlıdır.

Çalıştırma

pip install -U transformers torch

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.5-440M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri"

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1,
        use_cache=True
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Not: Bu bir Base modeldir. Ona bir metnin başlangıcını verirsiniz, o da devamını getirir; chat template kullanmaz.

AhıskaAI v0.1 Lite Benchmark

Türkçe kalitesi, konu ilgisi ve bilgisel/mantıksal doğruluğu değerlendiren deneysel bir benchmark (binary scoring, ortalama).

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.5 440M sonuçları:

Türkçe Düzgünlüğü: %97.98
Konu Alakası: %50.51
Doğruluk: %24.24
Genel Ortalama: %57.58
Toplam Soru: 99

Not: Bu deneysel bir benchmark'tır, standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Sınırlamalar

Bu model özellikle küçük ve deneysel bir modeldir.

Boyutu ve Base (instruction tuning uygulanmamış) yapısı nedeniyle model:

Yanlış bilgiler üretebilir
Anlamsız veya eksik metinler oluşturabilir
Talimat takibi için eğitilmediğinden talimatları yok sayabilir
Uzun metinlerde bağlamı kaybedebilir (maksimum context 1024 token'dır)
Kelime veya ifadeleri tekrarlayabilir
Konu dışına çıkabilir
Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilir
Halüsinasyon üretebilir
Web ölçeğindeki eğitim verisinde bulunan önyargıları yansıtabilir

Özellikle, model parametre sayısına göre görece az token ile (~5.1B token, parametre başına yaklaşık 12 token) ön eğitim görmüştür. Bu durum, bilgi kapsamını ve akıcılığı, boyutunun tek başına işaret ettiği seviyeye göre etkileyebilir.

Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.

Diğer Sürümler

AhıskaAI v0.5 440M Base — Bu model
AhıskaAI v0.5 440M IT — Bu modelin instruction-tuned sürümü
AhıskaAI v0.5 120M Base — Daha küçük Base model
AhıskaAI v0.5 120M IT — 120M instruction-tuned model
AhıskaAI v0.4 Serisi — Önceki nesil (35M, 145M, 235M)

Lisans

Bu model Apache 2.0 License altında yayınlanmıştır.

Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir.

Önerilen Atıf

AhıskaAI v0.5 440M Base — Türkçe ve Ahıska Türkçesi araştırmaları için sıfırdan eğitilmiş küçük dil modeli.

Proje: AhıskaAI Model: AhıskaAI v0.5 440M Base

Downloads last month: 29

Safetensors

Model size

0.5B params

Tensor type

BF16

Model tree for AhiskaAI/AhiskaAI-v0.5-440M-Base

Finetunes

1 model

Collection including AhiskaAI/AhiskaAI-v0.5-440M-Base

AhıskaAI v0.5 Collection

Collection

AhıskaAI v0.5 Model Series Collection | Latest AhıskaAI Models • 4 items • Updated 1 day ago • 1