Instructions to use Flashtond22/Taltos-27B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Flashtond22/Taltos-27B with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("image-text-to-text", model="Flashtond22/Taltos-27B") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] pipe(text=messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("Flashtond22/Taltos-27B") model = AutoModelForMultimodalLM.from_pretrained("Flashtond22/Taltos-27B", device_map="auto") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] inputs = processor.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use Flashtond22/Taltos-27B with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Flashtond22/Taltos-27B" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Flashtond22/Taltos-27B", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker
docker model run hf.co/Flashtond22/Taltos-27B
- SGLang
How to use Flashtond22/Taltos-27B with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Flashtond22/Taltos-27B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Flashtond22/Taltos-27B", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Flashtond22/Taltos-27B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Flashtond22/Taltos-27B", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' - Docker Model Runner
How to use Flashtond22/Taltos-27B with Docker Model Runner:
docker model run hf.co/Flashtond22/Taltos-27B
โฆ TรLTOS-27B โฆ
Magyar nyelvre hangolt, gondolkodรณ, kรฉplรกtรณ nyelvi modell
โA tรกltos tud, lรกt รฉs magyarรกz."
Gondolkodรณ mรณd ยท Kรฉpรฉrtรฉs ยท 262 144 token ยท Egy GPU-n futtathatรณ
Mire valรณ
A Tรกltos-27B akkor a jรณ vรกlasztรกs, ha magyarul kell dolgoznod, รฉs szรกmรญt, hogy a szรถveg รบgy szรณljon, ahogy egy magyar ember รญrnรก. A hangolรกsa hรกrom dologra ment el: termรฉszetes magyar fogalmazรกsra, magyar nyelvลฑ gondolatmenetre, รฉs arra, hogy a modell megmondja, ha valamiben bizonytalan.
| โ๏ธ Fogalmazรกs | ๐ง Gondolkodรกs | ๐๏ธ Kรฉpรฉrtรฉs | ๐ Hosszรบ szรถveg |
|---|---|---|---|
| Levรฉl, รถsszefoglalรณ, รกtirat, hivatalos szรถveg magyarul | Lรฉpรฉsenkรฉnti levezetรฉs magyar nyelven | Kรฉpek รฉs videรณk รฉrtelmezรฉse | 262 144 token egy menetben |
Specifikรกciรณ
| Tulajdonsรกg | รrtรฉk |
|---|---|
| Paramรฉterszรกm | 27,8 milliรกrd (dense) |
| Architektรบra | 64 rรฉteg, hibrid Gated DeltaNet + Gated Attention |
| Kontextusablak | 262 144 token |
| Multimodalitรกs | Kรฉp รฉs videรณ bemenet |
| Gondolkodรณ mรณd | Kapcsolhatรณ (enable_thinking) |
| Alapmodell | Qwen/Qwen3.8-27B |
| Licenc | Apache 2.0 |
| Kiadรกs | 2026. augusztus |
Eredmรฉnyek
Fej-fej melletti รถsszehasonlรญtรกs az alapmodellel, 55 magyar feladaton (รฉrettsรฉgi pรฉldรกk, fogalmazรกs, nyelvtan, kultรบra, รฉrvelรฉs). A gyลztest egy fรผggetlen modellcsalรกd (Gemma-4-31B) vรกlasztotta ki, a vรกlaszok sorrendje vรฉletlenรญtve.
| Kimenetel | Arรกny |
|---|---|
| ๐ Tรกltos-27B a jobb | 50,9 % |
| Alapmodell a jobb | 40,0 % |
| Holtverseny | 9,1 % |
| รsszesรญtett preferencia | 55,5 % |
Ahol a legnagyobb a kรผlรถnbsรฉg: รฉrettsรฉgi feladatok (18 : 13), รฉrvelรฉs รฉs vita (2 : 0), hamis รกllรญtรกsok kiigazรญtรกsa.
| Nyelvi mutatรณ | Alapmodell | Tรกltos-27B |
|---|---|---|
| Magyar รฉkezetsลฑrลฑsรฉg | 0,0728 | 0,0753 |
| รtlagos vรกlaszhossz | 1 775 kar. | 1 649 kar. |
A magyar nyelvtani pontossรกg รฉrezhetลen javult. Egy panaszlevรฉl-feladatban az alapmodell olyan alakokat adott vissza, mint โfelhรญvni a figyelmetรผkre" vagy โa fizetendล รถsszegetลl", a Tรกltos ezeket helyesen รญrja.
รgy kรฉszรผlt
magyar feladat
โ
โผ
โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโ
โ szakmai โโโโโโโโโถโ anyanyelvi โโโโโโโโโถโ magyar โ
โ vรกzlat โ โ magyar szรถveg โ โ gondolatmenet โ
โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโ
A tanรญtรณadat sajรกt fejlesztรฉsลฑ, hรกromlรฉpcsลs eljรกrรกssal kรฉszรผlt. A kulcsรถtlet, hogy a nyelvi modellek az รกtfogalmazรกsban lรฉnyegesen erลsebbek, mint a nyรญlt vรฉgลฑ magyar szรถvegalkotรกsban, รญgy a tartalmi minลsรฉg รฉs a magyar megformรกlรกs szรฉtvรกlaszthatรณ รฉs kรผlรถn-kรผlรถn maximalizรกlhatรณ.
Erre รฉpรผlt egy cรฉlzott finomhangolรกs, amely a teljes hรกlรณzatot รฉrinti, majd az eredmรฉny visszaolvadt az alapmodellbe. A tanรญtรกs egyetlen NVIDIA L40S GPU-n futott le.
Hasznรกlat
vLLM (ajรกnlott)
vllm serve Flashtond22/Taltos-27B \
--served-model-name taltos \
--max-model-len 32768 \
--reasoning-parser qwen3
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="-")
vรกlasz = client.chat.completions.create(
model="taltos",
messages=[{"role": "user", "content": "Foglald รถssze hรกrom mondatban, mi volt a kiegyezรฉs."}],
extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(vรกlasz.choices[0].message.content)
Transformers
from transformers import AutoModelForCausalLM, AutoProcessor
import torch
MODEL = "Flashtond22/Taltos-27B"
proc = AutoProcessor.from_pretrained(MODEL)
model = AutoModelForCausalLM.from_pretrained(MODEL, dtype=torch.bfloat16, device_map="auto")
รผzenetek = [{"role": "user", "content": "Miรฉrt kรผlรถnleges a magyar magรกnhangzรณ-harmรณnia?"}]
prompt = proc.apply_chat_template(รผzenetek, add_generation_prompt=True,
enable_thinking=True, tokenize=False)
be = proc(prompt, return_tensors="pt").to(model.device)
ki = model.generate(**be, max_new_tokens=1200, temperature=0.7, top_p=0.92)
print(proc.decode(ki[0][be.input_ids.shape[1]:], skip_special_tokens=True))
Ajรกnlott rendszerรผzenet
Te vagy a Tรกltos, magyar nyelvre hangolt mestersรฉges intelligencia.
Termรฉszetes, anyanyelvi magyarsรกggal vรกlaszolsz: helyes szรณrenddel,
ragozรกssal, tรผkรถrfordรญtรกs nรฉlkรผl. Pontos vagy รฉs lรฉnyegre tรถrล.
Ha valamit nem tudsz, azt megmondod ahelyett, hogy kitalรกlnรกd.
Ajรกnlott paramรฉterek: temperature = 0.7, top_p = 0.92. Gondolkodรณ mรณdban adj legalรกbb 2000 token keretet.
Vรกltozatok รฉs hardverigรฉny
Minden formรกtum elkรฉszรผlt, hogy a lehetล legtรถbb gรฉpen elfusson.
| Formรกtum | Repรณ | Mรฉret | VRAM | Mire jรณ |
|---|---|---|---|---|
| bf16 | Taltos-27B | 56 GB | ~58 GB | Szerver, tovรกbbtanรญtรกs, maximรกlis minลsรฉg |
| FP8 | Taltos-27B-FP8 | 30 GB | ~32 GB | vLLM egyetlen 40 GB-os kรกrtyรกn |
| GGUF | Taltos-27B-GGUF | 10 GB-tรณl | 12 GB-tรณl | Otthoni gรฉp, Ollama, LM Studio, CPU |
GGUF vรกltozatok
| Kvantรกlรกs | Mรฉret | VRAM | Minลsรฉg | Kinek |
|---|---|---|---|---|
Q8_0 |
29 GB | 31 GB | ๐ข๐ข๐ข๐ข๐ข | Gyakorlatilag az eredeti |
Q6_K |
23 GB | 25 GB | ๐ข๐ข๐ข๐ข๐ข | A kรผlรถnbsรฉg alig mรฉrhetล |
Q5_K_M |
20 GB | 22 GB | ๐ข๐ข๐ข๐ข | 24 GB-os kรกrtyรกn elfรฉr |
Q4_K_M |
17 GB | 19 GB | ๐ข๐ข๐ข๐ข | A legjobb arรกny, ezt ajรกnljuk |
Q3_K_M |
13 GB | 15 GB | ๐ก๐ก๐ก | Hosszรบ levezetรฉseknรฉl mรกr hibรกzik |
Q2_K |
10 GB | 12 GB | ๐ ๐ | Csak ha a hardver mรกst nem enged |
Hol romlik a minลsรฉg.
Q4_K_Mfรถlรถtt a kรผlรถnbsรฉg a legtรถbb feladatban รฉszrevehetetlen.Q3_K_M-nรฉl megjelennek az elsล hibรกk a hosszabb matematikai levezetรฉsekben รฉs a ritkรกbb szakszavaknรกl, beszรฉlgetรฉsre รฉs fogalmazรกsra viszont mรฉg jรณ.Q2_K-nรกl a romlรกs egyรฉrtelmลฑ: a magyar nyelvhelyessรฉg nagyrรฉszt megmarad, de a tรฉnyszerลฑ pontossรกg รฉs a tรถbblรฉpรฉses gondolkodรกs gyengรผl.
Mind a hat vรกltozat elรฉrhetล รฉs letรถlthetล.
Indรญtรกs egy paranccsal (Ollama)
ollama run hf.co/Flashtond22/Taltos-27B-GGUF:Q4_K_M
Korlรกtok
A Tรกltos-27B a magyar nyelvi teljesรญtmรฉnyre lett hangolva. A vilรกgtudรกs, a matematikai รฉs programozรกsi kรฉpessรฉg az alapmodelltลl szรกrmazik, ezeken a hangolรกs nem vรกltoztatott.
Nincs internet-hozzรกfรฉrรฉse, ezรฉrt a friss esemรฉnyekrลl nem tud. Konkrรฉt szรกmoknรกl, dรกtumoknรกl รฉs ritka neveknรฉl tรฉvedhet, ilyenkor รฉrdemes ellenลrizni a vรกlaszt. Orvosi, jogi vagy pรฉnzรผgyi dรถntรฉs egyedรผli alapjakรฉnt ne hasznรกld.
Licenc รฉs eredet
A Tรกltos-27B a Qwen/Qwen3.8-27B modellbลl szรกrmazik, amelyet az Alibaba Tongyi Lab adott ki Apache 2.0 licenc alatt. A Tรกltos-27B szintรฉn Apache 2.0 licencลฑ: szabadon hasznรกlhatรณ, mรณdosรญthatรณ รฉs รผzleti cรฉlra is alkalmazhatรณ.
โฆ TรLTOS-27B โฆ
Magyar fejlesztรฉs
๐ฌ๐ง English
Tรกltos-27B is a 27.8B-parameter Hungarian-specialised language model built on Qwen/Qwen3.8-27B (Apache 2.0). It keeps the base model's knowledge, reasoning, vision capability and 262K context window, and adds native-quality Hungarian phrasing plus Hungarian-language chain-of-thought.
Training approach. Instruction data was produced with a three-stage in-house pipeline that separates content quality from Hungarian phrasing, exploiting the fact that language models are considerably stronger at rewriting than at open-ended Hungarian generation. A targeted fine-tune across the full network followed, then merged back into the base weights. Everything ran on a single NVIDIA L40S.
Results. In head-to-head comparison on 55 Hungarian tasks judged by an independent model family (Gemma-4-31B, randomised answer order), Tรกltos-27B was preferred in 55.5 % of cases. The largest gains appear on secondary-school exam problems, argumentation, and correcting false premises. Hungarian grammatical accuracy improved noticeably.
Limitations. World knowledge, maths and coding come from the base model and are unchanged. No internet access, so recent events are unknown. Verify specific figures, dates and rare names. Not for sole reliance in medical, legal or financial decisions.
Apache 2.0, same as the base model.
- Downloads last month
- 108