openthaigpt/OpenThai2.0-ASR-Streaming_GGUF

OpenThai2.0-ASR-Streaming GGUF

GGUF builds of iapp/OpenThai2.0-ASR-Streaming, a streaming Thai speech-to-text model from iApp Technology. It is a Thai fine-tune of NVIDIA Nemotron 3.5 ASR Streaming 0.6B. These files run on transcribe.cpp, so they work in local dictation apps built on it, such as Handy and Hex.

How to connect in speech-to-text application

A speech model on its own is just a file. To type by talking in everyday apps, you need a dictation app that records your voice, runs the model, and pastes the text where your cursor is. Handy and Hex are two such apps. With this model loaded, either one turns Thai speech into Thai text in any app: LINE, email, Word, Google Docs, a chat with an AI assistant, or a note.

How it works in both apps:

1. Hold a keyboard shortcut.
2. Speak Thai.
3. Let go. The text is typed into the app you were using.

Why use them:

• Private. Your voice is processed on your own computer. No audio is sent to the cloud, and after setup it works without the internet.
• Free and open source. Both apps are MIT-licensed.
• Often quicker than typing Thai for long messages, notes, and drafts, and helpful for anyone who finds typing hard.
• Works in every app, because the text is pasted wherever the cursor is.

	Handy	Hex
Systems	macOS, Windows, Linux	macOS (Apple silicon), Windows, Linux
Adding this model	Put the file in its models folder or the Hugging Face cache, then Rescan	Add model file…, or pick it under Found on this computer
Extras	Optional AI clean-up of the text after transcription	Command line: hex transcribe meeting.m4a turns a recording into text
Good choice if…	You want the simplest press-speak-paste tool	You also want to transcribe recordings or control it from the terminal

You only need one of them. If unsure, start with Handy.

Files

File	Precision	Size	Use
openthai2.0-asr-streaming-F32.gguf	32-bit float, same weights as the .nemo	2.56 GB	Best fidelity to the original
openthai2.0-asr-streaming-Q8_0.gguf	8-bit (Q8_0)	754 MB	Smaller and faster; recommended for most computers

How these were made

1. Source: openthai2.0-asr-streaming_bias-1.0.nemo from the original repo. Its blank-token bias of −1.0 is stored in the weights. The original card's accuracy figures use that setting, and transcribe.cpp adds no blank bias of its own, so this is the right file for these apps.
2. Converted with transcribe.cpp's scripts/convert-parakeet.py (commit 275cd50), with an added openthai2.0-asr-streaming profile (vocabulary 14,988) and a fix so an empty decoding.durations: [] list is treated as plain RNN-T.
3. Q8_0 made with transcribe-quantize --quant Q8_0 (275 tensors quantized, 378 copied unchanged).

Language codes

• th and th-TH both select the th-TH prompt (all text in Thai script).
• No language, or auto, also selects th-TH.
• The original model's th-mix prompt (English words in Latin letters) is not exposed in these files.

Download the model

Pick one file: Q8_0 (754 MB) for most computers, F32 (2.56 GB) for maximum fidelity.

Option A: Hugging Face CLI (recommended). Both Handy and Hex find GGUF files in the shared Hugging Face cache by themselves, so this is all the setup they need:

# install the CLI: https://huggingface.co/docs/huggingface_hub/guides/cli
curl -LsSf https://hf.co/cli/install.sh | bash -s

hf download openthaigpt/OpenThai2.0-ASR-Streaming_GGUF openthai2.0-asr-streaming-Q8_0.gguf

Option B: browser. Open the Files and versions tab, click the .gguf file, then Download.

Install in Handy

Handy is a free, open-source, offline speech-to-text app for macOS, Windows, and Linux.

1. Install Handy from handy.computer or the releases page.
   • macOS: brew install --cask handy
   • Windows: winget install cjpais.Handy
   • Debian/Ubuntu: sudo apt install ./Handy_*.deb
2. Add the model:
   • Downloaded with hf download (Option A): nothing to copy.
   • Downloaded in the browser (Option B): move the .gguf file directly into Handy's models folder. Handy does not look inside subfolders.
     • macOS: ~/Library/Application Support/com.pais.handy/models/
     • Linux: ~/.local/share/com.pais.handy/models/
     • Windows: %APPDATA%\com.pais.handy\models\
     • To find the folder, open About → App Data Directory in Handy, then open models inside it.
3. Open Models in Handy and click Rescan (or restart Handy).
4. Choose the OpenThai2.0 ASR Streaming model (Q8_0 or F32) from the list.
5. In Settings → General → Language, pick Thai.
6. Hold your shortcut, speak Thai, and release.

Install in Hex

Hex is an offline push-to-talk dictation app for macOS (Apple silicon), Windows, and Linux.

1. Install Hex from the downloads table in its README.
   • macOS: brew install --cask anomalyco/tap/hex
   • Linux: curl -fsSL https://anoma.ly/hex/install-linux.sh | sh
   • Windows: run the x64 or ARM64 installer from the downloads table.
2. Add the model, in either of two ways:
   • Downloaded with hf download (Option A): open Hex's model picker. The file appears under Found on this computer. Click Use.
   • Any .gguf file on disk: in the model picker, click Add model file… and choose the file. Hex checks the file's header, then copies it into its own models folder.
   • From the terminal: hex model import openthai2.0-asr-streaming-Q8_0.gguf --name "OpenThai2.0 ASR"
3. In Hex's General → Language menu, pick Thai.
4. Dictate a Thai sentence to test it.

Hex marks imported models as Not tested by Hex. It runs them offline only, with no live streaming preview.

Use from the command line (transcribe.cpp)

transcribe-cli -m openthai2.0-asr-streaming-Q8_0.gguf --language th audio.wav

วิธีติดตั้งและใช้งานผ่าน opensource (speech-to-text) application (ภาษาไทย)

Handy กับ Hex คืออะไร และติดตั้งไปทำไม

ไฟล์โมเดลอย่างเดียวยังใช้พิมพ์ด้วยเสียงไม่ได้ ต้องต่อไปยัง api หรือ แอปที่ส่งให้โมเดลแปลงเป็นข้อความ (speech-to-text) แล้ววางข้อความตรงตำแหน่งเคอร์เซอร์ให้ Handy และ Hex เวลาใช้สามารถพูดภาษาไทยและได้ข้อความภาษาไทยในทุกแอป เช่น LINE, อีเมล, Word, Google Docs, แชทกับ AI หรือโน้ต

ใช้งานแบบเดียวกันทั้งสองแอป:

1. กดปุ่มลัดค้างไว้
2. พูดภาษาไทย
3. ปล่อยปุ่ม ข้อความจะถูกพิมพ์ลงในแอปที่เปิดอยู่

ทำไมถึงควรใช้:

• เป็นส่วนตัว เสียงถูกประมวลผลในเครื่องของคุณเอง ไม่ส่งขึ้นคลาวด์ และหลังติดตั้งแล้วใช้ได้โดยไม่ต้องต่ออินเทอร์เน็ต
• ฟรีและโอเพนซอร์ส ทั้งสองแอปใช้สัญญาอนุญาต MIT
• มักเร็วกว่าพิมพ์ภาษาไทย สำหรับข้อความยาว โน้ต และร่างเอกสาร และช่วยผู้ที่พิมพ์ลำบาก
• ใช้ได้กับทุกแอป เพราะข้อความจะถูกวางตรงเคอร์เซอร์

	Handy	Hex
ระบบที่รองรับ	macOS, Windows, Linux	macOS (Apple silicon), Windows, Linux
วิธีใส่โมเดลนี้	วางไฟล์ในโฟลเดอร์ models หรือ cache ของ Hugging Face แล้วกด Rescan	กด Add model file… หรือเลือกจาก Found on this computer
ความสามารถเสริม	เปิดให้ AI ช่วยเกลาข้อความหลังถอดเสียงได้	ใช้ผ่าน terminal ได้ เช่น hex transcribe meeting.m4a เพื่อถอดเสียงไฟล์อัด
เหมาะกับ	คนที่อยากได้เครื่องมือ กด-พูด-วาง ที่ง่ายที่สุด	คนที่อยากถอดเสียงจากไฟล์อัด หรือสั่งงานผ่าน terminal ด้วย

ติดตั้ง แอปเดียว ก็พอ ถ้าไม่แน่ใจ แนะนำให้เริ่มจาก Handy

1. ดาวน์โหลดโมเดล

เลือกไฟล์เดียว: Q8_0 (754 MB) เหมาะกับคอมพิวเตอร์ส่วนใหญ่ หรือ F32 (2.56 GB) ถ้าต้องการความแม่นยำใกล้ต้นฉบับที่สุด

วิธี A (แนะนำ): ใช้ Hugging Face CLI ทั้ง Handy และ Hex หาไฟล์ GGUF ใน cache ของ Hugging Face ได้เอง

curl -LsSf https://hf.co/cli/install.sh | bash -s
hf download openthaigpt/OpenThai2.0-ASR-Streaming_GGUF openthai2.0-asr-streaming-Q8_0.gguf

วิธี B: ดาวน์โหลดผ่านเบราว์เซอร์ เปิดแท็บ Files and versions คลิกไฟล์ .gguf แล้วกด Download

2. ติดตั้งใน Handy

1. ติดตั้ง Handy จาก handy.computer
   • macOS: brew install --cask handy
   • Windows: winget install cjpais.Handy
   • Debian/Ubuntu: sudo apt install ./Handy_*.deb
2. ใส่โมเดล
   • ถ้าใช้วิธี A: ไม่ต้องคัดลอกอะไร
   • ถ้าใช้วิธี B: ย้ายไฟล์ .gguf ไปไว้ในโฟลเดอร์ models โดยตรง (Handy ไม่ค้นหาในโฟลเดอร์ย่อย)
     • macOS: ~/Library/Application Support/com.pais.handy/models/
     • Linux: ~/.local/share/com.pais.handy/models/
     • Windows: %APPDATA%\com.pais.handy\models\
     • หาโฟลเดอร์ได้จาก About → App Data Directory แล้วเปิดโฟลเดอร์ models
3. เปิดหน้า Models แล้วกด Rescan (หรือปิดแล้วเปิด Handy ใหม่)
4. เลือกโมเดล OpenThai2.0 ASR Streaming (Q8_0 หรือ F32)
5. ไปที่ Settings → General → Language แล้วเลือก Thai
6. กดปุ่มลัดค้างไว้ พูดภาษาไทย แล้วปล่อย

3. ติดตั้งใน Hex

1. ติดตั้ง Hex จาก ตารางดาวน์โหลดใน README ของ Hex
   • macOS (Apple silicon): brew install --cask anomalyco/tap/hex
   • Linux: curl -fsSL https://anoma.ly/hex/install-linux.sh | sh
   • Windows: ใช้ตัวติดตั้ง x64 หรือ ARM64 จากตารางดาวน์โหลด
2. ใส่โมเดล (เลือกวิธีใดวิธีหนึ่ง)
   • ถ้าใช้วิธี A: เปิดหน้าเลือกโมเดลของ Hex จะเห็นไฟล์ในหัวข้อ Found on this computer แล้วกด Use
   • ไฟล์ .gguf ใดก็ได้ในเครื่อง: ในหน้าเลือกโมเดล กด Add model file… แล้วเลือกไฟล์
   • ผ่าน terminal: hex model import openthai2.0-asr-streaming-Q8_0.gguf --name "OpenThai2.0 ASR"
3. ไปที่เมนู General → Language แล้วเลือก Thai
4. ลองพูดประโยคภาษาไทยเพื่อทดสอบ

Hex จะแสดงโมเดลที่นำเข้าเองว่า Not tested by Hex และใช้แบบออฟไลน์เท่านั้น (ไม่มีข้อความแสดงสดระหว่างพูด)

Checks run

Both files were tested on a single 5.8-second synthetic Thai sentence (macOS voice "Kanya", 16 kHz mono) on an Apple M4 Pro with Metal. Both gave the exact input text, สวัสดีครับวันนี้อากาศดีมากผมอยากไปเที่ยวทะเลกับครอบครัว, with th, th-TH, and no language set, at about 65–89× real time. Streaming with --stream-chunk-ms 1120 and --stream-att-right 13 or 6 gave the same text. This is a smoke test only. For accuracy on real speech, see the original model card's benchmarks, which were measured on the .nemo weights.

File	sha256
openthai2.0-asr-streaming-F32.gguf	6a21c86262aceb9a1713c118fcd9e74677ad29a395bbc6838636f51b02eecad9
openthai2.0-asr-streaming-Q8_0.gguf	7a09eb2cf80a056f5dfdbff0f0b61453858707c2e59037e5009907740ab50260

License and credit

The model is released under the OpenMDW License Agreement, version 1.1, included here as LICENSE. The model was created by iApp Technology and is built on NVIDIA Nemotron 3.5 ASR Streaming 0.6B. NVIDIA's original model card and sub-cards are kept unchanged in nvidia/. This repository only changes the file format.