BobIDE_AI_2B_MLC

本模型為專為 Bob IDE 瀏覽器端 WebGPU 推論(WebLLM)打造的輕量化繁體中文 STEM 與講義摘要模型(q4f16_1 MLC 量化格式)。

模型來源與授權聲明 (Attribution & License)

  • **基礎模型 (Base Model)**:Qwen/Qwen3.5-2B(Apache License 2.0,Alibaba Qwen 團隊)
  • **蒸餾教師模型 (Teacher Model for SFT Data)**:Qwen/Qwen3.8-27B(Apache License 2.0;使用 unsloth/Qwen3.8-27B-GGUF UD-Q4_K_M 生成並清洗為 2,185 筆繁體中文 STEM/講義摘要高純度訓練語料)
  • **衍生處理 (Derivative Work)**:基於 Qwen/Qwen3.5-2B 以上述開源蒸餾語料進行 QLoRA SFT 微調(<think> / <answer> 結構與 OFF / LOW / MEDIUM 分級控制及 PDF 講義重點摘要),合併權重後以 MLC LLM 匯出為 q4f16_1 WebGPU 格式。
  • 授權條款:承襲原基礎模型採 Apache License 2.0 釋出(完整條款見同目錄 LICENSE 檔案)。

模型規格與執行建議

  • 架構 / 量化:qwen3_5 / q4f16_1(權重總計 ~1.03 GB,含本機實測精簡編譯之 Qwen3.5-2B-q4f16_1_cs128_b1-webgpu.wasm,即 prefill_chunk_size=128, max_batch_size=1)
  • 建議視窗與分塊:context_window_size: 1024、prefill_chunk_size: 128
  • 推薦快取後端:cacheBackend: "opfs"(或 "indexeddb"),不建議使用預設 CacheStorage 以避免瀏覽器記憶體異常飆高。
Downloads last month
35
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Bobkao/BobIDE_AI_2B_MLC

Finetuned
Qwen/Qwen3.5-2B
Finetuned
(710)
this model