Instructions to use zai-org/glm-4-9b-chat with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use zai-org/glm-4-9b-chat with Transformers:
# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("zai-org/glm-4-9b-chat", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
希望提供gguf版本
#17
by windkkk - opened
希望提供gguf版本
我们会考虑加入适配计划
希望加入GGUF呀,望眼欲穿
强烈建议增加gguf
确实 GGUF 方便多了啊, 不能量化9B的那怕是测试也够呛
开发gguf版本啊,适应主流啊,想要做大做强还是要对接国外主流啊
在适配ollama了,在计划内
GGUF,有完整的MODELFILE吗
伸手党乞讨来啦(这回是能力真有限
目前9B版本 无量化需要多少GPU内存啊?
9b int4 12gb的肯定够了,7B INT4 6G都够。
以上评论区提供的gguf链接所下载的模型,都无法在主流的llama cpp的衍生品正常使用,包括ollama,狗头等都无法使用,需要自己去重新开发llmacpp来适配,这确实增加了部署和测试门槛
我们已经支持了ollama和llamacpp,或许可以直接从ollama拉取模型
ZHANGYUXUAN-zR changed discussion status to closed