Ling-3.0-tiny-RKNN / tests /quality /deployment.txt
Sariel00's picture
Publish Ling-3.0-tiny RKNN engine and model
3fd1a35 verified
Raw History Blame Contribute Delete
2.29 kB
本地设备部署与维护说明
设备首次安装时,应当先检查电源、网络和存储空间。管理人员需要确认系统时间正确,并为设备设置固定的内部地址。完成配置后,可以使用浏览器访问管理页面,检查模型服务、文档检索服务和音频服务是否启动成功。如果某个服务无法连接,应先查看该服务的状态和日志,不要直接重装整个系统。
模型文件加载完成后,可以保留在内存中供多个请求复用。没有用户访问时,系统可以根据内存压力和空闲时间决定是否释放模型。释放之前必须确认当前没有正在执行的任务,也没有尚未发送完毕的音频。下一次请求到来时,应当重新初始化必要的运行资源,并在界面上显示准备状态。
维护人员需要区分三类问题。第一类是网络连接中断,通常表现为页面无法打开或者连接超时。第二类是服务进程异常退出,通常能在日志中找到退出原因。第三类是模型推理失败,例如输入长度超过支持范围、文件损坏或者设备内存不足。这些问题需要分别处理,不能用同一种重启策略覆盖所有情况。
升级软件时,应保留旧版程序和配置文件,并记录新旧版本的文件校验值。先在测试目录中运行新版本,确认基本功能正常,再切换正式服务。如果新版本出现问题,应当能够恢复到旧版本。恢复操作不能删除用户已经上传的文档、注册的音色或者已有的对话记录。
性能测试应使用固定的输入和输出长度,同时记录处理器频率、内存占用和温度。测试前需要确认没有其他大型任务同时运行。对于需要持续服务的设备,还应安排混合负载测试,例如在生成回答时同时进行语音识别和文档检索,以判断这些功能之间是否会相互影响。
数据备份应当定期执行,并验证备份文件是否能够恢复。只保存文件而不检查恢复过程,并不能保证数据安全。管理员可以先恢复一份小规模样本,确认文档数量、用户权限和索引状态一致,再决定是否进行完整恢复。涉及真实用户数据的操作必须遵循公司的管理制度。