dellweb3's picture
Publish shared LLM Runtime and required real-document startup cards
4ca1c4c verified
|
Raw History Blame Contribute Delete
2.64 kB

LLM Runtime

业务调用链:页面/API → AgentRuntime(输入契约、文件权限、工作流)→ LLMRuntime(规模评估、分片/汇总、阶段检查点)→ LLMGateway(凭据、模型路由、并发、上游请求与用量)→ 模型。

所有业务调用使用 Providers.execution.generate;工作流与技能程序员注入同一个执行对象。管理员连接探针直接使用 Gateway。公文模板从 Gateway 迁到 Runtime 的 draft。

plan(messages, task_kind) 及鉴权接口 POST /api/v1/workspaces/{id}/llm-plan 不调用模型,返回字符规模、粗略 token 估计、分片数、最少调用数和策略。估计不是供应商 tokenizer 或费用报价。应用预算在 policy.json 中版本化,不代表模型上下文规格。

默认单次预算24000字符、资料分片8000字符、任务上限180000字符,最多24个模型阶段、3层合并。固定系统规则不裁剪。短输入保持一次调用;长文按段落边界穷尽切分,记录起止位置与SHA-256,提取事实/数值/责任人/时间/短证据,再逐级合并,最后按原任务格式生成。会议原文由 AgentRuntime.materials 按附件权限直接读取,与知识库参考和历史分开;两个会议入口共用此契约。

代码生成等原子任务超预算时返回功能拆分计划,不用通用摘要替代代码或严格分类输入。超总规模或固定提示预算时明确阻止,不静默截断。分片笔记不能保证语义零损失;会议节点继续验证行动项证据与原始文件,并保留人工核对。

llmr_stage 保存计划指纹和阶段结果,按租户、用户、事项、幂等键隔离。同键不同内容拒绝。已完成阶段可复用;已知限流等失败可从检查点恢复;上游结果未知或进程中断时不自动重复调用,避免重复计费。execution 返回计划、覆盖范围、阶段与汇总用量。消息流区分 Runtime 与 Gateway。

生产数据库先执行 Alembic upgrade head(0012),再以 WORKOS_WORKSPACE_AUTO_SCHEMA=0 启动。开发演示沿用自动建表;Space检查点随访客数据库隔离。

测试:python base1/docs/test-llm-runtime.py、test-meeting-material.py、test-meeting-material-ui.py。报告在 base1/docs/meeting-artifacts/,真实模型回归独立记录,替身测试不作为模型质量证明。

意图识别使用 classification 策略:完整保留最新请求,只按预算逐条舍弃最旧的辅助历史,记录 omitted_history_messages;不会把分类任务变成长文摘要。普通问答的长资料仍走分片汇总。