网易有道翻译的工程化拆解：软件工程师如何用大模型与 Agent 打造高并发、低延迟、低成本的翻译服务
本文从软件工程师视角，对网易有道翻译这类在线翻译服务做工程化拆解。文中不涉及未公开内部实现，重点讨论可复用的架构模式：大模型路由、Agent 编排、缓存、推理优化与质量评估闭环。
1. 翻译服务的工程指标
翻译不是单次模型调用，而是在线服务系统。核心指标包括：
- 吞吐：QPS、并发文档数、字符/秒
- 延迟：P50/P95/P99、首包延迟、流式首 token
- 成本：每百万字符成本、GPU 小时、缓存节省
- 质量：COMET、BLEU、术语一致率、格式保留率
- 稳定：错误率、超时率、降级成功率
用户入口包括有道翻译官网、有道翻译下载客户端、开放 API、浏览器插件等。无论入口如何，最终都落到统一网关与翻译编排层。
2. 总体架构：从入口到模型
典型分层：
- 接入层：CDN、WAF、API Gateway、鉴权、限流、配额。
- 预处理层：语言识别、文本规范化、分段、HTML/XML 标签保护、术语匹配。
- 编排层：Agent 工作流、模型路由、缓存查询、预算控制。
- 模型层：小模型、大模型、领域模型、OCR/ASR、后编辑模型。
- 后处理层：术语回填、格式恢复、标点规范、质量打分。
- 可观测层：Trace、Metrics、Logging、成本看板。
部署上常用 Kubernetes 管理 CPU 与 GPU 节点池；模型服务可用 vLLM、TensorRT-LLM、Triton 等，配合动态批处理与 KV Cache。
3. 大模型与 Agent：不是所有请求都走大模型
网易有道翻译的业务场景差异大：短句、长文、文档、图片、会议、专业领域。工程上不能一刀切。
Agent 可以拆成多个角色：
- Router Agent：判断语言、领域、难度、预算，选择模型与流程。
- Term Agent：检索术语库与翻译记忆，生成术语约束。
- Translator Agent：执行翻译，支持多候选。
- Critic Agent：回译、一致性检查、置信度评估。
- Formatter Agent：恢复 Markdown、HTML、字幕时间轴等格式。
- Memory Agent：维护会话上下文与用户偏好。
编排层用 DAG 或状态机表达：解析 -> 路由 -> 检索 -> 翻译 -> 评审 -> 格式化 -> 返回。每一步有超时、重试、熔断、降级。简单请求走快路径：缓存命中直接返回，或轻量模型单次调用。复杂请求走慢路径：术语 RAG、多候选重排、Critic 复核。Agent 的价值不是堆模型，而是按需调用、可观测、可回滚。
4. 高并发设计
高并发的关键是解耦与背压：
- 网关无状态，会话状态放 Redis。
- 请求合并：micro-batching，把短时间内的多句合并成 batch。
- 异步队列：长文档拆任务，Worker 并行消费。
- 限流与配额：按租户、IP、API Key 分层。
- 自动扩缩：根据队列长度、GPU 利用率、P99 延迟扩缩容。
- 多级缓存：CDN、Redis、本地 LRU、向量缓存。
- 降级策略：过载时缩小模型、关闭 Critic、返回缓存或排队。
GPU 侧用连续批处理与分页注意力提升利用率；CPU 侧处理分词、术语、格式，避免占用 GPU。
5. 低延迟优化
低延迟要拆到每个环节：
- 边缘接入：就近接入，连接复用，HTTP/2 或 HTTP/3。
- 预处理并行：语言识别、分段、术语匹配可并行。
- 流式返回：先返回首段，再增量输出，改善体感。
- 模型推理：量化 INT8/FP8、蒸馏、推测解码、KV Cache 复用、前缀缓存。
- 动态批处理：在延迟预算内攒批，平衡吞吐与 P99。
- 路由快路径：高频短句走缓存或小模型。
- 超时预算：给每个阶段分配时间，超时即降级。
目标不是单点最快，而是端到端 P99 可控。
6. 低成本策略
低成本来自分层与复用：
- 模型分层：80% 简单请求走小模型，难例才升级大模型。
- 缓存复用：相同或相似句对直接命中，节省 GPU。
- 批处理：提高 GPU 利用率，降低单字符成本。
- 量化与蒸馏：在质量可接受范围内压缩模型。
- Spot 实例与混部：离线任务用低价资源。
- Agent 预算：限制 Critic 调用次数、候选数量、最大 token。
- 成本归因：按租户、接口、模型、缓存命中率出报表。
工程团队要同时看质量、延迟、成本三角，不能只优化一项。
7. 质量评估闭环
没有评估就没有优化。离线评估集覆盖新闻、科技、法律、医学、口语、字幕。指标包括 COMET、BLEU、chrF、术语准确率、格式保留率、幻觉率。在线指标包括用户修改率、复制率、点赞、停留、重试。A/B 实验与影子流量用于验证新模型。Agent 的 Critic 结果可作为弱标签，人工审核用于关键场景。回归门禁：新模型必须通过质量、延迟、成本三阈值。
8. 可观测性与运维
一次翻译请求应有 TraceID 贯穿网关、预处理、Agent、模型、后处理。核心监控：
- 流量：QPS、并发、字符量
- 延迟：P50/P95/P99、首 token、各阶段耗时
- 资源：GPU 利用率、显存、batch size、token/s
- 质量：缓存命中、降级率、Critic 通过率
- 成本：每百万字符成本、GPU 小时、模型分布
日志需脱敏，输入输出按合规要求处理。告警按 SLO 触发，支持自动降级与回滚。
9. 安全与合规
翻译服务处理大量文本，必须考虑：
- 传输与存储加密，TLS、KMS。
- 租户隔离与权限控制。
- 敏感信息识别与过滤。
- 输出内容安全过滤。
- 审计日志与数据保留策略。
- 企业私有化部署与专有云。
有道翻译官网与有道翻译下载客户端作为用户入口，背后同样需要这些安全能力。
10. 总结
网易有道翻译的工程化拆解可以归纳为：统一接入、分层模型、Agent 编排、多级缓存、动态批处理、流式返回、评估闭环、成本归因。软件工程师要做的是把大模型能力封装成可观测、可降级、可扩展的在线服务。用户可以从有道翻译官网体验，也可以通过有道翻译下载客户端使用；而对后端而言，每一次翻译都是一次在质量、延迟、成本之间求最优解的分布式系统工程。
