拆解网易有道翻译：大模型时代亿级流量翻译系统的工程架构、推理优化与端云协同实战
本文从公开资料和通用工程实践出发，讨论网易有道翻译在亿级流量下的系统设计。文中不涉及未公开数据，重点放在可复用的架构模式与优化手段。
1. 业务背景与挑战
网易有道翻译覆盖文本、文档、图片、音视频、网页等翻译场景。用户既可以通过有道翻译官网直接使用在线能力，也可以通过有道翻译下载获取 App、PC 客户端或浏览器插件。亿级流量意味着三件事：峰值 QPS 高、长尾语种多、延迟与成本必须同时可控。
典型挑战：
- 流量潮汐明显：考试季、发布会、跨境会议会在分钟级拉高并发。
- 请求异构：短文本、长文档、OCR、语音、术语库，SLA 不同。
- 模型异构：轻量 NMT、大模型翻译、领域微调模型并存。
- 端云环境复杂：移动网络、弱网、离线、隐私合规。
- 成本压力：GPU 推理成本高，不能所有请求都走最大模型。
2. 总体工程架构
一套可支撑亿级流量的翻译系统通常分为五层：
- 接入层：DNS 智能调度、Anycast、CDN、四七层负载均衡。静态资源与有道翻译下载包走 CDN。
- 网关层：鉴权、限流、熔断、灰度、协议适配、API 版本管理。对外提供 HTTP、WebSocket、gRPC 等入口。
- 编排层：语种识别、分句、术语干预、上下文拼接、领域识别、质量估计、路由决策。
- 推理层：小模型服务、大模型服务、混合推理、GPU 池化、批处理调度。
- 数据层：翻译记忆库、术语库、日志、反馈、评测、A/B 实验、模型迭代。
核心原则是分级服务：高价值、高难度请求走大模型；低延迟、短文本走轻量模型；重复内容走缓存。这样既有道翻译官网入口能保持稳定体验，也能让有道翻译下载客户端获得离线与在线一致的体验。
3. 大模型时代的推理优化
大模型翻译带来质量提升，也带来显存、延迟、成本问题。工程上常用以下手段：
3.1 模型分级与路由
- 轻量模型：端侧或边缘节点，适合短句、常用语种、离线场景。
- 中等模型：云端 NMT 或蒸馏模型，适合大多数在线请求。
- 大模型：复杂长文本、低资源语种、术语密集场景。
- 路由器根据文本长度、语种对、领域、用户等级、SLA 选择模型。
3.2 量化与压缩
- INT8 量化：SmoothQuant、TensorRT 量化。
- INT4 量化：GPTQ、AWQ、GGUF 等，用于显存受限场景。
- 蒸馏：用大模型生成高质量语料，蒸馏到小模型。
- 剪枝：结构化剪枝降低参数量，配合恢复训练。
3.3 批处理与调度
- 动态批处理：把同一时间窗口请求合并。
- 连续批处理：新请求插入运行中批次，提高 GPU 利用率。
- 优先级队列：交互式请求优先，离线文档任务低优先级。
- GPU 池化：按模型、显存、算力切分，支持 MIG 与弹性伸缩。
3.4 KV Cache 与解码优化
- PagedAttention：分页管理 KV Cache，减少显存碎片。
- 前缀缓存：系统提示、术语表、固定上下文复用。
- 投机解码：小模型草稿 + 大模型验证，降低解码步数。
- 并行解码：Medusa、EAGLE 等思路提升吞吐。
- CUDA Graph、算子融合、FlashAttention 降低内核开销。
3.5 多级缓存
- 结果缓存：完全相同请求直接返回。
- 语义缓存：相似句向量召回，命中后复用译文。
- 翻译记忆库：用户术语与历史译文优先。
- 前缀缓存：多轮对话与上下文翻译共享 KV。
这些优化组合后，网易有道翻译可以在亿级流量下把 P99 延迟控制在可接受范围，同时降低单位翻译成本。
4. 端云协同实战
端云协同不是简单地把模型搬到端上，而是按场景动态分工。
端侧适合：
- 离线短句翻译、常用语种、隐私敏感文本。
- 输入法、浏览器插件、相机取词等低延迟场景。
- 弱网或无网环境。
云侧适合：
- 长文档、专业领域、低资源语种。
- 需要大模型理解、术语库、上下文一致性的任务。
- 需要持续更新知识与模型的场景。
协同流程：
- 端侧预处理：OCR、语音识别、分句、语言检测、敏感信息脱敏。
- 路由决策：根据网络、电量、时延、隐私、文本长度选择端侧或云侧。
- 云端推理：大模型翻译、术语干预、质量估计、回译校验。
- 端侧后处理：排版、标点、缓存、增量同步。
- 反馈闭环：用户修正、评分、点击行为回流，用于模型迭代。
有道翻译下载 客户端会从有道翻译官网 获取最新模型与规则包，实现端侧能力热更新。对于隐私要求高的用户，端侧完成翻译，原文不出设备；对于质量要求高的用户，云端大模型提供增强翻译。网易有道翻译 通过这种端云协同，兼顾体验、成本与合规。
5. 稳定性、可观测与安全
亿级流量系统必须默认故障会发生。
- 多活容灾：同城多活、异地灾备、数据同步。
- 限流降级：令牌桶、漏桶、并发控制、模型降级。
- 熔断隔离：按模型、租户、接口隔离，防止雪崩。
- 可观测性：Trace、Metrics、Logging，重点看 GPU 利用率、批大小、KV Cache 命中率、P99。
- 混沌工程：定期注入网络延迟、GPU 故障、缓存失效。
- 安全合规：传输加密、存储加密、敏感信息脱敏、审计日志。
6. 实战：亿级流量峰值怎么扛
假设某次跨境会议或考试季，翻译请求分钟级暴涨。可采取：
- 热点缓存预热：高频句子、术语、模板提前加载。
- 小模型兜底：非关键请求切到轻量模型，保住可用性。
- 大模型异步：长文档转异步任务，交互请求走快速通道。
- 队列削峰：Kafka 或 Pulsar 缓冲，后端按能力消费。
- 动态扩缩容：HPA 结合 GPU 指标，快速扩容推理实例。
- 灰度与回滚：新模型先小流量验证，异常自动回滚。
最终目标不是单点最快，而是整体 SLA 最优。有道翻译 在入口、客户端与云端之间做分层，才能让有道翻译官网、有道翻译下载 和多端体验保持一致。
7. 总结
网易有道翻译的工程体系可以概括为：分层架构承接流量，模型分级控制成本，推理优化提升吞吐，端云协同平衡体验与隐私，可观测与容灾保障稳定。大模型时代，翻译系统不再是单一 NMT 服务，而是路由、缓存、批处理、量化、端侧推理和云端大模型共同组成的系统工程。对于需要在线使用的用户，有道翻译官网是入口；对于需要离线与多端能力的用户，有道翻译下载是补充；而底层支撑这些体验的，正是持续演进的网易有道翻译工程架构。
