MoYi 边缘端翻译系统

面向多语言运营场景的端侧 AI 翻译 runtime，重点解决上下文、行业术语和安全信息，而不只是逐句翻译。

MoYi（个性化边缘 AI 翻译伴侣）被定位为面向工厂、物流和多语言运营团队的 AI 翻译基础设施：优先端侧运行、保护内部数据、控制企业术语，并在不完全依赖云端翻译的情况下保留高优先级安全信息。

链接

由于竞赛和商业方面的原因，最新源代码尚未更新。

概览

项目构建了一个跨平台 translation runtime，包括 C++20 core、Python SDK 和 mobile bridge。它不是简单封装某个翻译 API，而是将上下文 workflow、glossary、safety policy 和 flashcard extraction 与 inference backend 解耦，为接入 ONNX Runtime 和 llama.cpp 留出路径。

问题

在制造、物流和现场服务场景中，多语言沟通并不只是句子翻译。语义可能依赖说话者角色、当前流程、内部术语、设备名称、安全警告和历史对话。一个术语翻错，或安全提醒的紧急程度被削弱，都可能拖慢运营、降低培训质量，甚至带来安全风险。

角色

Founder / Product Builder

方法

系统采用 backend-agnostic runtime 设计：C++20 core 负责 request normalization、context policy、glossary constraints、safety phrase detection 和 translation orchestration；平台绑定将同一套 runtime 暴露给 Python tooling、desktop workflow 和 mobile app。adapter 架构聚焦 ONNX Runtime 与 llama.cpp，用于 realtime processing、本地运行和内部 benchmark。

结果

Edge Runtime

translation pipeline for desktop and mobile

Qualcomm

moving toward final/pitching rounds such as Qualcomm, AI Global, Solution

Pitch Stage

moving through startup and competition tracks

形成了面向企业的真实 product wedge：本地翻译、内部数据控制、组织专属术语库和多语言员工培训。
项目正在接近 Qualcomm、AI Global、Solution 等竞赛和 startup program 的 final/pitching 阶段。
已用于国际 remote 团队内部会议的 realtime 处理，并正在推进实地测试、pitching 与 funding 对话。

Edge deployment matrix

设备组	适合测试的 runtime	评估内容
Desktop x86	ONNX Runtime, llama.cpp	Latency, SIMD, memory
Android ARM	ONNX Runtime Mobile, TFLite, ExecuTorch	NNAPI, binary size, battery
Raspberry Pi	TFLite, ONNX Runtime, llama.cpp	ARM NEON, thermal, RAM
Embedded Linux	ONNX Runtime, ExecuTorch	Cross-compilation, memory
Qualcomm devices	QNN/NNAPI-backed runtime	NPU delegation
Intel Edge	OpenVINO 或 ONNX Runtime	INT8, CPU/NPU acceleration

ExecuTorch 使用 export、compile/quantize/partition 流程，并通过设备端 lightweight C++ runtime 运行模型；ONNX Runtime Mobile 也支持为 mobile deployment 缩减 model 和 runtime size。