Tôi xây dựng hệ thống edge AI translation cho vận hành đa ngôn ngữ như thế nào

Phần lớn sản phẩm dịch thuật được thiết kế cho một nhu cầu đơn giản: nhập một câu và nhận lại một câu đã dịch.

MoYi bắt đầu từ một bài toán khác. Trong nhà máy, logistics hoặc đội vận hành từ xa, dịch thuật là một phần của workflow. Một câu có thể chứa tên máy, cảnh báo an toàn, thuật ngữ nội bộ hoặc cách nói tắt chỉ có ý nghĩa trong công ty. Nếu bản dịch làm mất những chi tiết đó, vấn đề không chỉ là câu văn thiếu tự nhiên. Đội vận hành có thể mất thời gian, giảm chất lượng đào tạo hoặc gặp rủi ro an toàn.

Vì vậy tôi thiết kế MoYi như một edge AI translation system, không chỉ là giao diện chat bọc quanh API dịch.

Bài toán sản phẩm

Yêu cầu thực tế khá rõ: hệ thống dịch cần chạy gần người dùng, giữ được ngữ cảnh vận hành nhạy cảm và giảm phụ thuộc vào cloud.

Hệ thống cần hỗ trợ:

• kiểm soát glossary cho tên sản phẩm, tên máy và thuật ngữ nội bộ;
• xử lý riêng các cảnh báo, chỉ dẫn và thông điệp ưu tiên cao;
• khả năng chạy local hoặc edge khi phù hợp;
• runtime không phụ thuộc một backend duy nhất;
• đường tích hợp cho desktop, Python tooling và mobile.

Kiến trúc vì thế quan trọng hơn việc chọn model ban đầu.

Kiến trúc

Ý tưởng chính là tách workflow khỏi inference backend.

Tin nhắn đầu vào
    -> chuẩn hóa ngôn ngữ và ngữ cảnh
    -> tra glossary
    -> phát hiện cụm từ an toàn
    -> lập kế hoạch dịch
    -> adapter model/backend
    -> kiểm tra và sửa lỗi
    -> kết quả cuối

Runtime có thể hướng tới ONNX Runtime, llama.cpp, mobile runtime hoặc tăng tốc phần cứng sau này. Sản phẩm không bị khóa vào một nhà cung cấp. Giá trị nằm ở pipeline ổn định.

Pipeline này cũng giúp kiểm thử rõ hơn. Tôi có thể đo latency, độ đúng của glossary, recall của safety phrase và bộ nhớ sử dụng thay vì chỉ nhìn xem một câu trả lời có “nghe hay” không.

Vì sao edge-first quan trọng

Với app tiêu dùng thông thường, gửi văn bản lên cloud có thể chấp nhận được. Nhưng với vận hành nội bộ, điều đó không phải lúc nào cũng phù hợp.

Một lớp dịch local-first giúp tổ chức kiểm soát tốt hơn:

• nội dung vận hành riêng tư;
• thuật ngữ không nên rò rỉ ra ngoài;
• độ trễ trong họp hoặc công việc hiện trường;
• môi trường mạng yếu hoặc offline;
• lựa chọn model/runtime theo từng thiết bị.

Điều này đặc biệt hữu ích khi triển khai trên desktop, Android, embedded Linux hoặc phần cứng edge của Qualcomm/Intel.

Điều tôi rút ra

Chất lượng dịch không chỉ là bài toán model. Nó là bài toán hệ thống.

Nếu thiếu glossary, câu dịch có thể trôi chảy nhưng sai. Nếu không nhận diện cảnh báo an toàn, hệ thống có thể làm nhẹ đi mức độ khẩn cấp. Nếu latency cao, đội vận hành sẽ ngừng dùng. Nếu runtime bị khóa vào một provider, sản phẩm trở nên mong manh.

MoYi vẫn đang phát triển, nhưng hướng đi đã rõ: xây dựng một runtime dịch thực dụng cho vận hành đa ngôn ngữ, nơi workflow sản phẩm và ràng buộc an toàn được xem là phần cốt lõi của hệ thống.

Dự án liên quan: MoYi Edge Translation.