Index-Translate hỗ trợ 150 ngôn ngữ, nhưng bản 35B lớn nhất vẫn chưa phát hành tệp trọng số
IndexTeam công bố họ mô hình dịch đa ngôn ngữ với bản văn bản 2B, 9B và 35B-A3B. Bản lớn nhất có kết quả xem trước đáng chú ý, nhưng tệp trọng số vẫn chưa được phát hành nên chưa thể xem như một lựa chọn triển khai hoàn chỉnh.
Xong bài này bạn làm được Nếu đọc kết quả đánh giá xem trước như chất lượng đã được kiểm chứng trong sản xuất, người dùng có thể chọn mô hình trước khi tệp trọng số hoặc dữ liệu đánh giá phù hợp thực sự sẵn sàng.
Index LLM Team vừa công bố Index-Translate, một họ mô hình tập trung vào dịch đa ngôn ngữ. Thẻ mô hình chính thức của bản lớn nhất, Index-Translate-35B-A3B, mô tả mô hình có tổng 35 tỷ tham số với khoảng 3 tỷ tham số hoạt động cho mỗi lượt xử lý và hỗ trợ 150 ngôn ngữ. Ngoài dịch văn bản thông thường, nhóm còn nhấn mạnh khả năng làm theo yêu cầu về thuật ngữ, định dạng, phong cách, cấu trúc và độ dài đầu ra.
Các phiên bản hiện không ở cùng một mức sẵn sàng. Bộ sưu tập chính thức đã liệt kê các bản văn bản 2B và 9B cùng các nhánh cho dịch giọng nói, lồng tiếng và tài liệu dài. Riêng thẻ mô hình của 35B-A3B ghi rõ đây là bản xem trước: trang được công bố trước khi tệp trọng số của mô hình lớn nhất được tải lên. Vì vậy, các lệnh triển khai được mô tả cho thời điểm sau khi tệp trọng số được phát hành, chứ chưa chứng minh rằng người dùng có thể tải bản 35B về chạy ngay hôm nay.
Nhóm phát hành báo cáo 35B-A3B đạt điểm COMET-22 0,8794 trên FLORES. FLORES là một bộ dữ liệu dùng để đánh giá chất lượng dịch giữa nhiều ngôn ngữ; COMET-22 là thước đo tự động dùng mô hình để chấm mức độ phù hợp của bản dịch với câu nguồn và bản dịch tham chiếu. Theo báo cáo của IndexTeam, 35B-A3B đứng đầu trong nhóm hệ thống mà họ so sánh ở thước đo này. Đây là một tín hiệu đáng theo dõi, nhưng vẫn là kết quả xem trước do chính nhóm phát hành báo cáo. Điểm tổng hợp trên nhiều ngôn ngữ không cho biết riêng một cặp Việt-Anh hoặc một miền dữ liệu cụ thể sẽ đạt chất lượng nào. Với tài liệu pháp lý, kỹ thuật, chăm sóc khách hàng hay nội dung tiếp thị, thuật ngữ và cách giữ định dạng có thể quan trọng không kém điểm dịch trung bình.
Giấy phép Apache 2.0 và các bản nhỏ hơn giúp Index-Translate đáng để theo dõi với nhóm muốn tự triển khai. Tuy nhiên, quyết định thay công cụ dịch hiện tại nên đợi đúng phiên bản cần dùng thực sự có tệp trọng số, sau đó thử trên một tập câu đại diện cho dữ liệu của mình. Nên tách ít nhất các nhóm câu có thuật ngữ chuyên ngành, tên riêng, số liệu, bảng hoặc chỗ giữ vị trí trong mẫu và các đoạn dài; rồi kiểm cả độ đúng nghĩa lẫn việc giữ cấu trúc đầu ra.
Với người dùng Việt Nam, điểm đáng chú ý hiện tại là phạm vi 150 ngôn ngữ và hướng hỗ trợ yêu cầu dịch có cấu trúc. Cho tới khi bản 35B-A3B được phát hành đầy đủ và có phép thử riêng trên tiếng Việt, nên coi đây là một bản xem trước có tiềm năng, chưa phải bằng chứng rằng nó tốt hơn công cụ đang dùng.