Kolibri-1 mở trọng số nhưng yêu cầu bộ nhớ phần cứng vẫn lớn

Aleph Alpha phát hành Kolibri-1 ngày 3/10/2026 với trọng số có thể tải về và giấy phép Apache 2.0. Đây là mô hình Mixture-of-Experts (MoE — kiến trúc hỗn hợp chuyên gia), có khoảng 78,1 tỷ tham số tổng cộng nhưng chỉ kích hoạt khoảng 3,46 tỷ tham số cho mỗi token. Con số 3,46 tỷ giúp giảm lượng tính toán ở từng bước suy luận, nhưng không có nghĩa máy chủ chỉ cần bộ nhớ tương đương một mô hình 3,46 tỷ tham số.

Model card chính thức cho bản BF16 ghi dấu chân bộ nhớ của trọng số khoảng 156 GB và cấu hình tối thiểu gồm bốn GPU A100 80 GB, bốn H100 SXM5, hai H200, một B200 hoặc một B300. Lý do là toàn bộ các chuyên gia vẫn phải sẵn sàng trong bộ nhớ dù mỗi token chỉ đi qua một phần trong số đó. Với người tự triển khai, đây là khác biệt quan trọng giữa chi phí tính toán đang hoạt động và dung lượng phải nạp để mô hình chạy được.

Aleph Alpha cũng quảng bá cửa sổ ngữ cảnh tới 1.048.576 token. Tuy nhiên, model card nói rõ mô hình được huấn luyện ở pha ngữ cảnh dài tới 262.144 token và khuyến nghị không vượt mức này khi độ trễ, thông lượng hoặc tác vụ phức tạp là yếu tố quan trọng. Hãng cho biết đã kiểm chứng chất lượng và hiệu quả phục vụ tới khoảng 1 triệu token, nhưng mức tối đa đó không phải lời khuyên rằng mọi ứng dụng nên đưa một triệu token vào mỗi yêu cầu.

Điểm đáng chú ý khác là Kolibri tập trung vào tiếng Đức và tiếng Anh, hỗ trợ chế độ suy luận và gọi công cụ. Model card mô tả mô hình phù hợp cho hệ thống có con người kiểm tra kết quả trước khi hành động, thay vì tự vận hành không giám sát. Đây là ranh giới hữu ích khi đọc chữ “agentic”: hỗ trợ gọi công cụ không đồng nghĩa nhà phát triển khuyến nghị giao quyền tự động hoàn toàn.

Các điểm benchmark do Aleph Alpha công bố vẫn nên được xem là số liệu của nhà phát triển cho đến khi có đánh giá độc lập trên workload gần với hệ thống định triển khai. Với một nhóm kỹ thuật, phép thử đầu tiên hợp lý hơn là đo trên tài liệu, ngôn ngữ, độ dài ngữ cảnh và phần cứng thật của mình: bộ nhớ có đủ không, độ trễ thay đổi ra sao khi tăng ngữ cảnh, và chất lượng có còn ổn định ở phần cuối tài liệu hay không.

Kolibri-1 vì thế đáng chú ý không chỉ vì “78B” hay “1M context”. Giá trị thực tế của thông số công khai là giúp người vận hành nhìn thấy trade-off — tức sự đánh đổi — giữa dung lượng bộ nhớ, lượng tính toán mỗi token, độ dài ngữ cảnh và mức giám sát cần thiết. Nếu một thử nghiệm chỉ báo điểm benchmark mà không ghi cấu hình phần cứng và độ dài đầu vào, kết quả đó chưa đủ để quyết định triển khai.

Nguồn tham khảo

• Aleph Alpha — Kolibri Has Landed: công bố phát hành, kiến trúc và phạm vi tính năng của Kolibri-1.
• Hugging Face — Kolibri-1-BF16 model card: thông số tham số, ngữ cảnh, bộ nhớ, phần cứng tối thiểu, dữ liệu huấn luyện và intended use.