ThinkingBox kiểm tra dữ liệu sau khi AI agent báo đã hoàn thành

Một AI agent có thể gọi đúng công cụ, không báo lỗi và kết thúc bằng câu trả lời nghe rất thuyết phục, nhưng dữ liệu phía sau vẫn sai. Đó là vấn đề Microsoft và Hugging Face muốn làm rõ với ThinkingBox, môi trường đánh giá agent được giới thiệu công khai ngày 3/10/2026. Thay vì chỉ chấm câu trả lời hoặc xem lời gọi công cụ có hợp lệ hay không, hệ thống kiểm trạng thái cuối của dữ liệu phía sau và các tác động mà agent thực sự tạo ra.

Ví dụ trong bài công bố cho thấy một agent xử lý yêu cầu khách hàng bằng chín lần gọi công cụ hợp lệ, nhưng cuối cùng đóng ticket ở trạng thái đã giải quyết trong khi tình huống yêu cầu phải giữ ở trạng thái chờ. Nếu chỉ nhìn chuỗi thao tác, lần chạy có vẻ sạch. Khi đối chiếu với dữ liệu cuối, lỗi mới hiện ra. Đây là khác biệt quan trọng với các hệ thống agent có quyền sửa hồ sơ, tạo ticket, thay đổi đơn hàng hoặc cập nhật trạng thái nghiệp vụ.

ThinkingBox-Bench gồm 507 quy trình có trạng thái và chạy mỗi task 20 lần từ cùng một trạng thái khởi đầu sạch. Trong một phép phân tích chung gồm 121.680 lượt hợp lệ trên 12 mô hình, 79.853 lượt không vượt qua phép kiểm có thể thực thi. Đáng chú ý, 67,24% số lượt thất bại đó vẫn kết thúc bình thường, đã gọi công cụ làm thay đổi trạng thái và không báo lỗi công cụ ở bước cuối. Nói cách khác, “không có lỗi” không đồng nghĩa với “kết quả đúng”.

Nhóm nghiên cứu cũng tách khả năng làm đúng một lần khỏi độ ổn định khi lặp lại. Chỉ số pass@1 cho biết tỷ lệ thành công trung bình của từng lượt; còn phép kiểm 20/20 hỏi một task có thành công ở cả 20 lần đã ghi nhận hay không. Khoảng cách giữa hai con số có thể lớn. Chẳng hạn Kimi-K3 giải được ít nhất một lần ở 476 trong 507 task, nhưng chỉ 68 task thành công đủ 20 lần. Kết quả này không có nghĩa một mô hình cụ thể sẽ thất bại với hệ thống của bạn; nó cho thấy một lần demo đẹp không trả lời được câu hỏi về độ ổn định.

Với người triển khai agent, bài học thực tế không phải là chọn model đứng đầu bảng. Trước hết, hãy xác định trạng thái đúng sau khi công việc kết thúc: bản ghi nào phải thay đổi, bản ghi nào không được đổi, hành động nào bắt buộc phải xảy ra và tác động phụ nào không được phép xuất hiện. Sau đó mới kiểm agent dựa trên trạng thái đó thay vì chỉ dựa vào câu nó nói rằng đã hoàn thành.

Bước tiếp theo là lặp lại cùng loại nhiệm vụ đủ nhiều lần để thấy lỗi không ổn định. Nếu agent đúng một lần rồi sai ở lần kế tiếp, hệ thống chưa có bằng chứng để giao quyền tự động rộng hơn. Với thay đổi khó đảo ngược, bài công bố còn khuyến nghị giữ bước phê duyệt của con người. Nhóm nghiên cứu cũng nói rõ họ chưa đo mức cải thiện của các biện pháp như giảm số công cụ hay thêm cơ chế retry trên benchmark này, vì vậy không nên biến các gợi ý đó thành con số hiệu quả chưa được kiểm chứng.

Có một giới hạn quan trọng: toàn bộ task công khai trong benchmark là các tình huống tái dựng tổng hợp, mô phỏng mẫu workflow doanh nghiệp chứ không phải khách hàng thật. Vì thế, ThinkingBox hữu ích nhất như một cách đặt câu hỏi khi đánh giá agent: hệ thống đã để lại trạng thái gì, có tạo tác động ngoài ý muốn không, và kết quả có lặp lại được không. Nó chưa phải bằng chứng rằng thứ hạng benchmark sẽ giữ nguyên trên dữ liệu, công cụ và quy trình sản xuất của một tổ chức cụ thể.

Nguồn tham khảo

• Microsoft / Hugging Face: bài giới thiệu ThinkingBox, phương pháp chấm trạng thái cuối, kết quả benchmark và hướng dẫn chạy môi trường đánh giá.
• Paper ThinkingBox trên arXiv: mô tả nghiên cứu, bộ workflow có trạng thái và phương pháp đánh giá độ tin cậy qua nhiều lần chạy.