Hỏi AI ba câu xác suất rồi cộng lại để bắt con số đáng ngờ

Bạn dán vào trợ lý AI một chồng ghi chú khách hàng và hỏi: “Khả năng khách hủy gói trong quý này là bao nhiêu?” Nó trả lời 15%, nghe rất chắc. Bạn không có đáp án thật để so, vì quý chưa xong. Một bản thảo trên arXiv (kho bản thảo khoa học đăng công khai, chưa qua bình duyệt) ngày 22/10/2026 đề xuất cách kiểm không cần đáp án thật: hỏi cùng chuyện theo ba cách rồi xem các con số có cộng khớp nhau không.

Làm ngay với ghi chú của bạn

Anh Hùng, quản lý cửa hàng gói học trực tuyến do bài dựng để minh họa, có ba tháng ghi chú chăm sóc khách và muốn AI ước khả năng khách hủy gói.

1. Trước khi dán, xóa tên, số điện thoại, email và địa chỉ của khách, chỉ giữ phần ghi chú cần cho câu hỏi. Mở ba cuộc trò chuyện mới, mỗi cuộc dán cùng chồng ghi chú. Bản thảo cũng hỏi từng câu trong các lượt gọi riêng; nếu bạn hỏi liền trong một cuộc, mô hình có thể nhớ con số trước và tự làm cho khớp.
2. Cuộc thứ nhất hỏi con số chung: “Khả năng khách hủy gói trong quý này là bao nhiêu phần trăm?” Anh Hùng nhận 15%.
3. Cuộc thứ hai hỏi tỉ lệ các nhóm. Bạn tự chọn cách chia thành hai hay ba nhóm theo điều ghi chú có nói được, ví dụ khách mua gói năm và khách mua gói tháng: “Trong số khách này, bao nhiêu phần trăm thuộc mỗi nhóm?” Mỗi khách chỉ thuộc một nhóm; nếu tỉ lệ AI trả lời không cộng đủ 100% thì hỏi lại cho đủ trước khi cộng. Anh nhận 40% gói năm, 60% gói tháng.
4. Cuộc thứ ba hỏi khả năng hủy trong từng nhóm: “Nếu khách thuộc gói năm, khả năng hủy gói trong quý này là bao nhiêu phần trăm? Còn gói tháng?” Anh nhận 10% và 30%.
5. Tự cộng: 0,40 × 10% + 0,60 × 30% = 4% + 18% = 22%. Con số chung của cuộc thứ nhất là 15%, lệch 7 điểm phần trăm.

Trên giấy lúc này có ba con số, một phép cộng và một khoảng lệch để so với ngưỡng. Hãy đặt ngưỡng trước khi hỏi, ví dụ vài điểm phần trăm, chứ đừng chọn sau khi đã thấy số. Nếu mô hình trả lời bằng khoảng hay chữ thay vì một con số, yêu cầu một con số phần trăm cho mỗi câu, rồi ghi rõ bạn đã yêu cầu như thế.

Đọc độ lệch rồi quyết định

Lệch 7 điểm như ở ví dụ vượt xa ngưỡng vài điểm, nên bỏ cả hai con số chứ đừng chọn con số bạn thích hơn, và đừng hỏi lại đến khi khớp. Có hai đường: đếm trực tiếp trên bảng tính nếu ghi chú đủ số liệu, hoặc coi con số AI đưa là ước đoán chưa dùng được để quyết định. Lệch nhỏ thì bạn mới biết các con số khớp nhau, chưa biết chúng đúng với thực tế.

Cách này hợp với con số bạn không đếm được trực tiếp: khả năng một ca sẽ trễ hạn, một khách sẽ mua lại, một khiếu nại sẽ lên cấp trên, khi AI phải đọc ghi chú chữ rồi ước. Nếu ghi chú đã có sẵn số liệu, đếm bằng bảng tính nhanh và đúng hơn. Điểm đáng giá của cách này là rẻ: ba câu hỏi và một phép cộng.

Vì sao phép cộng báo được sai số

Tác giả Peter Potash hỏi bảy mô hình ngôn ngữ lớn xem các phán đoán xác suất của chúng có tuân theo luật xác suất toàn phần hay không. Luật này nói: khả năng xảy ra chuyện X bằng tổng, qua từng nhóm z, của (khả năng khách thuộc nhóm z) nhân (khả năng X xảy ra nếu khách thuộc nhóm z). Nhóm z ở đây là thứ không ghi sẵn mà mô hình phải suy ra từ các bản ghi trong ngữ cảnh. Mỗi câu hỏi trong bài thử có đáp án đúng tính được chính xác.

Theo bản thảo, GPT-6.1 Sol và Claude Opus 5.5 nhất quán nhất, với sai lệch trung bình 0,08 và 0,12 log-odds (thang đo chênh lệch xác suất theo tỉ lệ cược), khoảng 2 điểm phần trăm. Claude Haiku 5.5, Gemini 3.8 Flash và DeepSeek V4-Pro lệch dai dẳng hơn, ở mức 0,27–0,35 log-odds, và độ lệch này chủ yếu thay đổi theo từng câu chứ không phải một độ lệch chung. Trong mọi mô hình, sai lệch càng lớn thì câu trả lời càng xa sự thật (hệ số tương quan hạng Spearman từ 0,40 đến 0,62), nên phần sai lệch, thứ không cần đáp án thật để tính, báo hiệu được câu trả lời kém tin cậy.

Hai chi tiết khác đáng giữ. Độ dài phần suy luận không dự đoán được độ nhất quán, nên đừng coi câu trả lời dài là câu trả lời chắc. Và các phép kiểm nhất quán đơn giản gần như đều qua; chỗ hỏng là khi mô hình phải suy qua một biến ẩn, tức đúng loại câu hỏi “nhóm nào thì hủy” ở trên. Đây là bản thảo của một tác giả, chưa bình duyệt, thử trên bài có đáp án dựng sẵn, và bản thảo báo cáo sai lệch lớn đi cùng sai thật lớn chứ không báo cáo sai lệch nhỏ là đúng. Mã và dữ liệu có công bố cùng bài trên GitHub (nơi lưu và chia sẻ mã nguồn) nên nhóm kỹ thuật của bạn có thể chạy lại trước khi đưa vào quy trình.

Nguồn tham khảo

1. Peter Potash, “Latent Coherence: Do Frontier Language Models’ Probability Judgments Obey the Law of Total Probability?” (arXiv:2610.31833, 22/10/2026) — nguồn của luật xác suất toàn phần, bảy mô hình, các con số 0,08–0,35 log-odds và hệ số Spearman 0,40–0,62.
2. Mã và dữ liệu của bản thảo trên GitHub — liên kết từ trang arXiv.

Tiếp trên bàn Việc hôm nay: Kiểm phiên bản PHP của website ngay hôm nay vì hai lỗ hổng chạy mã từ xa đã có bản vá