Needle 3 đưa gọi công cụ xuống thiết bị nhỏ, nhưng schema mới là phần cần kiểm kỹ
Needle 3 được Cactus Compute thiết kế cho gọi công cụ cục bộ trên thiết bị nhỏ. Trước khi nhìn benchmark, hãy thử một toolset hẹp và kiểm xem model có biết dừng khi yêu cầu thiếu dữ liệu hay không.
Xong bài này bạn làm được Người đọc sẽ không chọn model chỉ vì kích thước nhỏ hoặc benchmark; họ sẽ thử một toolset hẹp, kiểm lệnh thiếu dữ liệu và giữ hành động có hậu quả cao sau bước xác nhận.
Cactus Compute đang giới thiệu Needle 3 như một mô hình chuyên cho gọi công cụ trên thiết bị: nhận yêu cầu, chọn hàm phù hợp và điền đối số theo schema, thay vì cố làm một chatbot đa năng. Trang sản phẩm của hãng mô tả các bản Needle 3 có kích thước khoảng 8–29 MB và chạy cục bộ trên nhiều nhóm thiết bị. Đây là tuyên bố của nhà cung cấp, nhưng hướng thiết kế đáng chú ý vì nó đổi câu hỏi từ “model có trả lời hay không?” sang “model có chọn đúng hành động và đúng dữ liệu hay không?”.
Với một ứng dụng nhỏ, khác biệt này khá thực tế. Nếu nhiệm vụ chỉ là chọn giữa vài hành động đã định nghĩa — chẳng hạn bật đèn, đặt nhiệt độ hoặc ghi một ghi chú — gửi toàn bộ yêu cầu lên một mô hình lớn trên đám mây có thể không phải lựa chọn duy nhất. Xử lý cục bộ có thể hữu ích khi độ trễ, kết nối mạng hoặc việc giữ dữ liệu trên thiết bị là yêu cầu quan trọng. Nhưng model nhỏ không tự làm hệ thống an toàn hơn. Phần bạn định nghĩa quanh model mới quyết định nó được phép làm gì.
Điểm cần đọc kỹ nằm ở schema
Tài liệu của Cactus Compute nói Needle 3 đọc schema khá sát: tên công cụ, mô tả, kiểu dữ liệu và các giới hạn của đối số đều ảnh hưởng trực tiếp tới call được tạo. Hãng khuyến nghị một công cụ cho một hành động rõ ràng thay vì một hàm tổng quát chứa nhiều trường tự do. Các giới hạn như khoảng số, tập giá trị hợp lệ hoặc độ dài có thể được đưa vào schema để thu hẹp đầu ra.
Một nguyên tắc quan trọng hơn kích thước model là không bắt model đoán dữ liệu mà người dùng chưa cung cấp. Theo tài liệu Needle 3, nếu một trường bắt buộc không có bằng chứng trong yêu cầu và không có giá trị mặc định, call có thể bị giữ lại thay vì tự điền. Đây là hành vi nên kiểm trực tiếp trên chính toolset của bạn, không nên suy ra từ benchmark của nhà cung cấp.
Ví dụ, set_temperature(room, temperature) hợp lý hơn một hàm kiểu control_device(device, action, value) nếu sản phẩm chỉ cần điều chỉnh nhiệt độ. Hàm hẹp giảm số quyết định ngầm mà model phải tự biến thành chuỗi văn bản. Nhưng schema tốt vẫn không thay thế việc kiểm quyền: một call hợp lệ về cú pháp vẫn có thể là hành động mà người dùng không muốn thực hiện.
Thử nhỏ trước khi nối hệ thống thật
Một phép thử hữu ích chỉ cần ba công cụ giả lập: set_light, set_temperature và save_note. Chưa nối chúng với đèn, điều hòa hay dữ liệu thật. Thay vào đó, mỗi hàm chỉ ghi lại tên công cụ và đối số mà model chọn.
Sau đó dùng ba nhóm câu lệnh. Nhóm đầu đủ dữ liệu, ví dụ “đặt phòng họp A ở 24 độ”. Nhóm hai cố tình thiếu dữ liệu, như “đặt phòng họp A mát hơn”. Nhóm ba chứa phủ định hoặc lời kể, chẳng hạn “đừng tắt đèn” hay “Lan nói rằng cô ấy đã tắt đèn”. Với mỗi câu, ghi lại công cụ được chọn, đối số nào thực sự xuất hiện trong yêu cầu và trường hợp nào model từ chối tạo call.
Mục tiêu không phải chứng minh Needle 3 đúng trên mọi tình huống. Mục tiêu là tìm nhanh ranh giới của toolset: tên nào dễ bị chọn nhầm, trường nào khiến model phải đoán và yêu cầu nào cần một bước xác nhận của người dùng. Nếu một đối số quan trọng thường xuyên không có trong câu lệnh, đừng giải quyết bằng cách cho model tự sáng tác; hãy đổi giao diện, thêm bước hỏi lại hoặc thu hẹp hành động.
Đừng đọc benchmark thay cho thử nghiệm sản phẩm
Cactus Compute công bố nhiều số đo về tốc độ, kích thước và độ chính xác cho Needle. Những số này hữu ích để quyết định có đáng thử hay không, nhưng chưa chứng minh model sẽ đạt cùng kết quả với toolset, ngôn ngữ, thiết bị và kiểu yêu cầu của bạn. Đặc biệt, một điểm exact-match cao không trả lời câu hỏi sản phẩm quan trọng hơn: lỗi còn lại xảy ra ở hành động nào và hậu quả của lỗi đó là gì.
Vì vậy, hãy đặt ngưỡng theo hậu quả. Ghi chú cục bộ sai có thể chỉ cần cho người dùng sửa. Gửi tin nhắn, mở khóa cửa, đặt hàng hoặc thanh toán là nhóm khác: dù call trông hợp lệ, sản phẩm vẫn nên có xác nhận hoặc kiểm soát bổ sung phù hợp với rủi ro.
Needle 3 đáng chú ý không phải vì một model vài chục MB sẽ thay mọi hệ thống gọi công cụ trên đám mây. Điều đáng thử là một kiến trúc hẹp hơn: model cục bộ chỉ làm phần chọn hành động và trích đối số, còn schema và quyền quyết định biên mà model không được vượt qua. Nếu phép thử giả lập cho thấy model hay đoán trường thiếu hoặc chọn nhầm công cụ, đó là tín hiệu để sửa contract trước — không phải lý do để cấp thêm quyền cho model.