Phép thử Grok 4.7 của AWS và hai tin khác trong tuần đều cần bạn tự kiểm lại
AWS đo Grok 4.7 ở bốn mức suy luận, Google thêm ba cách ôn trong Gemini Notebook, OpenAI mở suất Rosalind cho trường Mỹ. Mỗi tin kèm một việc làm trong tuần.
Xong bài này bạn làm được Chạy thử tác vụ thật ở mức low và high trước khi chọn mức suy luận, gạch đề cương với quiz trước khi tin điểm số, và không mất công nộp đơn Rosalind nếu không ở trường Mỹ.
Tuần này ba hãng đưa ra ba thứ có vẻ đã đo xong: một bảng độ chính xác, một bộ tính năng ôn thi, một suất dùng thử miễn phí. Cả ba đều dừng ở cùng một chỗ, là việc bạn phải tự thử trên dữ liệu và hoàn cảnh của mình. Con số nằm trên trang của hãng không làm thay phần đó.
AWS đo Grok 4.7 ở bốn mức suy luận, và mức thấp nhất không tệ
Ngày 13/10, blog học máy của AWS đăng bài hướng dẫn dùng Grok 4.7 của SpaceXAI trên Amazon Bedrock, dịch vụ cho thuê nhiều mô hình AI qua một cổng chung. Mô hình có thiết lập mức nỗ lực suy luận, tức mô hình được nghĩ bao lâu trước khi trả lời, với bốn bậc: low (thấp), medium (vừa), high (cao) và xhigh (rất cao). Nhóm AWS dựng một agent, tức chương trình tự gọi công cụ qua nhiều bước, giao ba bài toán phải tìm đáp án chứ không tra là ra: tìm nguyên nhân sự cố hai dịch vụ từ cảnh báo, xếp lịch bảo trì có nhiều ràng buộc, và chọn bộ hạng mục di chuyển trong ngân sách. Mỗi bài có đúng một đáp án, được kiểm bằng cách thử hết mọi khả năng. Mỗi bậc chạy sáu lần mỗi bài, tổng 72 lượt.
Kết quả AWS công bố: đúng 67 trên 72 lượt. Ở xhigh đúng cả 18 lượt, medium và high đúng 17 trên 18, còn low đúng 15 trên 18. Phần đáng chú ý nằm ở chi phí: trung bình một lượt ở low dùng 1.184 token đầu ra, ở xhigh là 9.147, gấp 7,7 lần. Token là đơn vị tính độ dài văn bản mà dịch vụ tính tiền theo. Chính AWS ghi rằng sáu lượt mỗi bài chỉ cho thấy xu hướng, rằng dữ liệu do máy sinh ra nên không có độ trễ hay lỗi của công cụ thật, và rằng bài đếm token chứ không tính ra tiền.
Với bạn, mức nào hợp không thể đọc từ bảng này. Nếu nhóm bạn đã có hoặc sắp có việc chạy qua Bedrock, chọn năm đến mười tác vụ thật mà bạn biết đáp án đúng, chạy mỗi tác vụ sáu lần ở low và sáu lần ở high, như AWS đã làm, rồi đếm số lần đúng và số token đầu ra. Nếu low đúng gần bằng, bạn có lý do để dùng nó cho phần lớn yêu cầu. Một chi tiết trong bài đáng kiểm ngay: token dùng để suy luận cũng tính vào giới hạn đầu ra, nên đặt giới hạn quá thấp có thể khiến câu trả lời trống. Hãy đếm cả những lượt trả về rỗng như lượt sai.
Gemini Notebook thêm ba cách ôn, nhưng chỉ ôn được phần bạn đã nạp
Ngày 16/10, Google đăng bài giới thiệu ba tính năng ôn thi mới trong Gemini Notebook. Short Video Overview là video tóm tắt dài 60 giây cho một khái niệm khó. Interactive Learning Overview, nằm trong mục Reports (Báo cáo), dẫn bạn đi qua tài liệu từng bước, ghép tóm tắt, slide, quiz và thẻ ghi nhớ, và theo Google thì bám sát tài liệu môn học của bạn. Thứ ba là các dạng quiz mới: trả lời ngắn, chọn nhiều đáp án, điền chỗ trống, kèm phần nhờ chính sổ tay (notebook) đó nhận xét để biết nên ôn gì tiếp.
Điều này hữu ích nếu bạn có một đống ghi chú và bài đọc chưa biết bắt đầu từ đâu. Nhưng một công cụ bám sát tài liệu bạn nạp thì không thể hỏi về chương bạn chưa nạp. Trước kỳ thi, lấy đề cương của giáo viên, gạch từng mục xem quiz hoặc overview đã chạm tới mục nào, và bổ sung nguồn cho mục còn trống. Bài “Quiz Gemini Notebook chỉ hỏi những gì ghi chú của bạn có” đăng ngày 17/10 trên báo này đi sâu đúng phép kiểm đó, nên tuần này không cần lặp lại.
Suất miễn phí GPT-Rosalind: đọc dòng điều kiện trước khi mất công
Ngày 15/10, OpenAI công bố Rosalind Academic Plan. Phòng thí nghiệm đủ điều kiện nhận tối đa 30 ghế, tức 30 tài khoản thành viên, thuộc gói Business Standard của OpenAI với giá 0 USD mỗi người mỗi tháng trong tối đa 12 tháng, và được dùng GPT-Rosalind, mô hình riêng cho khoa học đời sống, sau khi qua vòng duyệt truy cập tin cậy. Trang của OpenAI nêu các ví dụ từ phòng thí nghiệm ở UCSF và Stanford, về việc thu thập thông số hóa lý của thuốc hay thiết kế protein.
Dòng quyết định nằm ở phần đăng ký: chương trình hiện chỉ dành cho phòng thí nghiệm học thuật tại các trường đại học ở Mỹ. Nếu bạn là giảng viên hay nghiên cứu sinh ở Việt Nam, tuần này chưa có gì để nộp, và việc hợp lý là bỏ qua. Nếu bạn có đối tác ở một trường Mỹ, trang yêu cầu người đứng đầu phòng thí nghiệm nộp đơn và qua kiểm tra danh tính, vị trí công tác và mục đích dùng. Mốc nên theo dõi là trang đăng ký của OpenAI, xem khi nào dòng về trường ở Mỹ đổi.
Ba việc cho tuần này
- Nếu dùng Bedrock: chạy thử một tập tác vụ thật ở mức low và high, sáu lần mỗi mức, ghi số lần đúng và token đầu ra.
- Nếu đang ôn thi bằng Gemini Notebook: đối chiếu từng mục đề cương với những gì quiz đã hỏi trước khi tin điểm số.
- Nếu làm nghiên cứu khoa học đời sống ở Việt Nam: bỏ qua suất Rosalind cho đến khi điều kiện về trường ở Mỹ thay đổi.