DGX Spark 64GB đưa giá AI chạy tại chỗ xuống 4.999 USD
NVIDIA mở thêm cấu hình DGX Spark 64GB từ 23/10. Mức giá thấp hơn giúp AI chạy tại chỗ dễ tiếp cận hơn, nhưng bộ nhớ, kích thước mô hình và phép đo hiệu năng do NVIDIA công bố vẫn cần đọc đúng giới hạn.
Xong bài này bạn làm được Người đọc có thể phân biệt giới hạn bộ nhớ, kích thước mô hình và benchmark nhà cung cấp với hiệu năng workload thực tế trước khi quyết định mua phần cứng.
NVIDIA ngày 2/10 công bố cấu hình DGX Spark mới với 64GB bộ nhớ hợp nhất, dự kiến bán từ ngày 23/10 qua Acer, ASUS, Dell, Gigabyte, HP và MSI, với giá khởi điểm 4.999 USD. Máy vẫn dùng GB10 Grace Blackwell, DGX OS và bộ phần mềm AI của NVIDIA.
Điểm đáng chú ý không chỉ là một cấu hình phần cứng mới. DGX Spark 64GB tạo thêm một mức vào cho nhóm muốn chạy mô hình và tác vụ AI ngay tại chỗ thay vì gửi mọi yêu cầu lên dịch vụ đám mây. Theo NVIDIA, một máy hỗ trợ mô hình tới khoảng 100 tỷ tham số. Các công cụ chạy mô hình quen thuộc như Ollama, vLLM và PyTorch được hỗ trợ, cùng Agent Toolkit và các mô hình Nemotron.
Tuy vậy, con số 100 tỷ tham số không nên được hiểu là mọi mô hình ở quy mô đó đều chạy nhanh hoặc phù hợp với mọi tác vụ. Dung lượng bộ nhớ chỉ là một phần của bài toán. Cách nén mô hình, độ dài ngữ cảnh, bộ nhớ đệm KV, số người dùng đồng thời và phần bộ nhớ dành cho hệ thống đều ảnh hưởng đến mô hình thực tế có thể chạy ổn định. Người mua nên bắt đầu từ tác vụ cụ thể thay vì từ số tham số tối đa trên bảng thông số.
NVIDIA cũng cho phép nối trực tiếp hai máy 64GB qua ConnectX-7 và dùng NVIDIA Sync Cluster Assistant để cấu hình cụm. Theo công bố của hãng, hai máy tạo vùng bộ nhớ tổng 128GB và có thể hỗ trợ mô hình tới khoảng 200 tỷ tham số. Trong phép đo hiệu năng Qwen 3.8 27B do NVIDIA công bố, cấu hình hai máy đạt hiệu năng tới 1,7 lần một máy. Đây là phép đo do nhà cung cấp thực hiện, không phải bằng chứng rằng mọi mô hình hoặc ứng dụng sẽ tăng tốc theo cùng tỷ lệ.
Với mức khởi điểm 4.999 USD, phép so sánh hữu ích không phải chỉ là giá máy với giá token. Hạ tầng tại chỗ còn có điện, lưu trữ, vận hành, thời gian cấu hình và rủi ro phần cứng; dịch vụ đám mây lại có chi phí theo mức sử dụng và phụ thuộc vào nhà cung cấp. AI chạy tại chỗ hợp lý hơn khi dữ liệu cần ở lại thiết bị, tác vụ chạy đủ thường xuyên hoặc đội ngũ cần kiểm soát môi trường. Nếu nhu cầu thưa, biến động mạnh hoặc cần mô hình lớn nhất ngay lập tức, dịch vụ đám mây vẫn có thể kinh tế và linh hoạt hơn.
Trước khi mua, nên thử đúng mô hình, độ dài ngữ cảnh và mức đồng thời dự kiến; đo số token xử lý mỗi giây, thời gian phản hồi, mức dùng bộ nhớ và điện năng; rồi so tổng chi phí trong khoảng thời gian thực tế với phương án đám mây. DGX Spark 64GB làm ngưỡng phần cứng cho AI tại chỗ thấp hơn, nhưng quyết định mua vẫn nên dựa trên tác vụ đã đo chứ không dựa trên kích thước mô hình tối đa mà nhà sản xuất hỗ trợ.