Tóm tắt nhanh: Chạy AI cục bộ bị giới hạn chủ yếu bởi bộ nhớ GPU (VRAM). Một card NVIDIA 16 GB VRAM, hoặc máy Mac chip Apple, đã đủ để bắt đầu với một mô hình tốt cho trò chuyện và hỏi đáp tài liệu. Mô hình lớn hơn và nhiều người dùng hơn cần thêm VRAM, thường bằng cách bổ sung GPU.

Vì sao VRAM là con số quan trọng nhất

Trọng số của mô hình ngôn ngữ phải nằm vừa trong bộ nhớ tốc độ cao để trả lời nhanh. Nhiều tham số hơn thường suy luận tốt hơn nhưng tốn bộ nhớ hơn. Ngoài trọng số, hệ thống còn cần chỗ cho ngữ cảnh của từng cuộc hội thoại, và càng nhiều người dùng cùng lúc thì càng cần nhiều chỗ. Vì thế VRAM, chứ không phải tốc độ CPU, quyết định bạn chạy được gì.

Điểm khởi đầu thực tế

Với nhóm nhỏ, một máy trạm hoặc máy chủ có GPU NVIDIA từ 16 GB VRAM có thể chạy tốt một mô hình gọn, phù hợp cho trò chuyện, tóm tắt và hỏi đáp tài liệu. Máy Mac chip Apple (M1 trở lên) dùng bộ nhớ hợp nhất chia sẻ giữa CPU và GPU, là lựa chọn tiện lợi cho cá nhân và văn phòng nhỏ. Bạn cũng cần ổ lưu trữ nhanh cho mô hình và chỉ mục tài liệu — nên để trống ít nhất 80 GB.

Khi nào cần mở rộng

Chuyển sang mô hình lớn hơn khi cần suy luận mạnh hơn, các tác vụ nhiều bước dài hoặc phân tích phức tạp. Tăng năng lực khi nhiều người dùng hệ thống cùng lúc. Thay vì một card thật lớn, máy chủ thường gộp nhiều GPU cùng loại để chia một mô hình lớn ra chạy trên chúng. Nguyên tắc hợp lý: chọn mô hình nhỏ nhất làm tốt công việc rồi chọn phần cứng theo đó, thay vì mua cấu hình lớn nhất ngay từ đầu.

Chọn cỡ mô hình theo công việc

Trò chuyện nhẹ và hỏi đáp cơ bản chạy tốt trên mô hình gọn. Trợ lý tài liệu toàn phòng ban và quy trình nghiệp vụ hưởng lợi từ mô hình cỡ trung. Suy luận phức tạp và tải đồng thời lớn cần mô hình lớn nhất trên máy chủ nhiều GPU.

DABO AI xử lý việc này cho bạn thế nào

Bộ cài DABO AI tự nhận diện GPU và đề xuất mô hình phù hợp. Dòng mô hình DABO trải từ DABO-Lite (12B), DABO-Standard (26B), DABO-Pro (27B) tới DABO-Max (122B) và DABO-Ultra (284B và 320B); máy có nhiều GPU cùng loại được tự gộp để chạy mô hình lớn hơn. Mô hình không gắn với gói, nên ngay cả gói Free cũng dùng được mô hình mà phần cứng của bạn hỗ trợ. Phần mềm cài bằng một file trên Windows (kể cả Windows Server), Ubuntu, Red Hat hoặc macOS, chỉ cần Internet lúc cài và chạy offline sau đó. Nếu không muốn tự mua phần cứng, DABO có dịch vụ triển khai trọn gói: mua đứt (CAPEX), thuê theo tháng (OPEX) hoặc tận dụng hạ tầng sẵn có (Hybrid).

Câu hỏi thường gặp

Cấu hình tối thiểu để thử AI riêng là gì? GPU NVIDIA từ 16 GB VRAM hoặc máy Mac chip Apple M1 trở lên, cùng khoảng 80 GB ổ trống.

Có dùng máy chủ sẵn có được không? Được. DABO AI cài trên máy chủ, máy trạm bạn đang có nếu có GPU phù hợp.

Có nhất thiết phải có GPU không? Để trải nghiệm phản hồi nhanh thì có — GPU là thứ giúp mô hình cục bộ chạy nhanh.