Large Language Model (LLM) là loại mô hình AI được huấn luyện trên khối lượng văn bản khổng lồ — sách, bài báo, mã nguồn, hội thoại — để học cách hiểu và tạo ra ngôn ngữ tự nhiên. Đây chính là công nghệ đứng sau các trợ lý AI như ChatGPT, Claude, hay các trợ lý nội bộ mà nhiều doanh nghiệp đang triển khai: LLM đọc câu hỏi, "suy luận" qua hàng tỷ tham số, và trả về câu trả lời phù hợp với ngữ cảnh. Nhưng có một mô hình mạnh chỉ là bước đầu — vấn đề lớn hơn với hầu hết doanh nghiệp là làm sao chạy mô hình đó hiệu quả, ổn định, với chi phí có thể dự đoán.

Việc "chạy" một LLM (gọi là suy luận, hay inference) tốn kém hơn nhiều người nghĩ. Mỗi mô hình cỡ lớn cần hàng chục GB bộ nhớ GPU chỉ để nạp tham số, và khi nhiều người dùng cùng gửi câu hỏi một lúc, hệ thống phải xử lý song song mà không được làm chậm hay tràn bộ nhớ. Nếu hạ tầng suy luận không được tối ưu, doanh nghiệp sẽ phải mua thêm GPU chỉ để bù cho tốc độ xử lý chậm và tình trạng xếp hàng chờ (queue) — một khoản chi phí ẩn ít ai tính đến trước khi triển khai.

vLLM là một engine phục vụ suy luận mã nguồn mở, ra đời từ nghiên cứu của Đại học UC Berkeley, được thiết kế riêng để giải quyết đúng vấn đề đó. Kỹ thuật cốt lõi của vLLM — PagedAttention — quản lý bộ nhớ "ghi nhớ ngữ cảnh" (KV cache) của mô hình theo từng trang nhỏ, giống cách hệ điều hành quản lý bộ nhớ máy tính, thay vì cấp phát một khối bộ nhớ liền mạch gây lãng phí cho mỗi yêu cầu. Kết quả là cùng một GPU có thể phục vụ nhiều người dùng đồng thời hơn gấp nhiều lần, mà không cần nâng cấp phần cứng.

Ngoài quản lý bộ nhớ thông minh, vLLM còn hỗ trợ continuous batching — gộp linh hoạt các yêu cầu đến từ nhiều người dùng khác nhau vào cùng một lượt xử lý của GPU, thay vì xử lý tuần tự từng câu hỏi một. Với một trợ lý AI nội bộ phục vụ hàng chục nhân viên cùng lúc, khác biệt giữa có và không có tối ưu này có thể là vài giây phản hồi so với vài chục giây — điều quyết định liệu nhân viên có thực sự dùng công cụ đó hàng ngày hay không.

Đây chính là lớp hạ tầng mà DABO xử lý thay cho khách hàng. Khi triển khai Local AI hoặc Trợ lý tri thức nội bộ, DABO cấu hình sẵn engine suy luận (ứng dụng các kỹ thuật như vLLM) được tối ưu theo đúng cấu hình phần cứng và tải sử dụng thực tế của từng doanh nghiệp — để khách hàng nhận được tốc độ phản hồi tốt nhất với số GPU tối thiểu cần thiết, thay vì phải tự nghiên cứu và vận hành một đội ngũ hạ tầng AI riêng.