Perplexity ra mắt hệ thống hybrid AI: laptop xử lý song song cùng đám mây để giảm chi phí

Perplexity triển khai hệ thống AI lai, kết hợp xử lý cục bộ và đám mây

Perplexity – công ty tìm kiếm AI nổi tiếng – vừa công bố một hệ thống suy luận (inference) hoạt động theo mô hình hybrid, cho phép tự động phân chia khối lượng xử lý giữa thiết bị của người dùng (local) và đám mây (cloud).

Cách thức hoạt động

Thay vì gửi toàn bộ yêu cầu lên server đám mây như thông thường, hệ thống mới của Perplexity sẽ tự động đánh giá từng tác vụ AI để quyết định nên xử lý trên thiết bị hay chuyển sang cloud. Quyết định này dựa trên nhiều yếu tố như yêu cầu về hiệu năng, độ phức tạp của mô hình, và tài nguyên sẵn có trên máy người dùng.

Lợi ích được đề xuất

• Bảo mật quyền riêng tư: Một phần dữ liệu có thể được xử lý ngay trên thiết bị, giảm thiểu lượng thông tin cá nhân phải truyền qua mạng.
• Tiết kiệm chi phí server: Khi nhiều tác vụ được chuyển xuống máy local, khối lượng tính toán mà Perplexity phải xử lý trên hạ tầng đám mây sẽ giảm đáng kể, từ đó hạ thấp chi phí vận hành.

Bối cảnh thị trường

Xu hướng kết hợp xử lý AI cục bộ và đám mây đang ngày càng phổ biến trong ngành công nghệ. Các giải pháp hybrid inference được kỳ vọng giúp cân bằng giữa hiệu suất, chi phí và quyền riêng tư của người dùng – ba yếu tố thường xuyên xung đột trong các mô hình AI truyền thống.

Hiện Perplexity chưa công bố lộ trình triển khai cụ thể cho hệ thống hybrid inference này. Thông tin chi tiết về các mô hình AI được hỗ trợ và phạm vi áp dụng dự kiến sẽ được công bố trong thời gian tới.