Thị trường · ✦ AI tổng hợp
Tether AI open-source công cụ TurboQuant, giảm 5 lần bộ nhớ KV cache cho LLM
Tether AI vừa công bố mã nguồn mở của TurboQuant – công cụ cho phép giảm đáng kể lượng bộ nhớ KV cache cần thiết khi vận hành các mô hình ngôn ngữ lớn (LLM). Công nghệ này hướng đến việc giúp AI có thể chạy cục bộ trên thiết bị phổ thông, thay vì phụ thuộc hoàn toàn vào các dịch vụ đám mây tập trung.
Tether AI công bố mã nguồn mở TurboQuant
Tether – công ty phát hành stablecoin USDT lớn nhất thế giới – thông qua bộ phận AI của mình vừa ra mắt công cụ mang tên TurboQuant dưới dạng mã nguồn mở. Công cụ này được thiết kế nhằm tối ưu hóa việc sử dụng bộ nhớ KV cache (Key-Value cache) trong các mô hình ngôn ngữ lớn (LLM), giúp giảm mức tiêu thụ bộ nhớ xuống 5 lần so với phương pháp truyền thống.
KV cache là gì?
KV cache là cơ chế lưu trữ tạm thời các kết quả trung gian trong quá trình mô hình ngôn ngữ xử lý chuỗi token. Khi mô hình xử lý câu dài hoặc chạy nhiều lượt suy luận liên tiếp, KV cache giúp tiết kiệm chi phí tính toán bằng cách tái sử dụng các kết quả đã tính toán. Tuy nhiên, bộ nhớ cần thiết để lưu trữ KV cache thường rất lớn, trở thành rào cản đáng kể khi triển khai LLM trên các thiết bị có tài nguyên hạn chế.
TurboQuant hoạt động như thế nào?
TurboQuant áp dụng kỹ thuật lượng tử hóa (quantization) để giảm dung lượng của KV cache mà không làm giảm đáng kể độ chính xác của mô hình. Thay vì lưu trữ giá trị số thực (floating-point) đầy đủ, dữ liệu được biểu diễn dưới dạng giá trị có độ chính xác thấp hơn, qua đó giảm đáng kể lượng bộ nhớ cần thiết.
Theo thông tin từ bài đăng chính thức, giải pháp này mở ra khả năng chạy các mô hình ngôn ngữ lớn trên phần cứng phổ thông – bao gồm các máy tính cá nhân và thiết bị edge – mà trước đây không đáp ứng được yêu cầu về bộ nhớ.
Tác động tiềm năng đến hệ sinh thái AI và blockchain
Việc công bố mã nguồn mở của TurboQuant được kỳ vọng sẽ:
- Giảm rào cản gia nhập: Các nhà phát triển và tổ chức nhỏ có thể triển khai LLM cục bộ mà không cần đầu tư hạ tầng đám mây quy mô lớn.
- Tăng cường quyền riêng tư: Khi xử lý diễn ra trên thiết bị của người dùng thay vì server bên thứ ba, dữ liệu không cần phải truyền qua các dịch vụ cloud tập trung.
- Mở ra tích hợp AI-on-chain: Với mức tiêu thụ bộ nhớ thấp hơn, việc tích hợp các mô hình AI trực tiếp vào các ứng dụng blockchain và DeFi trở nên khả thi hơn về mặt kỹ thuật.
Bối cảnh thị trường
Động thái này nằm trong xu hướng các công ty blockchain ngày càng quan tâm đến việc ứng dụng trí tuệ nhân tạo vào sản phẩm và dịch vụ của mình. Tether trong những năm gần đây không chỉ tập trung vào stablecoin mà còn mở rộng sang các lĩnh vực khác như khai thác Bitcoin và AI.
Hiện tại, cộng đồng có thể truy cập và sử dụng mã nguồn của TurboQuant thông qua kho lưu trữ chính thức của Tether AI. Các chuyên gia trong ngành đánh giá đây là bước đi có ý nghĩa trong việc phân cấp hóa công nghệ AI, giúp giảm sự phụ thuộc vào các nền tảng đám mây tập trung do một số ít tập đoàn kiểm soát.
/ Bài viết liên quan
Standard Chartered: Động thái bán BTC của Strategy có thể mở ra giai đoạn ETH vượt trội hơn
Theo nhận định của ông Kendrick, Trưởng bộ phận nghiên cứu tài sản số tại Standard Chartered, việc Strategy bán Bitcoin có thể là tín hiệu cho thấy ETH sẽ tăng trưởng vượt BTC đến 40% so với mức hiện tại. Ngân hàng cũng dự đoán các tổ chức nắm giữ bitcoin trong kho bạc có thể phải bán tài sản để chi trả các nghĩa vụ tài chính.
Stellar (XLM) giảm 8,4%, kéo chỉ số CoinDesk 20 đi xuống
Chỉ số CoinDesk 20 ghi nhận tuần giảm điểm khi Stellar (XLM) dẫn đầu xu hướng suy thoái với mức sụt giảm 8,4%. Aave (AAVE) cũng chứng kiến lực bán mạnh, giảm 3,9% so với thứ Hai. Áp lực chốt lời lan rộng trên nhiều tài sản số đã đẩy tổng thể chỉ số xuống vùng tiêu cực trong kỳ cập nhật lần này.
Securitize ra mắt quỹ tín dụng tư nhân đầu tiên trên chuỗi khối TRON
Nền tảng token hóa chứng khoán Securitize vừa công bố hợp tác với TRON để triển khai quỹ tín dụng tư nhân đầu tiên hoạt động hoàn toàn trên blockchain. Động thái này đánh dấu bước tiến mới trong việc đưa các sản phẩm tài chính truyền thống lên onchain, mở rộng cơ hội tiếp cận thị trường tư nhân cho nhà đầu tư toàn cầu.
Wells Fargo nâng dự báo giá cổ phiếu Microsoft lên $650 với tiềm năng tăng 41%
Ngân hàng đầu tư Wells Fargo vừa nâng dự báo giá mục tiêu cho cổ phiếu Microsoft (NASDAQ: MSFT) lên 650 USD, từ mức 625 USD trước đó, đồng thời duy trì xếp hạng "Overweight". Cổ phiếu MSFT hiện giao dịch quanh mức 460 USD, cho thấy tiềm năng tăng trưởng 41% theo dự báo của nhà phân tích Michael Turrin.