Chaintale消息,Tether AI 研究团队宣布开源 TurboQuant 生产版本,...
Chaintale消息,Tether AI 研究团队宣布开源 TurboQuant 生产版本,并将其集成至 QVAC SDK 0.12.0。 TurboQuant 源自 Google Research 的内存压缩算法,可将 AI 运行时的 KV 缓存压缩最高 5 倍,同时保持接近未压缩模型的输出质量。 这意味着笔记本电脑、手机及边缘设备在无需将数据上传至云端的情况下,可处理更长的对话、更大的...