AWS Machine Learning Blog· Summer Devlin·· 3 天前AI 评分31
Exa 将嵌入吞吐量提升 50%,在 AWS AI 芯片上索引数十亿文档
Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
AI 导读
Exa 将嵌入基础设施迁移至 AWS Neuron 硬件(AWS Inferentia2 与 AWS Trainium2),实现约 50% 的吞吐量提升。通过权重布局优化、autocast、NKI 内核与自定义融合 SwiGLU MLP 内核,该方案在保持 0.999 余弦相似度的同时消除了内存瓶颈。此次升级支持对 300 亿份高优先级文档的重新嵌入,以优化其语义搜索网络索引。
来源:AWS Machine Learning Blog · aws.amazon.com