跳到正文
AWS Machine Learning Blog· Summer Devlin·· 3 天前AI 评分31

Exa 将嵌入吞吐量提升 50%,在 AWS AI 芯片上索引数十亿文档

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 导读

Exa 将嵌入基础设施迁移至 AWS Neuron 硬件(AWS Inferentia2 与 AWS Trainium2),实现约 50% 的吞吐量提升。通过权重布局优化、autocast、NKI 内核与自定义融合 SwiGLU MLP 内核,该方案在保持 0.999 余弦相似度的同时消除了内存瓶颈。此次升级支持对 300 亿份高优先级文档的重新嵌入,以优化其语义搜索网络索引。

来源:AWS Machine Learning Blog · aws.amazon.com