AWS Machine Learning Blog· Jyothirmai Kottu·· 3 天前AI 评分35
在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
Deploy decision models with llama.cpp on Amazon SageMaker AI
AI 导读
AWS 演示在 Amazon SageMaker AI 上通过 AWS DLC for llama.cpp 部署量化决策模型，同一运行时既支持 OpenAI 兼容的 chat completions，也可经 SemIf（原 OpenJev）直接返回各候选选项的概率。
来源：AWS Machine Learning Blog · aws.amazon.com