跳到正文
博客园· 绝不原创的飞龙·· 4 小时前AI 评分60

GGUF 量化内幕第 4 章:Q4_0 块量化的起点

GGUF 量化内幕:第4章 Q4_0:块量化的起点 - 绝不原创的飞龙

AI 导读

本章讲解 llama.cpp 生态中最早的量化格式 Q4_0:每 32 个权重为一块,共享一个 FP16 尺度,每权重仅存 4 bit,单块占 18 字节,有效位宽 4.5 bpw。

来源:博客园 · cnblogs.com