博客园· 绝不原创的飞龙·· 2 小时前AI 评分39
GGUF 量化内幕:第5章 Q8_0 与简单块家族
GGUF 量化内幕:第5章 Q8_0 与简单块家族 - 绝不原创的飞龙
AI 导读
本章解析 GGUF 简单块量化格式 Q8_0、Q4_1、Q5_0、Q5_1 的字节布局与反量化公式,指出其在特定场景仍是最优解。Q8_0 为近无损基线(34 字节、8.5 bpw、PPL 劣化约 +0.1%),Q4_1/Q5_1 增加显式最小值 m,Q5_0/Q5_1 用高位平面 qh 实现 5-bit。
来源:博客园 · cnblogs.com