跳到正文
博客园· Big-Yellow-J·· 6 天前AI 评分34

OptiMer:不同行业权重混合策略

OptiMer:不同行业权重混合策略 - Big-Yellow-J

AI 导读

论文 OptiMer 提出一种跨行业权重混合策略:先对不同行业数据分别微调提取权重向量,再对向量加权组合,权重由 TPE 贝叶斯优化(基于 Optuna 框架)搜索,无需重新训练模型。作者用糖果、棉纺织、金属加工三个行业的业务数据复现,差异系数合并的 OptiMer 行业宏均 29.61,较混合训练提升 +0.75、较等系数合并提升 +1.42,但并非所有行业都优于混合训练。

来源:博客园 · cnblogs.com