跳到正文
掘金· lucas_AI·· 3 小时前AI 评分56

不训扩散模型也能生成文本?BERT 本来就是半个去噪生成器,加个外置解码器就够

AI 导读

arXiv 2610.26601 的实验显示,冻结 BERT-base 经 16 轮置信度迭代解码可还原 61.0% 的 15% 掩码文本;仅用普通 MLM 目标微调后,QQP 释义生成 ROUGE-L 0.583,与 DiffusionBERT 已发表值 0.585 同档。

来源:掘金 · juejin.cn