最佳论文 | 用于文本到图像生成的富人工反馈
输入“/”快速插入内容
最佳论文 | 用于文本到图像生成的富人工反馈
最佳论文 | 用于文本到图像生成的富人工反馈
飞书用户27492024年11月30日修改
作者：胡钧耀，南开大学计算机视觉直博在读
导读：我们在前不久发布了 CVPR 2024 最佳论文候选名单，并邀请大家参与“最佳论文”的预测投票。本篇文章将介绍一种新的多模态 Transformer 模型——RAHF，该模型引入了丰富的人类反馈来改善评估和生成过程，以试图解决 T2I 生成模型在生成高分辨率图像时存在的一些问题，例如现实规则不一致（图像中的伪影与不合理性）、图文语义不一致（与所提供的提示词描述不一致）、美学期望不一致（生成的图像具有低审美质量）。
引言
《流浪地球》是深受大家喜爱的系列科幻作品，其中提及了许多引人深思的科技概念，“人在回路”便是之一。影片中，人类的智慧和决策过程（数字生命图丫丫的介入）融入到机器学习的循环中，让人工智能（MOSS）在执行任务时不仅依赖数据，更考虑道德和伦理因素（人道主义），从而避免了人类的毁灭性危机。在自动化和智能化系统中，人类智能的不可替代性，以及在关键决策过程中引入人类判断的过程是至关重要的。智慧和算法的有机融合，不仅在电影中试图帮助人类构建一个充满希望的未来世界，在现实世界的科学研究和技术发展中也具有深远影响。
丫丫，我要给你完整的一生！（来源：《流浪地球2》剧照）
基于人类反馈的强化学习（Reinforcement Learning with Human Feedback, RLHF）是大语言模型（Large Language Models, LLMs）的典型训练方法，在对大量数据进行训练时，人类的直接反馈被用来优化模型的性能。这样看，RLHF其实也是一种实现“人在回路”的技术手段，并且已在LLMs训练中得到广泛应用。回顾计算机视觉领域相关研究，尤其是文本到图像（Text-to-Image, T2I）的生成任务，虽然技术上取得了显著进步，但生成的图像仍然存在诸多问题，如伪影、与文本描述不一致以及审美质量低下。这些问题凸显了现有自动评估指标的局限性，同时也表明了在图像生成过程中引入人类反馈的必要性。
本次将要介绍的这篇 CVPR 2024 最佳论文候选《Rich Human Feedback for Text-to-lmage Generation》，其核心贡献在于提出一种新颖的方法，通过收集和利用丰富的人类反馈来指导和改进 T2I 生成模型，这不仅为图像生成领域带来了新的思路，也为“人在回路”概念在计算机视觉中的实践有效性提供了有力证明。
论文十问
Q1：论文试图解决什么问题？
论文试图解决 T2I 生成模型在生成高分辨率图像时仍然存在一些问题，例如现实规则不一致（图像中的伪影与不合理性）、图文语义不一致（与所提供的提示词描述不一致）、美学期望不一致（生成的图像具有低审美质量）。为了改善这些问题，论文提出了一种通过丰富人类反馈来改进 T2I 生成的方法。
Q2：这是否是一个新的问题？
这个问题并不是一个全新的问题，因为在深度学习时代，T2I生成模型已经经历了多次迭代和进化，包括生成对抗网络（GANs）、变分自编码器（VAEs）和扩散模型（DMs）。T2I 生成模型的改进一直是计算机视觉和机器学习领域的研究热点，这些模型在生成图像的质量和多样性方面取得了显著进展，但上述问题仍然是该领域研究者们面临的挑战。不过，本文提出的解决方案是新颖的，因为它引入了丰富的人类反馈来改善评估和生成过程，这是对现有方法的扩展。
Q3：这篇文章要验证一个什么科学假设？
文章希望验证：通过收集和利用丰富的人类反馈（包括图像中不合理或与文本不一致区域的标记、文本提示中未被正确表示或缺失的词汇的注释，以及对图像的多方面细致评分），可以训练一个多模态 Tansformer 模型（Rich Automatic Human Feedback, RAHF）来自动预测这些反馈，并且使用这些预测的反馈来改善T2I生成模型的输出质量。具体来说，这个工作期望使用预测的反馈来指导模型微调、选择训练数据，以及进行区域修复，从而提高生成图像的质量。
Q4：涉及哪些相关研究领域？
•
文生图模型：GANs、VAEs、DMs这些模型通过不同的方法生成图像，但都面临质量和准确性的挑战。
•
图像评估和奖励：研究者们开发了多种评估生成图像质量的方法，例如基于人类偏好的数据集和评估模型，如Pick-a-Pic，PickScore，T2I-CompBench，HPS等。
•
图像修复和编辑：一些研究专注于通过识别图像中的伪影或不合理区域，并提出修复方法，如使用分割模型预测伪影区域并进行修复。
•
图文多模态学习：结合图像和文本信息以提高生成质量和评估准确性的研究，例如使用CLIP模型来评估图像和文本的对齐度。
Q5：论文中提到的解决方案之关键是什么？
•
丰富的人类反馈：通过标记图像中的不合理或与文本不一致的区域，并注释文本提示中未正确表示或缺失的词汇，收集更细致和可解释的反馈。
•
多模态Transformer：设计了一个名为RAHF的模型，用于自动预测丰富的人类注释。
•
预测的反馈的下游应用：使用预测的反馈来改善图像生成过程，包括选择高质量的训练数据进行微调，以及创建掩码来修复问题区域。
Q6：论文中的实验是如何设计的？
（一）数据收集
论文收集了18,000张生成图像的丰富人类反馈，包括点注释、文本标记和细粒度评分。注释数据的要点详见图一，注释者在图像上标记点以指示与文本提示相关的不合理区域（图中红点，如熊猫的鼻子和轮毂部分）或图文不一致区域（图中蓝点，如右侧熊猫）。然后，标注者点击单词以标记不匹配的关键词（右侧下划线和着色文字，例如这里有两只熊猫），并为可信度、图文对齐程度、美观度和整体质量选择分数（右侧下划线文字）。