多模态神经元
输入“/”快速插入内容
多模态神经元
多模态神经元
飞书用户27492024年8月7日修改
神经元家族预览
CLIP模型中存在哪些功能？
💾
在本节中，检查了四个模型在视觉侧的最终卷积层中发现的神经元。这些神经元中的大多数似乎是可以解释的。 每一层都由数千个神经元组成，因此在初步分析中，我们研究了特征可视化、最能激活神经元的数据集示例，以及在栅格化为图像时最能激活神经元的英语单词。这揭示了令人难以置信的功能多样性，在下面分享其中的示例：
人神经元
案例研究：唐纳德—特朗普神经元
该模型为哪些人开发专用神经元是随机的，但似乎与该人在整个数据集中的流行率相关。以及人们对它们的反应强度。在每个CLIP模型中都能找到一个人，那就是唐纳德·特朗普。
人神经元
案例研究：唐纳德—特朗普神经元
该模型为哪些人开发专用神经元是随机的，但似乎与该人在整个数据集中的流行率相关。以及人们对它们的反应强度。在每个CLIP模型中都能找到一个人，那就是唐纳德·特朗普。
💾
•
它强烈地回应了他在各种环境中的形象，包括许多艺术媒介中的肖像和漫画，以及与他密切合作的人，如迈克·彭斯和史蒂夫·班农。它还响应他的政治符号和信息（例如。“墙”和“让美国再次伟大”的帽子）。
•
另一方面，它对 Nicky Minaj 和 Eminem 等音乐家、Fortnite 等视频游戏、Martin Luther King Jr. 等民权活动家以及彩虹旗等 LGBT 符号最*消极*激活。
•
零激活的标准偏差
区域神经元
💾
CLIP模型发展出对地理区域有反应的区域神经元。这些神经元可以看作是词嵌入中地理信息的视觉类似物。它们对与特定地区相关的各种模式和方面做出反应：国家和城市名称、建筑、杰出的公众人物、最常见种族的面孔、独特的服装、野生动物和当地文字（如果不是罗马字母）。如果显示世界地图，即使没有标签，这些神经元也会选择性地针对地图上的相关区域进行发射。