2页

本文的主要目的是探讨利用视觉信息预测图片的情感分类，主要问题在于如何利用视觉信息来进行情感建模。在【某某论文】中，作者已经取得了阶段性成果，通过观察人物图像中色彩、纹理、形状、表情、服装等客观视觉因素，利用人工智能技术模拟人类认知过程。值得注意的是，由于视觉背景的不同、人脸图像质量低，尤其在野外环境下，关键特征的识别本身就是计算机视觉领域中一项极具挑战性的课题，在一研究背景下，情感预测也更加复杂。这些不确定性使得神经网络难以在有限尺度数据集上学习鲁棒特征。此外，网络很容易地被视觉信息中的其他复杂因素所干扰，并执行错误的决策。近年来，视觉Transformer（ViT）和使用知识蒸馏的视觉Transformer（dei）在传统的分类任务中表现出显著的性能。自注意机制相比与CNN网络能捕获更多的全局特征，且能够缓解图像视觉特征与情感语义特征之间存在的鸿沟，减弱图像中情感无关区域对情感分类的影响，从而显著提高了特征提取能力，另外，很多的研究并没有考虑到不同主体的情感关键特征的差异，例如人类的表情与色彩搭配在表达相同的情感时的关键特征是完全不同的。本文提出了一种基于纯Transformer的图像情感预测模型，该Transfomer由三个模块组成：模块1，基于不同目标主体的掩模生成网络，每一个掩膜能够过滤除目标主体之外的复杂背景和干扰因素；模块2，对基于目标主体的图片进行关键情感特征捕捉；模块3，情感特征重构模块，该模块探寻多种目标主体的关键感情特征之间的联系，并最终实现分类-归回的预测，即将视觉内容的多种关键特征映射到多种不同维度上的得分，这些维度的参考例如，脸部情感、穿搭情感、背景情感、风格情感等。

在模型整体上，我们采用了共享表示的集成方法。这是因为，虽然传统的独立训练的去相关模型构建的集成方法已被证明是增强泛化的有效方法，但是再深度学习背景下，训练一组深度网络是代价很高的，并且会产生效率低下的高冗余问题。在本文的技术方案中，我们采用基于Transformer的共享表示的集成方法，对于图片的情感预测而言，人脸和其他动物的情感预测具有共性，而穿搭色彩、图像风格、背景等在情感预测具有共性，故可以将多种具有共性主图输入到参数共享的模块中。具体底，将模块2生成的多种目标主体的掩膜应用于原始图片上，对这些目标简单共性分类之后，将这些针对不同目标主体的图片分别输入对应的集成网络中，而具有共性的目标都将被输入到同一个集成网络的分支中，每一个集成网络的分支都进行模块3的关键情感特征捕捉。

基于情感分析的研究

。。。如何，分析图像中不同的情感主体。

技术实现

第一，数据预处理

在模型的第一个阶段，图像预处理分为多个不使用图像增强，仅将图像拆分为多个patch之后输入到模型的模块1中，生成不同主体的掩膜，而在模型的第二个阶段，将生成的多种掩膜作用于原始图片，再将不同的输出图片分别拆分为多个patch之后输入到集成网络的不同分支中。

第二，模型

为了关注不同主体的情感预测，以及去除无关因素的干扰，本文采用了纯Transformer来解决上述问题，且在具体实现上，使用基于VIT模型的迁移学习，以保证在有限数据集上获得较好的训练效果。

将图像分割成几个Patch，对每个patch添加位置嵌入，并将得到的向量序列输入到ViT，生成多个主题掩码。

第三，训练

模型整体训练流程

损失函数

参考了yolo的损失函数设计，在对于目标主体的分类和情感的回归上进行计算损失。

草稿

本文的主要目的是利用计算机视觉技术实现对人物的性格进行建模。值得说明的是，对人物性格建模本是一个多模态任务，数据集一般包括文本数、图像和视频数据，也有一些实验通过脑电波和语音等数据建模，但本文只负责对图像和视频数据，具体地，对于这些数据，有必要地做来端到端的训练，或者转为其他模态进行处理。

大五性格 + 伪装性 + 政治倾向。

性取向与面部特征存在些许关联

参考

如何做决策 - 多模态强化学习
性格、情绪分析 - 统计（经验判断）

基于微博客的竞争情报搜集研究:以新浪微博为例

http://www.cnki.com.cn/Article/CJFDTotal-QBZZ201205007.htm
微博客的出现给竞争情报搜集工作提供了新的信息源。国内微博客产品发展迅速,本文选取新浪微博客为研究环境,分析了其独特的信息架构和信息传播模式,认为竞争情报工作者可以通过关注竞争对手、TAG标签、App应用、内容搜索、内容订阅、人际情报网络等六种方法和工具在微博客环境下有效地开展情报搜集工作,并结合实际案例分别对这些方法和工具进行了说明。本文对于竞争情报工作者在新浪微博客这一新型信息源中开展情报搜集活动有一定的指导意义。

性格、心情和情感的多层情感建模方法

https://xueshu.baidu.com/usercenter/paper/show?paperid=650f45d090059dbf6147b6e0f4cbe3bb&site=xueshu_se
针对情感模型没有很好地考虑个性因素的影响问题, 提出一种性格、心情和情感的多层建模方法.通过分析影响情感的因素和人情感状态的变迁过程, 建立性格、心情与情感的映射, 并研究性格与情感、心情衰减的关系, 构建心情和情感衰减函数.通过心理学实验得到情感状态波动时各种情感相互影响的数据, 并通过统计分析相应规律生成情感影响因子矩阵, 融入性格和心情变化、情感激活阈值和情感的相互作用建立多层情感模型.最后通过所 设计的情感预测系统和人对相应图像情感理解的比较, 验证了文中方法的有效性

关键动作\关键场景检测。

性格 、心情和情感之间的映射

性格与心情之间的映射

情感 + 【环境?】= 性格建模
心情和情感的动态变化

生活满意度

心情与情感之间的映射

投其所好

1.做什么
2.怎么做

人脸分类 + 性格识别。

基于人物图像视觉特征的人物性格隐私分析

问题：通过观察人物图像中色彩、纹理、形状、表情、服
装等客观视觉因素，通过人工智能技术，模拟人类
认知过程。
解决方案：
本文提出了一种新的基于人物图
像视觉特征的人物性格隐私分析方法。主要贡献如下。
1) 在心理学和艺术理论的指导下，设计并选择
了面向人物性格分析的视觉特征。同时考虑人物图像
中的全局信息和局部信息，并增加了局部区域之间的
对比特征，更加贴近人类对人物图像的理解过程。
2) 采用具有 5 个维度的人物性格模型，并对
每个维度采用二分类进行建模，收敛了主观判断
的发散性，提高了人物图像性格标定的一致性，
为探寻视觉特征和人物性格之间的关联提供了有
效的基础。
综上，本文在人类认知科学的指导下，提出了
一种基于人物图像分析的人物性格隐私挖掘方法，
该方法通过分析用户授权的人物图像的底层视觉
特征，预测用户性格类型。

针对以上人物性格模型，本文提出了颜色特征、
纹理特征、形状特征、伊顿对比特征和表情特征用
于其分类

HSV 心理感知模型

伊顿对比（Itten contrast）是艺术理论中关联色
彩和图像情感的重要模型，画家在进行人物肖像
画创作过程中依据伊顿模型传达情感，塑造形象。

• 相关工作

1. 提取图像的底层视觉特征，并由此预测用户的喜好品味。
2. 研究了社交网站中基于图像分享的人物情感传递。
3. 分析人物图像中的通用视觉特征，分析第一印象形成的主要因子。
4. 分析了人物面部的主要特征同信任度之间的关联，通过人物图像对人物性格进行分析，已经取得了阶段性的成果。