作为用户创建和分享信息的平台，社交媒体已经成为人们生活的重要组成部分，每天越来越多的人通过社交媒体发布海量的多媒体内容以表达自己的观点和情感。针对这些用户生成数据的情感分析能够有效分析用户行为和心理，发掘用户需求，具有重要的应用价值。随着社交媒体中用户发布的视觉内容日益增多，视觉情感分析引起了广泛关注。
　　与目标识别任务不同，图像的情感识别是一种更加抽象的任务，其关键在于提取判别性的视觉特征。深度学习方法能够从大规模数据中自动学习特征，被广泛应用于视觉任务中。目前已有研究将深度学习技术与视觉情感分析任务相结合并取得了许多成果，但仍然存在一些局限性。例如，现有的方法通常从图像整体提取特征而未能充分考虑图像中重要的局部区域；忽略了图像多层次的特征且未能充分挖掘特征的空间信息和语义信息。为了获取更具判别性的特征表示，本文主要利用图像重要的局部区域信息改善图像表示以及充分利用多层次特征的互补性并对特征进行强化，最终将提取的判别性特征用于视觉情感分析。
　　本文的主要研究内容和贡献如下：
　　(1)针对现有的视觉情感分析方法主要围绕图像整体构建情感表示，而没有对图像中重要的局部区域区别对待的问题，提出了一种图像整体与局部特征融合的视觉情感分析方法。具体而言，该方法将区域检测和情感分类集成到一个统一的框架内，通过显著性检测网络提取图像的显著性区域特征，同时，利用图像级别的情感标签通过弱监督学习的方式提取图像的情感区域特征。最后，将显著性区域特征和情感区域特征作为图像的局部表示，通过融合图像的局部特征和整体特征到图像更具判别性的特征表示。
　　(2)针对现有的基于深度学习的图片情感分类方法未能充分利用图像多层次的特征且特征的表达能力不足的问题，提出了一种基于双重注意力多层特征融合的视觉情感分析方法以获得更具判别性的视觉特征，从而提升情感分类效果。具体来说，该方法首先通过卷积神经网络提取图像多通道的多层次特征；然后通过空间注意力机制对多通道的低层特征赋予空间注意力权重，通过通道注意力机制对多通道的高层特征赋予通道注意力权重，分别强化不同层次的特征表示；最后融合强化后的高层特征和低层特征，形成用于训练情感分类器的判别性特征。