音频描述（Audio Caption,AC）是高度抽象的跨模态翻译任务,即用高度凝练的自然语言描述复杂的声学场景。音频描述可以对概念、物体、环境的物理属性及高层次知识建模,应用于自动内容描述或以智能和内容为导向的机器间交互等众多领域。目前音频描述系统通常基于解码器-编码器模型,这种基于神经网络的算法在音频描述任务中表现出色,但由于巨大的参数量和计算量,难以在资源较少的硬件平台部署。论文针对上述问题进行研究,主要工作内容如下:1)研究音频描述领域的国内外现状,选择目前在音频描述领域表现优异的CNN-Transformer作为编码器-解码器网络。2)根据已选模型和后续的优化的要求,对公开数据集Clotho进行预处理,构建了包含384单词的多标签分类音频数据集和包含4368单词的搜索词典。3)为了降低模型参数量,基于VGGish对选取音频描述算法进行改进。首先缩短输入音频片段时长以降低输入数据量,之后通过对编码器不同结构的实验,确定最终的算法模型,并使用迁移学习、预训练和Fine-tune的方法对模型进行优化,最后对优化后的算法进行不同位宽的定点仿真实验。4)论文选择MZ 7035FA Xilinx Zynq作为实现平台,设计了由音频采集、特征提取和音频描述等模块组成的音频描述系统。音频采集部分通过帧存储策略降低了需要存储的音频数据;特征提取部分使用只存储有效参数的方法,降低了梅尔滤波需要存储的滤波器系数量;音频描述编码器部分设计4通道并行卷积运算和可配置、可复用的卷积模块,提高了计算效率和资源利用效率,解码器部分设计可复用的矩阵乘法单元计算引擎,提高了资源的利用效率,降低了功耗。论文与原算法相比,所需音频数据参数量下降58.2%,模型参数量下降8.9%,性能仅损失2.6%。并对音频描述算法在硬件平台上进行了优化设计和实现,降低了资源消耗量和计算量。最终,系统消耗60.4%的BRAM资源和63.6%的DSP资源,功耗为3.192W。实际测试中,音频描述系统性能指标SPIDEr为0.202。