随着深度学习技术的不断发展,卷积神经网络逐渐在越来越多的领域取得了超过传统算法的表现。然而将卷积神经网络应用到安防、汽车电子和智能手机等场景时,一方面,算法对于算力的需求以及功耗的控制,使得传统硬件平台无法胜任,另一方面算法模型的开发与硬件加速平台的分离,使得算法部署的复杂度过高。因此,针对以上两个问题,本文围绕卷积神经网络加速器设计和快速部署工具设计展开研究,提出了一种基于稀疏矩阵优化的神经网络加速器架构以及配套的快速部署系统。本文的主要工作包括硬件与软件两个部分。硬件上,本文首先对卷积神经网络中计算量最为集中的卷积层进行分析,提出一种在资源约束条件下的卷积循环展开方式,并设计了一种以矩阵运算为核心的神经网络加速器,能够在常见的卷积层运算中,保证较高的DSP利用率。针对应用最广泛的Re Lu激活函数导致的特征稀疏性,本文对矩阵乘法进行了变换,并通过特征压缩模块、权重预取模块和稀疏矩阵计算模块实现了稀疏矩阵的加速。此外,加速器将二维池化运算分解为两次一维池化运算,实现通用的池化运算模块。在Res Net18的测试中,取得了162.29GOPs的算力,通过稀疏矩阵优化,减少了38.62%的卷积层计算时间,对比其他基于FPGA的工作,单位DSP的算力提升了90.9%。最后,将设计的神经网络加速器与CPU结合,构成了一个So C系统。软件上,针对模型部署到加速系统工作繁复的问题,本文设计了一套快速部署工具链。为So C提供了软件支持,包括系统初始化,加速器驱动和内存管理等API。快速部署工具链包括三个部分,模型预处理工具对模型结构解析,将卷积层、激活层、批归一化层和残差层融合,并产生模型结构描述文件,模型量化模块对模型数据进行INT8量化,确定模型推理时的定点小数定标位置,最后模型映射工具使用模型预处理工具和模型量化工具产生的文件,实现在加速器中进行模型推理。最终在Res Net18的测试中,TOP5准确率为86.89%,TOP1准确率为66.56%,对比Pytorch中的预训练版本精度分别下降了2.19%和3.20%,能效比为23.50GOPs/W,是CPU的55.95倍,GPU的2.5倍。