基于序列到序列神经网络模型的生成式摘要研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:leoric
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面对互联网的海量数据,自动摘要技术通过一定手段压缩文字内容获取文章的主旨,摘要是对文本信息的高度概括。随着深度学习技术的不断发展,目前生成式摘要主要使用序列到序列模型,通过编码器-解码器框架将文本编码后的语义向量传入解码器后生成摘要。针对已有模型框架中存在的一些问题,本文从充分挖掘文本序列信息出发提高模型效果,具体研究工作主要包括以下三个方面:(1)首先,提出一种基于注意力机制网络结构的自动摘要模型。考虑到文本信息具有时序特征,使用循环神经网络编码器对输入序列进行编码,同时为了提取句子短语特征,本文在原有模型基础上引入卷积网络。在注意力计算模块结合两种网络结构的编码信息,计算得到新的上下文向量,传入解码器生成摘要。实验结果表明,本文提出的模型在ROUGE评测指标下表现较好。(2)其次,提出一种基于自注意力门控网络的自动摘要模型。由于卷积核大小及训练时间等方面的限制,导致距离较远的特征之间缺少全局上下文联系,为解决此问题,本文使用自注意力门控处理卷积编码信息。实验结果表明,本文提出的模型实验结果在ROUGE评测指标下有所提升。(3)最后,提出一种基于双重门控注意力网络的自动摘要模型。本文旨在从丰富解码信息出发,在注意力模块构造门控分别筛选两个编码网络输出的核心信息,并使用传统的软注意力计算方法分别得到各自的上下文向量,在后续解码过程综合两个注意力模块的结果获取摘要。实验结果表明,引入双重门控注意力后,本文提出的模型性能有所提升。
其他文献
近年来,员工战略共识问题已成为企业战略管理中的重点问题。员工的战略共识就是各级员工对本企业发展战略的理解程度、认同程度和执行意愿。员工的战略共识程度直接影响着企
森林康养基地凭借优质森林资源以发展系列康养活动项目,是建设健康中国、实施乡村振兴战略的重要措施。本文旨在分析基地资源环境本底与森林康养活动之间的科学关系,建立多维
同人类声音发育类似,多数发声动物早期声信号会经历一系列改变最终发育为成熟的声信号,用于社群交流或自身导航。研究表明,声信号发育过程会受到遗传因素、成熟效应和发声学
基于半导体光电极的光电化学(PEC)分解水制氢能够能够将吸收的太阳能转换为氢能,被认为是破解当前能源危机和环境问题的一把金钥匙。因此,为了实现高效的光电化学分解水,探索和
石油开采技术一直是国际上衡量一个国家工业水平的重要指标。近年来,我国对石油的开采力度不断扩大,越来越多的油田进入到二次开采时期。目前,我国大部分油田二次开采使用的
随着目前经济发展,环境问题的不断出现,环保类PPP项目成为政府关注的重点,但污水处理项目落地情况很不理想。建设运营过程中存在的拖欠特许收益,实际污水处理量超出预期,PPP
2014年3月推进的本溪市食品药品监督管理体制和工商质监行政管理体制改革,整合了县(市、区)食品安全办公室和工商行政管理部门、质量技术监督部门、食品药品监管部门的机构、
人工智能在给人类的生活带来便利的同时,也引发了许多政策、法律以及伦理上的问题。在知识产权领域,创作型人工智能的出现给现有著作权制度带来了不小的冲击,因此亟需对人工
目的:本研究通过分析吸烟对中国中老年人群个人收入和家庭灾难性卫生支出的影响,综合评价吸烟对中老年个人和家庭经济状况的影响,准确认识吸烟所造成的经济损失,为制定合理的
随着电声行业不断发展,扬声器已成为人们生活娱乐中必不可少的一部分,与此同时消费者对扬声器音质的要求不断提升,听者们已开始追求Hi-Fi。完美的扬声器音质需经过多次参数测