基于子主题的多文档摘要关键技术研究

来源 :北京邮电大学 | 被引量 : 7次 | 上传用户:w313829237
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多文档摘要是自然语言理解领域的一个重要课题。它的目的是从内容相似的文档集合中抽取重要信息并生成信息丰富、语言简洁的摘要,从而提供一个快速获取、浏览和使用信息的手段。本文主要研究基于子主题的多文档摘要技术,即将多个文档的内容按照信息的侧重点不同划分为多个子主题,再从各个子主题中按照一定策略抽取重要信息,去除冗余信息进而生成摘要。这种方法使文摘内容具有更好的平衡性,包含的信息简洁全面。针对子主题划分的任务,本文采用聚类方法将内容相似的信息聚集到一个子主题中。为此,本文深入研究了四种计算句子相似度的方法,并在这四种相似度计算方法基础上分别进行了层次聚类。本文提出了综合使用语义词典和统计信息的方法计算句子相似度的方法,可以更加准确的刻画句子相似度,为子主题划分和摘要生成奠定了基础。在子主题划分的基础上抽取句子步骤涉及到以下几个子问题:子主题特征词抽取,句子重要度的计算、句子抽取策略。由于每个子主题覆盖整个文档集合的一个侧面的信息,因此需要从子主题中抽取出体现该子主题核心信息的特征词,称为sub-topic-signature(STS)。这些特征词对于后面句子的抽取具有举足轻重的意义。本文试验了通过count-idf方法、假设检验方法等几种方法得到的结果,并给出了比较分析。在句子重要度计算步骤中,综合考虑了句子位置因素、实体因素、核心词因素、指示词因素等因素,综合多个因素给句子打分,按照重要度排序作为句子抽取的备选顺序。在抽取过程中,本文提出了使用有效词的权重均值数作为信息量描述方式,根据已经抽取的句子集合从备选句子集合中抽取新句子,使最终抽取出的句子集合包含的信息量最大,从而达到使文摘的冗余信息最小的目的。基于以上方法,我们在5个类别的文档集合上分别进行了试验,并使用基于句子准确率/召回率方法和基于n-gram方法分别进行了文摘的质量评估。实验结果表明,我们在多文档摘要的子主题划分方法和句子抽取策略上的改进在一定程度上提高了最终摘要的质量。本文是对多文档自动摘要的初步探索,在子主题划分方法和句子抽取策略方面取得了一些成果。多文档自动摘要具有广阔应用空间和发展前景,还需要我们付出更多的工作和努力。
其他文献
【摘要】:大跨度空间钢结构具有造型美观、形式多样化、经济性好等优点,日益受到广大建筑设计师们的青睐。本文主要论述了大跨度空间钢结构特点和施工方法,并结合五棵松体育馆大跨度空间钢结构施工工程阐述了现代大跨度空间钢结构施工技术。  关键词:大跨度;空间钢结构;施工技术;质量控制  中图分类号:TU391文献标识码: A 文章编号:  引言  近年来,在一些发达国家和地区,各种大跨度空间钢结构得到迅猛发
期刊
微功率无线通信系统以其低功耗、低成本、组网简单等优势,被广泛应用在工业和民用领域。但同时它也存在着易受干扰和通信距离太近等不足。为了提高微功率无线通信系统的性能,
3D图形引擎是计算机硬件和软件开发的最新技术,有着实时性,交互性以及强大漫游功能的主要特点。3D图形引擎目前在很多领域内都有很广泛的应用,如军方的模拟实战系统、虚拟现实以
随着物联网与大数据应用的快速发展,RFID系统应用越来越广泛,同时也暴露出了它在无线数据传输过程中的安全问题,和受阻于标签资源的限制。近年来,移动互联网的快速发展带动了
油画作为一个重要画种历史悠久已有上百年,它是西方的一种传统绘画艺术。它的绘画手段不同与其它画种,同时也有自己特殊的魅力。但是由于种种的原因,大量的赝品存在于己有的
近年来,黄委会提出了建设“三条黄河”的宏伟目标,数字水调是数字黄河建设的主要组成部分,也是直接关系到国计民生的大计。在“数字水调”建设中,引黄涵闸测流自动化是实现这
频率合成器是现代电子系统的重要组成部分,是决定电子系统性能的关键设备之一。随着现代通信技术的发展,系统对频率合成器提出了越来越高的要求。低相位噪声、高频谱纯度、高捷
目前在无线高速宽带城域网技术IEEE802.16(WiMAX)、3GPP长期演进技术LTE和3GPP2超移动宽带UMB技术中,都采用MIMO技术来提高信道容量,增强频谱利用率;而MIMO检测分离经过MIMO
目前,视频跟踪技术已经广泛应用,但是仍面临很多挑战,如目标与背景对比度差,运动目标姿态的改变,背景中的噪声和干扰等,导致跟踪的鲁棒性差。使用单一的特征通常难以鲁棒地跟踪目标
【摘要】:我国城市污水越来越多,传统处理方法效果不理想。随着膜技术的发展,膜性能的提高及其成本的不断降低,采用膜技术对城市污水处理越来越受欢迎。本文对膜技术进行简要叙述且说明其优点,并总结膜技术在城市污水处理的经验。  【关键词】:膜技术;城市污水;应用  中图分类号:[TU992.3] 文献标识码: A 文章编号:  引言  随着城市化进程的加快,城市污水已经严重影响与城市周围水环境。相关资料显
期刊