跳频系统智能抗干扰决策技术研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:lwsun_2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电磁环境的日益恶劣和干扰的智能化,传统的跳频通信抗干扰技术已难以满足军事通信需求,迫切需要具有环境感知和学习的智能抗干扰技术。强化学习和深度强化学习算法通过具有学习能力的智能体(Agent)与环境交互并学习,可以适应高动态的复杂环境并根据自身状态得到最优决策,已经被广泛应用在无线通信领域。因此,本文主要研究应用强化学习和深度强化学习的跳频通信系统智能抗干扰决策技术。首先,研究了复杂电磁环境下跳频通信系统智能抗干扰决策问题,将跳频用户视为Agent,以Q学习为基础进行决策问题建模,并提出基于最优解引导机制的启发式Q学习(Heuristically Accelerated Q-Learning with Optimal Solution Guidance Mechanism,HAQL-OSGM)算法。针对强化学习收敛速度慢和探索与利用平衡困难的问题,根据最优解引导机制设计了相应的启发式函数,并与Sigmoid函数一起应用于Q-Learning算法的动作选择策略中,更好地平衡了探索与利用,提高了算法的收敛速度。仿真结果表明,较传统方法,基于HAQL-OSGM的跳频通信系统智能抗干扰决策算法的收敛速度、收敛性能和跳出局部最优解能力等方面都具有明显优势,且对多变的干扰环境具有适应性。其次,研究了变跳速变间隔跳频图案的智能决策。针对传统跳频图案设计方法前置条件多、参数灵活度低、抗复杂干扰能力不强的问题,提出了基于Pareto样本和优先经验回放的深度Q网络(Deep Q-Network with Priority Experience Replay Based on Pareto Samples,PPERDQN)的双变跳频图案智能决策算法。使用深度强化学习提高跳频图案参数决策的灵活性,采用优先经验回放技术和Pareto最优解理论进行改进提高算法的学习效率。仿真结果表明,在双变跳频图案的智能决策中PPER-DQN算法能更高效地筛选样本,有效提高了算法收敛速度,产生的双变跳频图案较常规跳频图案性具有更强、更鲁棒的抗干扰性能。最后,研究了跳频异步组网通信中的智能抗干扰决策问题。针对传统跳频组网通信中频谱资源分配效率低、抗复杂干扰能力差的问题,将各子网分别视为Agent,提出了基于集中式训练和分散式执行框架的多智能体模糊深度强化学习(Multi-agent Fuzzy Deep Reinforcement Learning based on Centralized Training and Decentralized Execution,MFDRL-CTDE)算法。为了适应非稳定的环境和提高Agent相互学习的效率,引入集中式训练和分散式执行框架;提出了基于模糊推理系统的融合权重分配机制以解决Agent之间的差异性和协作问题;引入优先经验回放技术和竞争性网络结构,以提高算法学习效率。仿真结果表明,MFDRL-CTDE算法具有更快的收敛速度和更高、更稳定的收敛性能且对多变的复杂电磁环境有更好的通用性。
其他文献
目的:调查国内医疗机构使用最多的几款合理用药辅助信息系统的应用情况,为建立儿童群体适用的合理用药辅助信息系统提供参考。方法:通过文献检索和主要用户使用情况调查,从系统设计、运行特点、客户使用等多个维度进行综合评价。结果:七款主流合理用药辅助信息系统均具有各自的特色和优势,也存在明显缺陷和不足,尤其对儿童患者的适用性和针对性需进一步加强。结论:建立儿童患者适用的知识库和规则库,因地制宜完善儿童合理用
学位
学位
学位
在5G通信和国家工业物联网快速发展的时代,人们在军用和民用通讯上的数据需求量与日俱增。根据香农采样定理,带宽越宽可携带的信息量也就越大,天线作为通信系统的最前端其重要性不言而喻,超宽带阵列天线也凭借其在通信和探测领域的高带宽、高速率、高分辨率等特点而得到广泛的应用。但传统的超宽带阵列天线往往其体积庞大,造价较高限制了其进一步的发展。本文采用国际上一种全新的超宽带阵列天线设计方法,紧耦合超宽带阵列设
采用调制掺杂氮化镓(GaN)异质结结构的高电子迁移率晶体管(HEMT)在过去的十年中得到了迅速的发展,GaN被认为是高频和大功率相结合的最有前途的半导体技术之一,准确的GaN器件的模型是计算机辅助电路设计,特别是高效率功率放大器(PAs)和单片微波集成电路(MMIC)设计的关键组件,在众多建模方法中,行为模型因其高精度和低复杂度的特点脱颖而出成为了研究热点。近些年来,以机器学习为代表的人工智能技术
自互联网时代起,数字、符号、标签等结构化数据和图像、视频、文本等非结构化数据爆发性增长。这两类数据的高效精准混合查询是实现高质量信息检索的一项关键技术,也是目前工业界亟需突破的瓶颈。当前混合查询方法主要是分别查询结构化和非结构化数据再进行结果合并重排,即前者主要通过传统数据库查询实现,后者主要将非结构化数据向量化并通过近似最近邻搜索(Approximate Nearest Neighbor Sea
随着无线通信技术的发展,雷达技术被广泛地应用于目标识别、定位探测及医疗健康监测等领域。T/R(Transmitter and Receiver,T/R)组件作为雷达技术应用的硬件支撑,其性能好坏直接影响了信息传递和收集的准确性。作为T/R组件中不可或缺的核心器件,射频开关和射频驱动放大器备受学者和工程师的青睐。本文基于国产化0.5-μm Ga As工艺,针对应用于T/R组件的射频开关和射频驱动放大
学位
近年来,大数据、云存储、机器学习等新兴互联网技术发展,使得网络环境越发复杂。在这种复杂的网络环境下,身份认证技术作为安全服务体系最底层的环节对网络的安全性起着重要作用。生物特征凭借其唯一性、便捷性等优势在身份认证领域被广泛应用,这同时也对隐私保护提出了新的要求。生物特征密码技术通过对生物特征识别技术和密码技术的有机结合,能够在保护秘密信息的同时解决生物特征模板的保护问题,为身份认证系统提供安全保障