近年来,无人机集群已逐步从概念走向现实。本文以小型固定翼无人机集群为研究对象,围绕其在复杂条件下编队控制的关键问题展开研究。针对无人机集群通信受限、控制受限和规模天花板效应等挑战,从抗毁性拓扑、非线性编队控制律、分组分层控制架构等角度开展了基础理论研究和关键技术攻关,并进行半实物仿真和飞行验证,实现了复杂条件下大规模集群精确鲁棒的队形保持和队形变换。论文的主要工作及创新点如下:（1）提出基于极大平衡点独立无源性（Maximal Equilibrium-Independent Passivity,MEIP）的无向/有向非线性网络的输出一致性协议,并给出了协议成立的拓扑条件,扩展了泛化的非线性网络系统的稳定性分析边界。本质非线性给集群协同,特别是机间交联拓扑和稳定性关系带来了不同于传统线性系统的巨大理论挑战。论文采用极大平衡点独立无源性的非线性对象网络刻画一般意义上的无人机集群及其交联拓扑,证明了在无向网络拓扑连通条件下,满足严格输入无源性的协议可使集群达到输出一致;在有向网络拓扑为有根图的条件下,满足严格输入无源性的经典一致性协议,可使由一类特殊的满足MEIP性质的对象输入有界对象组成的集群达到输出一致。（2）提出面向集群控制的k边和k顶点抗毁性拓扑的定义,和边/顶点抗毁性拓扑的代价一致森林搜索等生成算法,可有效实现复杂条件下局部通信链路失效和部分无人机损毁等意外事件的集群拓扑预生成。论文基于一致性满足的无向/有向拓扑条件,分别定义了k边/k顶点抗毁性拓扑。进一步,对于无向拓扑,论文建立了抗毁性与无向图连通度的关系;对于有向拓扑,论文给出了有向抗毁性拓扑的基本性质,并在此基础上提出了代价一致森林搜索和贪婪搜索算法,可以有效生成满足约束的边或者顶点抗毁性的拓扑结构。（3）提出基于不变集理论的固定翼无人机集群混合式协同路径跟随控制律,实现了控制受限条件下精确稳定的无人机集群队形保持和变换。以协同路径跟随为核心,论文设计了一种易于实现的固定翼无人机队形保持和变换的协同框架。在此基础上,考虑无人机速度和航向角速率的限制,基于不变集提出了满足无人机控制限制的混合协同控制律,并分析了系统的大范围渐近稳定性。对于队形保持问题,提出的控制律能够使所有无人机收敛到期望路径上,且相邻无人机的曲纹距离收敛到期望值;对于队形变换问题,设计的控制框架能够使集群变换成新队形的同时,所有无人机的速度收敛到巡航速度。半实物仿真和实物试验结果验证了控制方法的有效性。（4）提出协同路径跟随编队飞行的鲁棒控制律,并给出闭环系统的稳定性条件,可有效克服有界未知风扰给编队控制带来的挑战。通过引入虚拟目标点,论文提出了不依赖于无人机最近投影点的路径跟随方法,并通过协调路径上的虚拟目标点实现集群的协同。论文一方面设计了有界风扰完全未知时的控制律,给出了实现协同路径跟随的充分条件,并推导出路径跟随位置误差的上界;另一方面,针对风扰可以估计的情形,论文设计了引入风扰估计项的协同路径跟随控制律,证明了估计值准确时,闭环系统的渐近稳定性,以及估计值存在偏差时,位置误差的输入输出有界性。半实物仿真验证了控制律鲁棒重设计的有效性。（5）设计了基于群组的分层控制模型,并在此基础上提出典型意外事件的处理策略,可实现复杂条件下大规模集群的协同控制。结合抗毁性拓扑与协同路径跟随控制律的设计,论文建立了面向大规模集群的分组分层控制模型。对群组内的长机采用协同路径跟随控制律,对僚机设计了长机跟随控制律;同时建立以各长机为顶点的抗毁性拓扑结构,以提升系统的拓扑鲁棒性。在此基础上,针对局部通信链路失效和部分无人机损毁等意外事件,一方面利用抗毁性拓扑提升集群的容错性,另一方面设计了拓扑和编队重构策略,进一步提升集群系统的可靠性。100架规模的全流程数值仿真和21架规模的实物飞行,验证了大规模集群控制策略的有效性。