正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）技术因其频谱效率高、可有效抵抗频率选择性衰落而得到广泛的研究和应用。然而实际的应用中存在信道冲激响应的长度可能超过循环前缀（Cyclic Prefix,CP）长度的情况,称之为CP不充分。CP不充分会造成接收信号中存在子载波间干扰（Inter-carrier Interference,ICI）和符号间干扰（Inter-symbol Interference,ISI）,使得高阶调制OFDM系统中单抽头检测的误码率急剧升高,接收机无法工作。因此,有必要对CP不充分OFDM系统加以研究,提出一种适用于高阶调制OFDM系统的复杂度较低的高性能检测算法。首先,本文研究了基于分组多子载波联合检测的串行干扰消除算法在单输入单输出（Single-Input Single-Output,SISO）CP不充分OFDM系统检测中的应用。针对经典串行干扰消除算法误码率较高的问题,本文提出了基于分组最大似然的串行干扰消除算法和基于分组Det Net的串行干扰消除算法,利用多子载波联合检测提高每次迭代判决的精确度,减轻干扰消除过程中的误码传播,最终实现检测性能的提升。仿真结果表明,在某些仿真场景下本文所提基于分组多子载波联合检测的串行干扰消除算法的检测性能可以实现逼近甚至超越CP充分OFDM系统的误比特率性能。并且其中基于分组Det Net的串行干扰消除算法针对不同的信道功率延迟分布谱以及OFDM系统不同的子载波数目表现出了良好的鲁棒性。然后,本文进一步提出了适用于CP不充分SISO-OFDM系统的基于卷积神经网络（Convolutional Neural Network,CNN）的并行干扰消除算法。相比于基于分组多子载波联合检测的串行干扰消除算法,基于CNN的并行干扰消除算法可以联合更多子载波的检测。本文进一步利用优化的网络架构Dense Net替代CNN得到基于Dense Net的并行干扰消除算法。仿真结果表明,相比于基于分组Det Net的串行干扰消除算法,当CP的长度为0时基于CNN的并行干扰消除算法和基于Dense Net的并行干扰消除算法可以进一步提高CP不充分OFDM系统的检测性能。同时编码环境下的误帧率仿真表明,借助全连接网络,基于分组Det Net的串行干扰消除算法和基于Dense Net的并行干扰消除算法可以输出能够被信道译码器利用的软量信息。最后,本文将CP不充分问题扩展到多输入多输出（Multiple-Input Multiple-Output,MIMO）OFDM系统中加以研究。对基于分组Det Net的串行干扰消除算法提出改进,使其适用于CP不充分MIMO-OFDM系统。本文给出的仿真结果表明,在无CP的MIMO-OFDM系统中,基于分组Det Net的串行干扰消除算法可以取得完全超越CP充分MIMO-OFDM系统的检测性能。并且,基于分组Det Net的串行干扰消除算法可以适应MIMO信道相关性的变化,不需要重复训练网络。