随着第五代（the fifth-generation,5G）无线通信系统逐渐在全球范围内部署,学术界和工业界一直在积极探索未来的无线通信系统,例如B5G（beyond 5G）和6G（the sixth-generation,6G）,旨在满足更高的通信性能,例如超高数据传输率和高能效,全球覆盖率和连通性以及极高的可靠性和低延迟。近年来,智能反射面（Intelligent Reflecting Surface,IRS）被认为是可实现高能效、高容量可靠通信的前景技术之一,其低成本的制造工艺和灵活的部署条件使智能反射面在实际实施方面也有很大的优势。IRS多被作为一种小尺寸、低功耗的辅助通信设备,其能通过调整反射系数来智能化改善无线传输环境。正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）技术是目前室内外复杂多径环境下常用的的一种高效传输波形,因此将IRS与OFDM通信系统有效结合,可实现复杂无线通信场景下系统容量和能效等的进一步提升。此外,深度学习作为一种可解决传统方法难以处理的非线性非凸问题和高计算量问题的方法,其在复杂通信场景下,针对通信物理层的一些估计和优化问题也有着优越的性能表现。综合上述原因,本文主要研究了智能反射面辅助的多输入单输出（Multiple Input Single Output,MISO）OFDM通信系统中,基于深度学习的信道估计以及发射机和反射面波束成形联合优化问题。本文介绍了智能反射面的结构和原理,接下来对OFDM通信系统的收发机结构、信道估计算法和多发单收OFDM系统中基于最大化可达速率的波束成形进行了一个简短的说明。之后介绍了深度学习中神经网络的神经元结构,以及一些常用的人工神经网络模型。最后对深度强化学习的原理和常用算法进行了阐述。信道估计是无线通信系统中用于获取系统信道信息的重要组成模块,针对智能反射面辅助的MISO-OFDM系统,本文研究了基于深度学习的信道估计算法。本文介绍了目前针对IRS辅助通信系统信道估计常用的反射面系数设计方法,并提出了基于深度学习的信道估计模型,该模型通过引入卷积神经网络来自适应学习信道特征。仿真结果表明,该系统性能优于传统最小二乘信道估计法,并在系统环境失配情况下有较好的鲁棒性。针对IRS辅助通信系统中的波束成形设计,本文研究了基于深度强化学习的IRS辅助MISO-OFDM系统发射机和智能反射面波束成形联合优化问题。本文根据最大化可达速率准则,提出了一种基于深度确定性策略梯度算法（Deep Deterministic Policy Gradient,DDPG）的低计算复杂度波束成形优化模型。该模型利用系统的信道信息,根据学习得到的最优策略求解优化问题,得到最佳波束成形。仿真结果表明,该方法相比传统凸优化算法,在较小性能损失下大大降低了计算求解的复杂度。