基于边缘节点集群的分布式存储技术研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:mldn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G时代的来临和物联网(Internet of Things)的飞速发展,物联网智能设备不断普及,且数量飞速增加。各类监控器、感知器、包括人们日常使用的移动智能手机,每时每刻都在产生着大量的数据。硬件性能的提升使得互联网的边缘,大到宏基站,主交换机,小到网关服务器,边缘服务器甚至路由器等设备都具有了一定的计算和存储能力。因此,边缘计算的概念被提出来,将数据的实时计算和预处理从云端迁移到边缘,既减少了网络传输的带宽消耗,又降低了响应延迟。由于当前主流的对边缘计算的应用场景都是广域(wide-range)范围的,如智慧城市,车联网,城市计算等。然而,在一些小规模和区域性(local area)的应用场景中,如一个校园,一个停车场,一个工业园区甚至一栋写字楼中,这类小范围的应用场景中,也同样需要利用边缘节点的计算和存储资源来降低延迟,节省带宽。考虑到小范围的应用场景下,具有数据量小,资金有限等特征,因此,本文中,我们将研究一个去中心化的边缘存储架构,来利用边缘节点集群解决小规模应用场景下的存储问题。本文将存储抽象为服务(Storage as a Service),提出了一个去中心化的边缘存储服务DECS。本文首先对去中心化的边缘存储架构进行了设计,然后对DECS中的数据存储策略进行了研究,用户在读写数据之前会通过DECS中的权衡模块进行权衡,选择最优的边缘节点来读写数据,使得用户能够将数据写入到最有可能被消费的边缘节点,用户读取数据的时候能够有更低的延迟。随后本文介绍了DECS中的数据再平衡策略,我们为DECS设计了一个预测模块,该模块可以定时利用数据的历史访问热度,先验地构造机器学习模型预测数据未来一个时间段的访问量,预先为数据构建转发规则,并且对热点数据进行复制迁移与内容分发。转发规则的构建优化了数据的写入方向,而内容分发及副本策略则可以让热点数据能够更快的被访问到,二者都起到了降低用户读延迟的目的。同时DECS中的空间清理模块可以对边缘节点中的冗余的数据进行回收,节省边缘节点中的存储资源。本文对DECS的各个模块,包括元数据模块、数据存储模块、数据处理模块、预测模块、权衡模块以及空间回收模块均进行了详细地阐述,并且对于其中所利用到的算法、公式进行了细致地描述。随后本文使用微服务的方式,编码实现了DECS。对于DECS的实现细节,类实体设计,流程交互等方面,本文均进行了详细地介绍。最后本文使用docker容器的方式,将该存储服务DECS搭建成为一个去中心化的边缘节点集群。并且对该集群使用两个真实的小规模应用场景来进行实验和验证。本文的实验分别验证了DECS预测模块过滤器的必要性,预测模型的准确性。通过读访问延迟来验证了数据存储模块的以及权衡模块中各个算法的有效性,并且本文还通过边缘集群资源分布的均匀性来验证了DECS中的数据再平衡策略。通过与当前其他的边缘存储服务模型进行比较,证明了本文提出的去中心化的边缘存储服务DECS更加适用于资源有限且资源分布不均匀的小规模边缘集群。DECS起到了降低用户延迟,节省网络带宽和边缘集群资源的目的。
其他文献
随着大规模接入和高速率服务需求的日益增长,存在天然优势的多播传输已得到研究者们的重点关注,但其广泛应用往往因为频谱利用率仍不能满足日益提升的传输要求而陷入瓶颈。而近年来以非正交多址(Non-orthogonal Multiple Access,NOMA)接入以及层分复用(Layered-division Multiplexing,LDM)为代表的非正交复用技术可以进一步增加用户接入并提升频谱利用率
太赫兹通信和探测系统是当前电子领域的研究热点之一。频率选择表面是太赫兹系统中的常用关键部件,其中特性可调的频率选择表面因其灵活性而受到特别关注。传统电磁材料和器件在太赫兹频段的可调谐性受到限制,而新兴石墨烯材料在太赫兹频段却表现出良好的电磁调控能力。因此,近年来国内外学者对石墨烯频率选择表面进行了深入研究,主要集中在其可调谐性能上。本文在此基础上,研究了具有高频率选择性的可调石墨烯频率选择表面,主
现代通信设备可能暴露在各种噪声环境中,有效量化终端的噪声抑制效果尤为重要。针对这一问题,ITU-T P.835建议书提出一种主观测试方法,从语音质量S-MOS、残留噪声质量N-MOS、整体抑噪性能G-MOS三个维度进行评价。在客观评价方面,国际上存在ETSI EG 202 396-3、ETSI TS 103 106及ETSI TS 103 281三种评价方法,但其对于中文语音的适用性有待考量。因此
Wi-Fi作为互联网接入的重要技术手段,覆盖范围十分广泛。但近十几年的研究表明,Wi-Fi不仅能支持用户无线上网,还能对用户进行室内定位和人体感知。Wi-Fi信号中的信道状态信息CSI(Channel State Information)能够同时反映信号的幅度与相位变化,其中相位信息反映的信号到达角度Ao A(Angle of Arrival)与天线阵列方向结合可实现定位。此外,人体运动对信号产生
由于不同被试的生理信号之间存在着个体差异性,脑机接口系统在推向大范围现实应用时受到了严重的阻碍。在使用传统的机器学习方法进行跨被试的情绪与疲劳检测时,个体差异性造成的数据分布差异使得模型的精度大幅下降。另一方面,现有的一些方法主要关注迁移学习中的域适应方法,训练个性化模型对新用户进行检测。然而,个性化模型的训练和校准仍然需要付出大量的时间和高昂的成本对新用户进行数据采集,这使得个性化的解决方案效率
在半导体芯片生产流程中,比如氧化、沉积流程,硅片将组批后加工。工件的组批以及批次的调度是个需要联合优化的问题,被称为批处理机调度问题。此外,批处理加工设备昂贵、生产负荷高,需要对设备进行预防性维护。本文研究考虑预防性维护的批处理调度问题,针对批处理机组批、批次调度和预防性维护联合优化问题,建立数学模型并设计求解算法。本文主要讨论两个问题,一个是考虑灵活周期预防性维护的批处理调度问题,另一个是考虑机
现代通信技术中,CP-OFDM(Cyclic-Prefix Orthogonal Frequency Division Multiplexing)是被4G LTE(Long Term Evolution)以及5G NR(New Radio)等标准做为物理层调制波形的高效多载波调制技术。而CP-OFDM技术带外辐射严重,不能有效利用空白频谱资源。因此FBMC-OQAM(Offset Quadratu
随着通信技术的不断发展,通信信号调制手段日新月异,传统的调制识别方法难以满足实际需要。在现代化通信对抗中,及时准确地获取信号的调制方式是进行信息提取和干扰引导的重要前提。论文针对现代通信对抗中的通信侦察系统,立足于实战中“实时+准确”的需要,研究设计了一种融合决策树与高阶累积量的调制识别算法,对侦获的信号进行调制分析。论文致力于分析通信信号的统计特征与频谱特性,并对两个具有递进关系的目标进行了研究
中国5G标准的发布及商用化服务的快速推进,给超高清产业带来极大的助力。直播编解码器作为一个负责对直播信号进行实时编解码处理的工业化软硬件产品,是现有高清直播端到端流程中必不可少的一环。目前业内对超高清直播业务场景评测方法认知尚未普及,从而对业务支撑所需的直播编解码器的评测研究工作相对欠缺。因此,有必要研究一种面向超高清的直播编解码器技术评测方法。本文首先分析和研究了超高清视频,特别是HDR相关技术
当前无线移动通信传输数据呈倍数增长,导致频谱资源紧张的现状。传统无线通信发展基于OSI七层模型,物理层专注于从物理频谱带宽等角度逼近通信容量。同时,传统信源信道联合编码研究已经相对成熟,一定程度上从数据无差错传输角度提升信道容量。然而传统信源信道联合编码仍存在诸多问题。一方面,传统信源信道联合编码问题往往通过分离定律将其分解为信源编码、信道编码等若干步骤。分离定律的基本理论是将通信的母问题分解为多