当前位置: 首页 > 科研项目 > 高效能存储 > 正文

高效能存储系统组建方法研究

【来源: | 发布日期:2018-04-03 】

本课题的研究整体围绕本项目两个关键科学问题(面向服务的异构融合存储体系和复杂应用环境下泛在存储服务支撑架构)展开,重点研究多应用复杂环境下,大规模存储系统提取并挖掘各种数据集的动静态特性,并以此来自适应调整数据在异构存储器件、设备和存储域中的分布与组织等,从而发挥异构环境下各种存储器件、设备和存储子系统的最高效率。研究支撑大规模高效存储服务的新型理论和方法,设计高效系统运行机制、方法和策略,适应用户或者应用服务的动态需求在存储系统性能、可靠性、安全性、能耗和价格成本等多目标上达到一个最佳的平衡。

具体研究内容包括以下几个方面:

1. 基于“市场”机制的协同竞争评价模型和实现机制研究。

考虑到传统的全局集中分配和管理机制根据少量静态目标参数(优先级、负载平衡和空间占用率等)进行分配,很难适应这种大规模多维度动态资源调度。考虑引入所谓“资源市场”机制实现资源在全局的动态调度。

2. 应用服务存取特征提取、存储和使用

针对多应用、多用户的大规模复杂应用服务环境,需要自动获取各种不同方面的应用服务存取特征,包括应用需求(性能、可用性和能耗等)和存取行为(存取频率,数据生命周期和语义关联等),并对之进行高效的存储,最后能够利用这些信息优化系统的资源配置。并能够支持多应用并发服务。

3. 存储设备、子系统的存取动静态特性自动获取,并预测负载和存储属性的管理

针对大规模存储系统中设备、子系统的异构性,对于其动静态属性进行提取,例如设备的动态可靠性、性能等特性监控,并能够建立负载-性能-可用性-能耗等模型,用于预测负载和目标属性的关联,进而定义分配策略。

4. 自适应存储优化策略和数据动态透明迁移机制

在获取应用负载特征和存储设备属性基础之上,设计应用-资源的自适应策略模型、匹配机制和预测模型,尽量避免不必要的动态调整开销,实现针对应用的高效动态透明数据迁移机制。

5. 大规模存储系统数据元数据高效扩展、更新、存储和检索机制。

考虑到高效存储系统需要定义、提取和更新大量应用及存储资源特征属性,因此需要建立专门的元数据组织、管理和检索机制,而传统文件系统无法满足这种需要。因此需要建立大规模存储系统新型元数据组织和应用结构,满足“异构融合”和“泛在服务”的要求。

6. 研究大规模存储系统中数据的高效可用保障技术。

针对复杂应用环境需要高可用数据存储的支持,研究大规模存储系统中数据的高效可用保障技术。在存储资源和应用动态更新的情况下,设计高效多层次、多类型新型数据分布算法和恢复机制,保证数据存取过程性能和可用性。

7. 大规模存储系统能耗标准、评价方法和节能技术

建立存储系统的能耗标准,建立大规模实时动态的负载-能耗-热能测量机制,建立存储系统功耗原理和不同存储设备能耗-散热模型,评估不同系统配置和负载情况下的能耗数据,提取负载能耗规律,设计和建立大规模存储系统能耗优化技术。

8. 多级高效低能耗存储设备和系统设计

通过异构融合方法,结合不同存储设备和系统能耗负载特性,设计出新型高效低能耗存储结点。通过层次性存储机制,集成高性能存储结点和低能耗存储结点等多种效能存储设备,构造混合异构效能结点的高效存储原型系统,通过多于64个性能、能耗和温度实时测试采集点,在保证性能和可用性存储服务质量的前提下,结合上述研究内容采用负载或数据分布自动调度的方式,降低系统整体功耗。