2011年度“存储产业技术创新战略联盟”工作总结

存储产业技术创新战略联盟作为存储领域的唯一联盟,凝聚了国内产学研一线单位,着力于推动我国存储产业整体实力的提升。2011年联盟在组织机构和运行模式建设上不断探索创新,建立了一套行之有效的组织管理模式;通过联盟课题研究,在关键技术核心技术内容、技术扩散转移等方面取得了重要突破;通过技术创新链条的构建,明确了产业技术发展路线和产业化推广方案,为联盟的技术创新指明了发展方向、奠定了基础。
 
一、2011年度开展的主要工作及重要成绩
1、实施技术合作,联手进行核心关键技术及共性技术研发
(1)智能存储系统总体研究
2011年7月7日于北京,联盟组织第二届中国存储创新年会。邀请包括高校、研究院所、企业及政府部门在内的专家进行技术交流。本次年会划分两个与智能存储相关的技术论坛:云计算技术论坛和容灾备份技术论坛。云计算技术论坛重点探讨了如何利用智能存储系统实现云计算的问题,主要探讨内容包括《Available, Low-cost Online Storage Services using Cloudlets》、《云存储技术及应用》、《支撑云时代业务系统的 EXPRESSCLUSTER X 3.0》、《创新动力“云领”未来》、《华为云存储创新与实践》等;容灾备份技术论坛深入讨论了智能存储系统关键技术之一的容灾备份技术,主要探讨内容包括《业务数据连续容灾备份技术研究及解决方案》、《飞康创新灾备技术推动云时代更高效灾备与恢复建设》、《容灾与恢复-基于DataCore 存储虚拟化技术》、《如何让数据中心更给力》、《文件级容灾解决方案》等。
(2)存储虚拟化软件开发及产业化
目前已研究出可动态伸缩的虚拟化存储系统,具体包括:
1) 兼容异构设备的存储虚拟化整合技术
研究了核心态的虚拟化代理软件技术,实现了对Linux、Windows、Solaris 等主流操作系统及其上多种文件系统的支持,实现了对异构存储设备和网络设备的虚拟化技术。
2) 性能可扩展的卷容量增长技术
研究了基于磁盘物理特征的卷容量增长技术,实现了卷容量增长过程中数据移动最快化和用户前端IO访问影响最小化,实现了卷访问性能与容量同时扩展。
3) 存储资源精简配置技术
研究了高效的存储空间管理方法和灵活的地址映射机制,通过预留虚拟空间和存储资源的写时分配,实现了在满足用户的空间需求的同时提高存储资源利用率。
(3)存储自动化设备研制及产业化
2011年度主要工作围绕需求分析和体系结构设计展开,参与设计的三家单位积极进行沟通和技术交流,技术和组织上进行协作,并各自完成承担的子系统的工作任务。
天津天地伟业公司对存储自动化设备进行了市场需求调研,调研显示目前国际、国内智能存储市场对带有自动精简配置技术和重复数据删除功能的智能存储设备有着很大的需求,尤其是带有空间利用率高、数据访问效率高、绿色节能等优点的智能存储系统已经成为存储领域研究的热点,也是未来市场的销售热点。
重复数据删除是由西安交通大学主要承担,对国内外重复数据删除技术的研究进展、主流商业产品、着名开源软件和研究项目等,进行了大量详细认真地调研。对主流产品的总体架构、性能参数有了清晰的认识,明确了重复数据删除技术面临的问题,为项目研究工作和系统设计开发奠定了良好的基础,并以存储管理为框架、以数据备份和还原为主要应用,设计并开发了具有重复数据删除功能原型系统。
自动精简配置是由哈尔滨工业大学主要承担,调研自精简配置的相关关键技术,比较分析业界相关自精简产品的技术特征,分析各大厂商自精简产品优劣,明确自精简配置相关技术的技术难点,从功能、性能、可扩展性、兼容性、可测试性、安全性等角度对自精简配置设备原型的设计实现进行全面的需求分析与描述;提出自精简配置技术研究设计与原型系统开发构建的详细设计方案与技术路线,完成自动精简配置原型系统设计与构建。
存储自动化设备是江南计算技术研究所主要承担,设备是项目的基础设施部分,对主要分析所需的硬件环境和软件支撑,调研了主流厂商的相关产品,分析了相关开源的项目iscsi-target,openfiler,对功能以及分系统之间的接口进行分析确认,并形成需求分析文档,在确认需求的基础上,了解相关商业产品和技术,进行体系结构设计,搭建实验环境,以ISCSI协议基础、建立了ISCSI-target的自动化存储原型系统。
(4)存储容灾备份系统研制及产业化
针对当前海量集群存储环境下的不断提升的可靠性需求,课题组研制的蓝鲸BWRAID系统原型是突破海量通用存储设备集群环境下低空间开销和高可靠保证间矛盾的重要核心技术。蓝鲸BWRAID技术能够有效提高网络存储的可靠性,并可克服数据副本技术空间开销大的问题。现有网络RAID研究的做法大多采用将传统RAID机制向网络存储节点拓展的思路,其数据与冗余校验的紧绑定关系使得网络环境下RAID机制有着冗余计算范围大、扩展难度高等限制问题。
2011年度创新性地提出了网络RAID松耦合架构,并在此基础之上验证了Raid5、Raid6等通用性冗余机制的可行性。更为重要的是,本项目在本年度提出了数据异步冗余处理方法,其可以有效地减少RAID冗余组的小写操作数量。本项目的异步冗余处理方法采用“数据先镜像写入,后冗余计算”的方法来解决同步冗余计算性能低的问题。之前的相关研究从数据分级管理的角度来平衡用户读写性能和冗余空间开销,而本项目则从异步处理的角度对I/O负载响应、延迟冗余计算、负载的时空局部性特征与延迟冗余计算的关系等问题进行深入研究。我们的初步研究结果表明,异步冗余处理具有同时优化用户写性能和系统总I/O负载的潜在优势。初步测试结果表明,在典型负载下,蓝鲸BWRAID的数据读写性能可提升2~4倍。
(5)智能存储技术研究及其产业化
本项目于20109月立项,目标是开发高性能低能耗存储设备并实现产业化。通过研究SSD固态硬盘与传统存储设备应用结合技术,解决因存在大量机械设备而造成存储系统功耗偏高的问题;研究智能资源与数据管理技术,应用于存储系统,智能调节系统设备在线等待时间,降低系统功耗。通过软硬件的优化改造,降低存储系统功耗,提升存储设备的使用率、优化资源的部署和运作。
新一代低耗能磁盘阵列系统主要用于数据中心、信息中心的中央机房。行业包括银行、高性能计算、广电视频点播、网站等需要大规模数据的信息中心。相比较传统存储设备,低能耗存储设备可以节省能源30%以上。
在未来的两年中,进行技术转移与优化、存储设备工程样机的设计、产品测试、中试、产品化,最终投入市场。预计会带动整个存储行业从单纯的国外产品代理到自主研发产品的转变。带动整个存储产品链从芯片、板卡、机箱、电源、到系统软件等整个产业链的快速发展。例如我们与龙芯的合作促进龙芯开发针对存储专用的嵌入式芯片;我们的设备使用了完全国产化的电源,促进了存储设备国产电源的发展,而这个市场在我们设备研发之前一直是台湾电源的市场。同时我们根据行业应用的特点为不同和行业开发定制化产品,带动数据保护和数据管理软件行业的发展。提高了数据评测、数据统计等行业的水平。
2、建立公共技术支撑平台,形成专利池,制订产业技术标准
以优势互补、资源共享原则,充分发挥联盟成员资源和能力,以技术方向、技术产品上下游链条分别建立6个公共技术支撑平台,形成了以研究方向为节点划分而建立的专利池。
(1)新型存储体系结构
研究存储大容量、高性能、高可靠性等方面的关键技术,在存储多控cache一致性、高性能全交换无阻塞存储互联架构、高效RAID算法和实现、存储FC/IB多协议支持技术等领域,形成一批电路布图设计和专利,提出至少1套体系结构设计方法;
(2)新型存储器件和设备
研制高速、低功耗相变随机存储器、超高密度STT-MRAM及阵列级存储系统管理芯片、新一代高密度半导体非挥发电阻型随机存储器、研制支持FC/IB协议转换的高带宽存储交换机和适配器、研制支持8Gb FC、40Gb IB接口的高端磁盘阵列,研究节能降耗技术、研制比当前主流存储节能>30%的绿色节能存储盘阵;
(3)基于国产存储设备的核心软件
开发支持当前主流数据库的数据备份和CDP软件、支持异构存储的虚拟化存储软件、分级存储及数据管理软件、存储访问安全软件、存储设备安全预警和数据主动迁移软件、海量存储秉性文件系统,兼容国产硬件存储设备;
(4)设备普及推广解决方案
实现国产设备普及推广,逐步替代国外产品,形成国产软硬件产业群,推动产业升级和区域经济发展,占据国内市场主流地位。
3、实施技术转移,加速创新成果的大规模商业化运用
在2011年度,联盟承办和协办了我国第17届全国信息存储技术大会、第二届中国存储创新年会及理事会,会议邀请了产业内知名院士、专家、学者汇聚一堂,深入研讨了产学研用创新链条,丰富了技术如何更快转移、加速商业化应用议题,提供了自主可控产品应用思路,有效推动和促进我国信息技术的持续健康发展。
当前,项目的部分研究成果包括自动化存储设备管理软件、支持固定分块和单实例去重的备份和还原系统已经应用在某军工研究所某处的数据中心工程项目中。
在未来的两年中,进行技术转移与优化、存储设备工程样机的设计、产品测试、中试、产品化,最终投入市场。预计会带动整个存储行业从单纯的国外产品代理到自主研发产品的转变。带动整个存储产品链从芯片、板卡、机箱、电源、到系统软件等整个产业链的快速发展。
4、联合培养人才,增强存储产业的持续创新能力
在联盟推动下,以国防科大、华中科大、哈工大、西北工大为首的几所高校联合承担,积极探索以企业为主导、以高校为主体、以人才和科技为桥梁、以利益为纽带的产学研联合创新模式和优势互补、相互支持、风险共担、利益同享、共谋发展的良性运行机制。将企业与高校的自身特点及优势充分发挥出来,引导关键技术与共性技术的研发,提升自主研发能力,促进科技成果的商品化、产业化、国际化。
同时,关于知识产权的归属和保护,与各高校在认识上取得一致,双方订立合作协议约定,明确了知识产权的归属问题,将产学联合的知识产权保护落到实处。一方面有效地防止了外部侵入和内部泄露,另一方面也相互之间避免产生不必要的冲突。涉及到技术秘密,制定保密规则,确定保密范围,防止人为因素造成的损失。
在联合过程中,培养了一批在产业领域内较为优秀的科研人才,为下一代产品开发积累了丰富而宝贵的人力和物质基础。同时,高校通过了解企业的人才需求,根据企业需求定制了培养目标,强化培养计划。培养了博士生11人,硕士研究生35人。
二、发展运行中存在的问题
1、专利池的具体专利的共享及许可规定尚待完善。目前只是形成了细分方向的专利池,但未制定具体协议或搭建交易平台界定如何共享、转让。
2、承担国拨经费课题,联盟没有注册实体,无法对项目进行统一管理;经费到达各自承担单位时间不统一,无法实现有序管理。
三、2012年度工作设想
在存储产业划分研究方向的基础上,以会员单位实际需求为导向建立专利池;集合联盟资源,规划存储标准框架体系,筹划 “存储设备通用规范”、“存储接口规范”等系列标准。
根据联盟建设情况,在今后的工作中,联盟将主要在以下几方面开展工作:
1、加强专家委员会职能建设,优化专家委员会队伍,围绕产业技术进步,进一步完善产业技术创新路线图;
2、结合标准技术路线图和各成员单位技术优势进行合理分工,组织成员单位对技术标准进行协同、配套的研究和申报;
3、继续完善和修订联盟秘书处的各项管理办法和规章制度,优化联盟管理模式,提高联盟执行力;
4、续探索和完善组织机构建设,寻求更为有效的运行模式。在联盟的发展过程中,知识产权共享、风险共担、产学研合作、人才培养等,都是联盟面临的现实问题,联盟将通过借鉴先进经验以及自身不断的探索和尝试,寻求最适合自身的运行模式;
5、加强联盟的国际交流。通过与国外联盟、标准化组织、企业等加强沟通和相互学习,最终把联盟发展成为一个我国存储产业与国外组织和机构对话的窗口的平台。