LoongStore大规模集群云存储系统

一、 成果介绍

网络存储技术从诞生到现在，已经经历了近二十年的历程。在这个过程中，无论是计算技术、网络通信技术还是信息储存技术都发生了翻天覆地的变化。计算技术领域，基于开放操 作系统上的集群计算技术已经取代大型机；网络通信领域，开放架构的 TCP／IP通信已经统治了一切；在信息存储技术上，单块磁盘的容量已经从G级别进入T级别。

传统的网络存储设备，无论是FC SAN、NAS还是IP SAN，都是采用以满足单台服务器存储需要为目标的体系设计，在共享能力、性能、可靠性、扩展性以及总体拥有成本上，已经无法满足企业新的应用需求。如果 仅仅通过外围手段来弥补，必将造成存储架构越来越复杂，用户管理难度越来越大，总体拥有成本越来越高。 

为了满足IT技术发展的挑战，LoongStore集群存储采用了代表计算技术、网络通信技术以及文件 系统技术发展方向的体系架构，提供给用户跨平台共享、高性能、高可靠、可平滑扩展、使用和维护简单的高端存储系统。系统以开放架构平台智能存储服务器为基 本节点，通过在千兆以太网基础上不受限制地添加节点，构成了业界最高的性能、可靠性以及极低总体拥有成本的存储集群。

LoongStore产品架构支持：

Ø 单文件系统100PB 

Ø 支持2000个以上节点并发 

Ø 支持超过500亿文件 

二、 产品主要特点

Ø 产品架构上：实现了横向扩展。从原来的单节点增加CPU、内存、存储等等的纵向扩展方案往增加节点数量的横向扩展方案的转变，使得容量扩展更加灵活、同时也实现了更低的起始投入成本。

Ø 产品工作流上：实现了更高效的数据读写方式。通过实现元数据与数据通道分离、将数据条带化存储在不同的存储服务器上，从而高效实现数据的并行读写。

Ø 产品性能上：实现了高聚合带宽。克服了以前文件集中式存储的瓶颈，实现了文件切片分布式存储方案，实现了高聚合带宽。

Ø 产品性能上：实现了性能近线性增长。如：（1）聚合带宽随着存储集群规模扩大而线性增长 ；（2）充分发挥硬件性能，如网卡性能利用率达到了80%；（3）扩展到100GB/s以上的聚合性能 

Ø 产品可靠性上：实现了无单点故障。通过（1）为不同目录的数据设置不同的冗余度；（2）自动故障探测与恢复；（3）设备恢复速度是RAID的5倍， 750GB SATA盘恢复时间15分钟；（4）元数据服务器每两台互备等，实现了产品的无单点故障。

Ø 在产品扩展性方面：实现了在线业务扩展容量。支持不停业务在线扩容，并自动迁移均衡数据。从而实现不需要关停业务的方式轻易扩展容量。

Ø 在产品管理方面：实现了单点配置管理。产品通过单点实现了所有的配置管理功能，通过内置各种自动化处理流程，减少人为参与。

Ø 产品兼容性方面：兼容各种X86架构的服务器和IP网络，应用服务器端支持Linux/Windows/Mac等等。

三、 产品主要应用案例简介

LoongStore大规模集群云存储系统能够帮助企业加速信息到价值的转换，目前已经在互联网、广电、能源、电信等数据密集型行业帮助企业实现了突破性的价值。产品主要应用行业与应用案例有：（1）互联网：视频，SNS等，例如中国国家网络电视台（CNTV），人人网，搜狐；（2）能源：大庆油田，中石油勘探开发研究院总院；（3）动漫和广电：中影集团，教育电视台等，《建党伟业》、《建国大业》、《孔子》等大片的后期制作就是采用该存储系统；（4）教育及其（5）军工，航天等等领域。

（一）中石油大庆油田勘探开发研究院

Ø 简介：中石油大庆油田勘探开发研究院是中国最大的油田研究院，中国最大的油田核心技术参谋部，其中的HPC核心应用主要有：地震资料处理。通过使用LoongStore大规模集群云存储系统替换封闭式传统方案获得了获得先进技术应用奖。

Ø 客户评价：在使用LoongStore之后，原来需要连续运行24个小时的作业变为只需要6个多小时即可完成，整体效率提升为原来的5倍。产品在数据保护上有独特的优势，故障恢复都是自动无缝进行，完全不影响生产。——大庆油田勘探院网络研究室 主任工程师

（二） 华龙影视

Ø 简介：华龙影视隶属于中国电影集团，国家发改委唯一批准设立的“电影数字制作产业化示范工程”，国内规模最大、功能最齐备的电影数字制作基地，目前已制作近200部数字高清节目，如《建国大业》、《建党大业》。对比其他方案，采用LoongStore系统后，实现了：（1）与其他的类似HPC应用相比较，LoongStore同时支持上千个渲染任务和400多台桌面工作站；（2）LoongStore的带宽和安全性高出其他存储方案15%。

（三） 人人网

Ø 简介：人人网为全国最大的社区网站。活跃用户超过四千万，大学生市场占有率超过90%。每天上亿次的用户点击引发数十亿次的文件操作原有方案为多套单独的存储服务器，服务运行很不稳定，维护复杂。使用了LoongStore系统后，实现了：（1）初始上线30TB，目前已拥有超过1200TB的容量；（2）文件管理个数超过160亿个，有效支撑网站访问压力，提升用户体验；（3）平时每天上传超过2000万，高峰期每天新增文件超过5000万；（4）目前服务正在向“私有云”过渡：协助多个数据中心间数据推送、同步。

Ø 客户评价：LoongStore系统非常好的支撑了网站百万用户的访问压力，提升了用户体验。另外提供及时全面的客服也是我们选择LoongStore系统的原因。——人人网资深技术总监

（四） 中国网络电视台（CNTV）

Ø 简介：中国网络电视台（CNTV）为中国国家网络电视播出机构。它以视听互动为核心、融网络特色与电视特色于一体的全球化、多语种、多终端的网络视频公共服务平台。同时，为全球用户提供包括视频直播、点播、上传、搜索、分享等在内的，方便快捷的“全功能”服务。原有NAS方案对数据处理及保护仅限于单台设备，也不支持高聚合数据读写性能，无法支持高并发文件访问。使用了LoongStore系统后，解决了NAS的问题，实现了存储容量从25TB扩展超过600TB的扩展。

（五） 视频网站：六间房

Ø 简介：六间房最早采用NAS存储方案，其主要缺点有：（1）容量扩展需要业务停机切换，过程复杂，限制用户每天上传视频的容量；（2）原计划高清视频点播由于存储系统性能和容量限制，难以上线；（3）管理员需要进行24×7小时的监控管理。使用了LoongStore系统后，实现了：（1）放开了互联网用户的上传容量限制，视频爆炸性增长；（2）高清视频快速上线，吸引大量用户；（3）无停机的存储容量扩展，容量已达600TB。

（六） 搜狐网

Ø 简介：搜狐网是国内最大的门户网站。它为：（1）2008北京奥运会互联网内容服务赞助商；（2）中国互联网第一品牌，中国互联网主流人群获取资讯和交流最大网络平台（3）中国搜索引擎的鼻祖及其（4）中国互联网文化运动的先驱、中国综合门户网站的创始者。该网站在2008年与2009年多次对LoongStore系统进行了严格测试，并于2009年5月正式在LoongStore系统上上线 了200TB的数据

（七） 国家电网

Ø 简介：国家电网是国家能源骨干企业。2010年《财富》世界500强企业，位列第八，拥有员工150多万人，经营区域覆盖全国26个省，为超过10亿人口提供电力服务。使用了LoongStore系统后，实现了：（1）高速的文件传输、在线扩容不影响应用、全局冗余自动故障探测及恢复；（2）在2009年成功上线LoongStore系统系统，并多次扩容，取得了非常好的效果。

（八） 中国教育电视台

Ø 简介：中国教育电视台是教育部直属唯一的国家级专业电视台。它目前有5个电视频道、一个教育卫星宽带传输网。其电视节目每天的播出总量达近80余小时，其数据增长很快从2008年30TB到2009年150TB再到2010年300TB。使用了LoongStore系统后，实现了多数据点支持，存储系统之间可实现数据同步和分发，同时满足了：（1）手机、互联网、电视等终端的访问；（2）提供超过2GB/s的稳定聚合带宽，每秒数万个文件查询；（3）单点管理监控功能，最大程度减少运维人力、物力投入。

四、 产品主要技术参数

五、 联系方式

联系人：李超

Email地址：lichao00@tsinghua.org.cn

电话：13671295970

联系人：张桂刚

Email地址：guigang@tsinghua.edu.cn

电话：13671295970