【转帖】存储的发展历史和趋势

东乡

978年刚刚提出改革开放时，存储业界最重要的事情是什么呢?很多人也许已经淡忘了。1978年，分级存储管理(Hierarchical Storage Management，HSM)首先应用于IBM的大型机系统。HSM是一种将离线存储与在线存储融合起来的技术。它将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。
也许从HSM伴随着改革开放开始，存储技术就注定了不平凡的发展历程。下面就让我们来看看这31年来，存储界都发生了哪些翻天覆地的变化。

磁带库将存储带入新时代
在HSM之后，哪项存储技术的出现引起了业界最广泛的关注呢?有人认为StorageTek(已被Sun公 司收购)的Nearline系统机械磁带库。根据分析公司Horison Information Strategies公司总裁Fred Moore的说法，当Nearline系统在1987年被推出的时候确实起到了革命性的作用。“这些产品实际上挽救了磁带行业，因为人们已经厌倦了去加载 成百上千的磁带——自动化的缺乏正在扼杀这个市场。”Fred Moore曾经在StorageTek工作，他说，“这是一个意义重大的发明，看看现在到处都是磁带库。”
在机械磁带库之后，上个世纪80年代末到90年代初这段时间里，虚拟磁带库(VTL)的概念从出现到成熟，可以说将存储技术带入了一个新的时代。当时，Data/Ware Development公司(之后被卖给Anacomp公司)、EMC公司和StorageTek公司都在积极寻求能够在系统上仿真磁带的技术和专利。这个想法的目的是让现有的备份系统能够将被标记为针对磁带驱动器的数据传送给磁盘。随着时间，包括Diligent(现已被IBM收购)、昆腾和Sepaton在内的存储厂商也为VTL的发展作出了贡献，。
虚拟磁带库将很可能继续在存储领域中占有一席之地，部分原因是磁带还没有消失。StorageIO Group的Greg Schulz在在自己的Blog中说道：“即使基于磁盘的备份在不断增长，由于现在还有这么多人在使用和依赖磁质磁带，虚拟磁带库将继续扮演从物理磁带到 磁盘世界的垫脚石的角色。”

FC SAN让存储成为真正主角
随着光纤通道(FC)在企业级存储网络中掀起浪潮，并成为企业级存储网络的基础，存储领域的网络概念也在扩展。1994年，第一个光纤通道存储局域网开始应用。一家叫做Ancor的公司早在1988年就将光纤通道作为一种专用产品进行生产。
近年来，FC SAN的未来受到质疑，特别是争论是否会被iSCSI(互联网小型计算机系统接口)替代。Taneja Group咨询公司的Arun Taneja说：“如果FCoE(以太网光纤通道)能够准时出台的话，光纤通道将继续良好地发展。”他认为，至少在未来的3~5年内，以太网还不会大规模 取代光纤通道。
不管FC SAN最终的命运怎样，毕竟，FC SAN是解决服务器内部和磁盘阵列不能整合的最佳方案，并将IT架构的核心从服务器上转变到了存储上。

存储应用需要简化
FC SAN的时代没有过去，但是确实显出了疲态。人们开始追求一种简单易用的文件服务——网络附加存储(NAS)。NAS可以跨网络提供基于文件的服务，这种功能对于如今的高分布式技术环境来说是非常重要的。NAS技术根源于Novell的Netware操作系统和它的NCP(网络核心协议)，后者是在上个世纪80年代推出的。Sun也推动了NAS发展，推出了针对Unix系统的网络文件系统(NFS)协议，但是这个协议的最大推动者还是上个世纪90年代的NetApp。
1993年，NetApp推出了一个NAS设备。到了1996年，NetApp又推出了能够同时具备CIFS(网际文件系统)Windows协议和网络文件系统的设备。NetApp的网络附加存储解决方案总监Bharat Badrinath说：“NetApp在1996年推出了这个多协议设备，而且我们基本上是第一个。”在此之后，接下来市场上出现了一系列的网络附加存储设备。

信息存储发展趋势
信息爆炸：互联网、专用网络以及大量的互联设备带来
*到2011年，万维网（World Wide Web）用户将达到20亿人
*到2011年，来自汽车、家用电器、相机、公路交通及管道运输的互连设备将达到1万亿个
*2007年，全球移动电话用户已达到33亿
*截止到今年，移动互联网用户预计将达到10亿
*到2011年，3G设备预计将增长30%以上
*YouTube网站上的1亿段视频文件需要600TB的存储容量6。而美国国会图书馆馆藏数据量约为10TB，大约相当于1000万册图书
*每周Facebook网站将新增6000多万张照片8。而每天需要利用5TB的磁盘空间为用户提供超过30亿张照片
*2007年，20亿个RFID标签（装配在各种产品、护照、建筑物及动物上）被售出10。而到2010年，这一数量预计将达到300亿个

行业爆点：重点行业每天都在面临着信息超载的问题
*享誉全球的金融服务公司Fifth Third Processing Solutions每年都在为全世界2700多个金融机构和超过15.7万个零售端点管理着超过267亿个ATM机和POS机
*2005年，人造卫星服务公司OnStar的用户数量增长了13%，达到近400万13——400万用户则意味着用于各种事故、交通意外、门禁系统、计费设备和车载电话中的400万个文件
*如今，全球知名快递公司FedEx每日将通过其网络递送多达1130万个包裹15。全面平均日吞吐量超过700万个16——也就意味着需要对700万个跟踪编号、计费地址、信用卡号、客户编号进行存储、管理和访问
*个人的在线医疗病历信息量相当于120亿部小说的容量18。到2010年，医疗中心将需要相当于2万亿个文件柜的信息容量
*单独一个油田或天然气田每天即可生成1TB的数据
*XMRadio和Sirius Radio（美国两大卫星国博公司）公司需要近30TB的存储容量，相当于30多万张CD的容量
*E-ZPass IAG组织（知名美国电子收费系统组织）每年处理10亿个通行收费交易，占全美通行费总收入的2/3
*每年，美国高速公路的拥堵会造成780亿美元的损失23——直接导致42亿小时工作时间的损失和29亿加仑汽油的浪费
*全美目前只有4%的医生拥有功能齐备的电子病历系统，13%的医生只拥有初级系统25。按每份病历平均300MB容量计算，医疗影像存储需求将显著增长，到2010年，医疗影像将占据全球30%的存储容量
*仅北美地区，自助售货亭的交易量就超过了6070亿美元。到2012年，这一数字将增长3倍多，超过1.7万亿美元
*5年后，通过有线电视、卫星、电信系统或互联网传输的视频点播将占到电影租赁及销售收入的30-50%
*数字电影的年归档成本是胶片电影的11倍。而其完整版本和音频记录的存储成本则高出400倍以上。

存储及数据中心趋势：
*美国的中型企业（员工人数不超过1000人）每年用于数据存储和安全方面的开销将达到近80亿美元，比去年增长12%。
*最近一次IT调查发现，仅有23%的人认为公司对于非结构化数据进行了妥当的保护。91%的人则表示由于管理政策的不当且没有可解决实际问题的存储管理工具，自己所在的组织缺乏对于数据所有权的识别能力。
*Email的爆炸性增长正在延误终端用户的工作效率——工作人员每天要花费2个小间来管理自己的邮箱，且66%的用户不得不频于应对电子邮件系统对文件容量上限的控制。
*86%的美国公司计划在下一年扩展自己的数据中心。平均扩展规模为50%，2008年，其占地达到15000平方英尺，而2007年约为10000平方英尺。直接诱因是灾难备份的需要以及ZF萨班斯法案对财务记录的要求所带来的更大的归档需求。
*94%的企业电子邮件政策负责人表示，他们并不认为所在的组织已做好充分的准备以应对调整后的民事诉讼联邦规则（FRCP），该规则要求各级组织在接到法院命令后，必须能够快速找到相关的电子数据。33 而目前已经有超过60%的组织接到过法院或执法机构的命令，要求其出示企业邮件。