这项将要变革存储架构的技术10bet 是时候关注下

来源:http://www.chinese-glasses.com 作者:编程 人气:114 发布时间:2020-04-16
摘要:自计算机诞生以来,DRAM+SSD+HDD这样的存储架构便从未改变过。而近2年随着数据量的爆发以及企业、消费者对传输性能、时延等要求增加,这样的架构已难以满足需求。在这样的背景下,

自计算机诞生以来,DRAM+SSD+HDD这样的存储架构便从未改变过。而近2年随着数据量的爆发以及企业、消费者对传输性能、时延等要求增加,这样的架构已难以满足需求。在这样的背景下,英特尔、三星、镁光等存储巨头也积极推动着存储架构的变革。其中,存储级内存便是革命性的存储介质。

·随着网络带宽的高速扩展,各种PC、智能设备和移动计算终端帮助个人、组织和企业创造了海量的数据。根据国际数据公司IDC的预测:到2025年人类创造的数据总量将达到163ZB,将比2016年创造出的数据总量增加十倍。其中,企业端数据的存储量将从之前的30%提升到50%以上。

10bet 1

在这些海量数据中,有的数据价值千金,也有很多数据存储起来就好。那么我们应该如何高效地利用好这些数字财富呢?数据分层是一个必然的选项。和10年前传统的“冷、热”数据分层不同,今天大数据时代的用户应用需求已经将数据本身的热度进一步细化。其中包括:需要实时处理、对访问延迟有严苛要求的“热数据”;需要经常访问,对存储系统读写性能要求较高的“温数据”;以及只需进行备份、访问频率很低的“冷数据”。这同时也带来了更加细分的硬件需求。

内存与固态盘并非紧密不可分割

在最近10年里,以英特尔为代表的存储业界厂商陆续发布了3D NAND和3D XPoint两项革命性的存储技术,衍生出了傲腾数据中心级持久内存(Optane DC Persistent Memory)、傲腾数据中心固态盘(Optane DC SSD)和QLC 3D NAND SSD三大类新品。无论是读写性能、耐用性还是使用成本,它们相对于以往的存储产品都有很大的提升。接下来,就请大家和我们一起来了解它们将如何改变“存储的世界”,如何满足应用带来的全新需求。

计算机存储架构中,自上而下通常为DRAM+SSD+HDD 3级分布,且越往下性能越低、延时更长但容量增加。而DRAM+SSD这样的内存与固态盘搭配也紧密相连,一个为易失性存储,一个为非易失性存储,一个负责存储用户数据,一个负责响应CPU请求传输数据。但这样看似完美的搭配随着用户,尤其是企业用户对业务响应需求苛刻,这样的黄金搭档似乎已心有余而力不足。

10bet 2

原因在于内存与固态盘的特性差距太大,如在延时上,内存仅为几十纳秒,而固态盘却达到百十微秒。这样的差距使得企业希望更多的数据直接存储在内存上,但内存的容量以及断电数据丢失特性使得该介质无法满足企业需求。因此可以看到,内存与固态盘之间,需要一种全新的联接介质。

从纸带到异构存储

10bet,存储级内存填补鸿沟

看存储设备发展的过去与未来

而这样的存储产品,便被称为存储级内存(storage class memory,简称SCM)。这样的新型存储,其主要具备两点特性,一是DRAM般的性能,二是SSD般的持久性和容量。在性能上,存储级内存的传输以及延时均略微低于DRAM,但远远甩过SSD。

自计算机体系结构确立后,其存储能力就被提到了一个非常高的地位上。不过问题在于:受制于工程、技术和制造等各方面的难题,早期的存储设备发展并不顺利,读写速度也非常慢,并且容量更是小到我们今天难以想象的程度。

同时,这样的一类产品,可提供SSD的持久存储数据特性,这意味着把数据存储在存储级内存上,即便断电了也不用担心数据丢失。更为厉害的是,这样的产品,在容量上不像DRAN一样只能提供16GB、32GB,而是直接几百GB。这反映得便是,存储级内存完全可以满足企业对性能、容量的需求。

“上古时期”的计算机都配备了一条条长长的纸带,纸带上打满了孔,或者是一些打了孔的卡片—没错,那就是早期的计算机输入输出设备。由于缺乏可靠、方便的存储和输入、输出设备,人们只好将命令翻译成1010101指令,通过打孔器写在纸带或者卡片上,计算机将一条条指令读入,计算完成后再通过在纸带上打出的孔洞将结果输出,最后再由转译人员翻译出来计算结果。

存储巨头纷纷推出存储级内存

到后期存储器则进化为和纸带有些类似的磁带,当然后者存储密度大得多。磁带存储数据的优点在于容量较大,但问题在于磁带并非随机读写设备。受制于磁带本身的物理结构构造,如果需要找到一定的数据,机器甚至需要读取完整个磁带。

也因此,美韩几大存储巨头纷纷推出存储级内存。具体而言,包括英特尔基于3D Xpoint介质的傲腾内存、三星的Z-NAND、东芝的XL-Flash,同时镁光与SK海力士也将推出该类型产品。

10bet 3

从目前产品来看,几大存储厂商推出的存储级内存主要面向数据中心,但也有面向消费者的,如英特尔的傲腾,既提供数据中心级也提供消费级。

▲常见的数据中心使用的PB级别磁带存储库,其存储材料都为磁介质。

从市场上来看,英特尔可以说是领导者,其无论是面向数据中心级的傲腾产品还是消费级的傲腾产品均以走向商用,如在数据中心级上,几大服务器厂商明确表示其推出的服务器新品可支持傲腾数据中心级持久内存。紧随其后的便是三星。

很显然,磁带这样的设备因为顺序读写的限制,在速度上完全满足不了快速发展的计算机需求。因此,人们考虑加快存储设备的速度,尤其是增加随机读取特性,而这样的需求就带来了“温彻斯特存储架构”。所谓温彻斯特存储架构,是指通过可移动的磁头臂在旋转的盘片上不同位置使用磁感应的方式存储数据,这也是当今机械硬盘的主要工作原理。

虽然机械硬盘找寻数据的速度比磁带快了很多,但它仍存在先天不足—假如需要读取3个数据,分别存放在磁盘的最内圈、中间圈和最外圈,机械硬盘需要移动3次磁头,并等到盘片旋转至相应的位置,才能将数据读取出来,这个过程被称为寻道,所耗费的时间被称作寻道时间。假设每次移动磁头需要10毫秒,那么10次就是100毫秒—如此长的时间严重影响了硬盘的随机性能,如何解决这个问题?最终经过多年的研究与积累,科学家在非机械结构的NAND芯片上找到了答案。

SSD问世

机械部件再快也存在延迟,无法和迅如闪电的电信号相比。那么,怎么使用电信号存储数据呢?为了解决这个问题,技术人员们发明了NAND结构并将其实物化为NAND闪存芯片。在1992年,英特尔就制造出了12MB的NAND存储产品,不过当时闪存芯片成本极高,12MB的存储设备需要多块芯片支持,因此在早期这样的产品往往只用在特殊领域。

10bet 4

▲英特尔在1992年就推出了容量为12MB、基于NAND闪存芯片的存储设备,在2014年英特尔更打造出了存储容量达2TB的固态盘。

近年来随着技术的发展,NAND闪存芯片成本大幅下降,最终其实用化的产品上市,这就是大名鼎鼎的固态盘即SSD—由多颗NAND闪存芯片组成的大容量存储设备。

固态盘一上市,就以超越机械硬盘数十倍的随机读写速度、革命性的使用感受征服了无数用户。在使用了固态盘后,操作系统启动时的随机小文件加载速度得到了大幅提升,操作系统本身的启动甚至可以在数秒内完成。

不仅如此,之前机械硬盘的一些“老大难”问题:比如大量工作碎片文件存储读取、大容量数据转移等,在固态盘出现后都得了根本性改善。同时固态盘也得到了消费者很高的接受度,自2008年英特尔首次推出两款主流SSD:X18-M与X25-M后,其SSD产品与其CPU产品一样得到了高速的发展。

当然像所有产品一样,固态盘也有自己的不足。首先在性能上,固态盘与计算机中的上一级存储设备:内存仍存在很大的差距,内存的访问延迟小于0.1微秒,传输带宽也可轻松达到每秒几十GB,而传统固态盘的访问延迟一般还是会接近上百微秒左右,并且单块固态盘的最高传输速度、随机读写性能与内存相比还是相距甚远。同时由于NAND闪存先天的设计机制,很多SSD还存在使用得越久、性能就越差的问题。

三级异构存储架构初显形

企业的数据存储主要分为热数据、温数据和冷数据这3个层次。热数据即需要立即进行处理的数据,例如银行收到的转账请求,即时的地理位置等。温数据是非即时的状态和行为数据,例如用户近期感兴趣的话题,或用户最近去过的地方等。冷数据则是不经常访问的数据,例如企业备份数据、业务与操作日志数据、话单与统计数据等。

在硬盘问世之初,根据不同层次的数据存储在不同设备上的异构存储雏形就已显现—温数据主要存储在机械硬盘上,热数据则主要由内存处理,但由于内存容量较小,还会使用部分硬盘容量作为虚拟内存存储热数据,几乎很少用到的冷数据则存储在磁带机上。这样存储数据的问题也很明显,不论是机械硬盘还是磁带机的性能都非常低,经常可以看到硬盘灯狂闪,程序应用却迟迟没能启动或数据传输时间过长的状况。而随着SSD的问世,为了更加高效地存储海量数据,各层次数据的存储方式又有了一些改变。

为了合理分配预算,现阶段企业常见的数据存储方式是热数据使用内存进行处理,温数据大多存储在SSD里,冷数据则保存在机械硬盘里。不过这里存在的问题就如前面所说—三个级别的存储设备性能差异太大,访问延迟不到0.1微秒的内存还是要“耐心”等待近百微秒级SSD在数据上的传输,而且其传输的数据量远远跟不上内存的传输能力;其次由于内存价格偏高,因此内存的容量也无法同SSD、硬盘相比,易出现存储热数据时容量不足,从而造成处理器处理数据必须直接从SSD或机械硬盘等低速设备中读写数据,降低整体处理速度。

10bet 5

▲传统的三级异构存储架构存在较大的性能与容量鸿沟。

而冷数据仅仅只使用机械硬盘或磁带机显然也会带来很低的效率。就拿机械硬盘为例,其访问延迟是10毫秒级别,也就是说在10000微秒左右,单块机械硬盘的连续读取速度难以突破300MB/s,在QD32下的随机4KB IOPS也很难达到1000,与QD1下就能轻松实现5000 IOPS的SSD相比完全是天壤之别。那么对于企业级用户来说,应该如何解决这些问题呢?

构建多级异构存储

对于这些问题,英特尔给出的解决方案就是在原有存储体系中加入傲腾数据中心级持久内存、傲腾DC固态盘、英特尔QLC 3D NAND SSD这三类产品,打造多级异构存储架构。其中傲腾数据中心级持久内存、傲腾DC固态盘都使用相同的存储介质—3D XPoint,但两者的设计、作用又有所不同。

10bet 6

▲加入傲腾数据中心级持久内存、傲腾DC固态盘、英特尔QLC 3D NAND SSD这三类产品可以提升整个存储系统的容量、性能、效率。

傲腾数据中心级持久内存

傲腾数据中心级持久内存即Optane DC Persistent Memory,也被简称为傲腾DCPMM。它采用了DDR4内存的外形设计,可以与英特尔Cascade Lake至强可扩展处理器搭配使用,其最主要的特性是通过使用DDR4接口,使得它具备1微秒以内的访问延迟,以及极高的存储密度,能够在系统中提供略低于内存的性能,但大得多的热数据存储容量,其双插槽平台最高可使用高达6TB的DCPMM。

10bet 7

▲傲腾数据中心级持久内存拥有接近传统DRAM内存的性能,但又具有非易失性,容量远超DRAM内存的特性,能够大幅提升数据中心应用效率。

在工作方式上,傲腾DCPMM有两种模式,一种被称为Memory Mode,另一种是APP Direct Mode。Memory Mode是指将傲腾DCPMM看作DRAM,以内存方式运行。在这种情况下,系统将向傲腾DCPMM给出大量的DRAM分配,使用傲腾DCPMM作为主存储器,DDR4作为缓冲器。

如果缓冲区数据包含直接需要的数据,那么将启用标准的DRAM快速读/写功能,而如果数据在傲腾中则会相对稍慢一些,但比读取传统SSD固态盘快得多,达到更高的效率。在这种模式下,数据是易失性的,一旦断电就会消失。

在APP Direct模式中,应用程序可以直接连接到内存部分,选择直接载入(Direct load)或者内存存储(Store Memory)模式,根据需要判断哪些数据适合在DRAM上存放,哪些适合在傲腾DCPMM中。一般来说,对延迟敏感且不需要长时间存储的数据可以交由DRAM负责,另外大部分数据则交给傲腾DCPMM,包括内存数据库、内存分析框架等都适合APP Direct模式。在这种模式下,数据是非易失性存放的,即使断电也不会影响到数据的安全性,可以快速重启系统,充分使用了傲腾DCPMM的非易失性特性。

本文由10bet发布于编程,转载请注明出处:这项将要变革存储架构的技术10bet 是时候关注下

关键词:

最火资讯