蘋(píng)果北卡羅來(lái)納梅登數(shù)據(jù)中心俯瞰圖(騰訊科技配圖)
騰訊科技訊(瑞雪)北京時(shí)間3月15日消息,《連線》雜志近日刊載文章稱(chēng),蘋(píng)果和Facebook都正在從企業(yè)級(jí)固態(tài)硬盤(pán)廠商Fusion-io那里購(gòu)買(mǎi)新一代的硬件設(shè)備,旨在推動(dòng)自身數(shù)據(jù)中心的發(fā)展。文章指出,內(nèi)存世界和硬盤(pán)世界之間的界限正在變得模糊,而閃存卡在很大程度上被認(rèn)為是服務(wù)器存儲(chǔ)的未來(lái)。
以下是這篇文章的全文:
如果你雇一架飛機(jī),就能飛過(guò)蘋(píng)果在北卡羅來(lái)納州林地中運(yùn)營(yíng)著的規(guī)模宏大的數(shù)據(jù)中心,為這座占據(jù)50萬(wàn)平方英尺(約合4.6萬(wàn)平方米)的大型設(shè)施拍下一些遠(yuǎn)景照片,它是蘋(píng)果iCloud網(wǎng)絡(luò)服務(wù)背后的推動(dòng)力。而如果你是步行的話,那么不妨靠得近一些。或許你甚至可以偷偷看一眼太陽(yáng)能電站或是生物質(zhì)能發(fā)電廠,它們?yōu)檫@座數(shù)據(jù)中心提供電力。但蘋(píng)果不會(huì)允許你進(jìn)入到這座建筑物里面,也不會(huì)告訴你在那里可能會(huì)找到什么。如果能知道那就太好了。
跟谷歌(微博)和亞馬遜一樣,蘋(píng)果也向全球范圍內(nèi)的數(shù)億人提供網(wǎng)絡(luò)服務(wù)——最新的統(tǒng)計(jì)數(shù)字顯示,iCloud的用戶人數(shù)超過(guò)了2.5億——這就需要全新的硬件和軟件,其數(shù)據(jù)中心里的設(shè)備需要比大多數(shù)其他數(shù)據(jù)中心都要更有效率。你可以認(rèn)為這是未來(lái)的技術(shù);隨著網(wǎng)絡(luò)服務(wù)的繼續(xù)增長(zhǎng),蘋(píng)果和谷歌之流所使用的技術(shù)將逐漸滲入世界其他地方。事實(shí)上,在很多情況下,這種滲透已經(jīng)開(kāi)始了。
“這些互聯(lián)網(wǎng)巨頭都是先驅(qū)者。”數(shù)據(jù)中心領(lǐng)域中的長(zhǎng)期分析師、目前負(fù)責(zé)運(yùn)營(yíng)在線技術(shù)研究社區(qū)Wikibon的大衛(wèi)·佛羅耶(David Floyer)說(shuō)道。
我們所知道的事情是,蘋(píng)果正在花費(fèi)大量資金從一家名為Fusion-io的公司那里購(gòu)買(mǎi)新一代的硬件設(shè)備,后者是一家企業(yè)級(jí)固態(tài)硬盤(pán)廠商。按照相關(guān)規(guī)定,F(xiàn)usion-io需要披露通常在其營(yíng)收中占有較大比例的客戶信息;據(jù)這家總部位于鹽湖城的公司發(fā)布的最新年報(bào)顯示,2012年該公司營(yíng)收的25%(8980萬(wàn)美元)來(lái)自于蘋(píng)果。這只是來(lái)自一家公司的一個(gè)數(shù)據(jù)而已,但這個(gè)數(shù)據(jù)可以作為一個(gè)“標(biāo)桿”,向我們展示現(xiàn)代的數(shù)據(jù)中心正在走向何方。
在蘋(píng)果于北卡羅來(lái)納州梅登(Maiden)運(yùn)營(yíng)的數(shù)據(jù)中心或是其他類(lèi)似規(guī)模的數(shù)據(jù)中心里,你會(huì)看到成千上萬(wàn)的服務(wù)器。Fusion-i生產(chǎn)的一種纖巧的卡片會(huì)被插入這些服務(wù)器,跟數(shù)以百計(jì)的大容量閃存擠在一起,這些東西把持著你智能手機(jī)上的所有軟件和數(shù)據(jù)。你可以把這種卡片視為通常會(huì)被用于服務(wù)器的老式硬盤(pán)的替代品,它在很大程度上就像是一塊硬盤(pán),能存儲(chǔ)各種信息。不過(guò),這種卡片沒(méi)有任何活動(dòng)件,這意味著它一般會(huì)更加可靠。跟傳統(tǒng)硬盤(pán)相比,它消耗的電量更小,而且能讓你更快地讀寫(xiě)數(shù)據(jù)。
但那只是這種卡片的功能之一,它同時(shí)還可作為加強(qiáng)版的服務(wù)器主存儲(chǔ)子系統(tǒng)運(yùn)行,這個(gè)子系統(tǒng)是中央處理器暫時(shí)緩存數(shù)據(jù)的地方,以便在需要時(shí)迅速調(diào)用。你知道,今時(shí)今日速度超快的處理器不僅是讓硬盤(pán)根不上它的速度,就連主存儲(chǔ)器也是如此——硬盤(pán)轉(zhuǎn)速過(guò)慢,內(nèi)存空間過(guò)小——而通過(guò)自身生產(chǎn)的閃存卡,F(xiàn)usion-io的目標(biāo)是克服這兩個(gè)瓶頸。
“如果愿意的話,你可以把它做成傳統(tǒng)硬盤(pán)的樣子,但也能像現(xiàn)在的樣子,讓一個(gè)系統(tǒng)內(nèi)部能容納更多的硬盤(pán)。”Fusion-io首席執(zhí)行官大衛(wèi)·弗林(David Flynn)說(shuō)道,這位工程師與連續(xù)創(chuàng)業(yè)家里克·懷特(Rick White)在2006年聯(lián)手創(chuàng)建了這家公司。“我們之所以將其稱(chēng)為Fusion-io,是因?yàn)樗莾?nèi)存與硬盤(pán)的融合體,而且兩者是密不可分的。”
其結(jié)果就是,像蘋(píng)果這樣的公司能更有效地處理從互聯(lián)網(wǎng)各處流入其數(shù)據(jù)中心的所有請(qǐng)求。這個(gè)數(shù)據(jù)中心能更快地交付數(shù)據(jù),而且是在所用服務(wù)器更少的情況下做到這一點(diǎn)——對(duì)于規(guī)模如此龐大的業(yè)務(wù)來(lái)說(shuō),用較少的服務(wù)器來(lái)交付數(shù)據(jù)是一件至關(guān)重要的事情。這就是為何蘋(píng)果要花那么多錢(qián)在Fusion-io身上的原因所在,也是為何其他許多公司正朝著同一個(gè)方向前進(jìn)的原因所在。在2012年,F(xiàn)acebook花在從Fusion-io那里購(gòu)買(mǎi)硬件的錢(qián)比蘋(píng)果更多,為1.0779億美元。整體來(lái)說(shuō),在過(guò)去幾年時(shí)間里,這兩家互聯(lián)網(wǎng)巨頭已經(jīng)在Fusion-io身上花了將近5億美元,而云計(jì)算公司Salesforce.com等規(guī)模較小但卻正在增長(zhǎng)中的公司也同樣正在使用這種閃存卡。
Fusion-io已經(jīng)在這些龐大的數(shù)據(jù)中心里取得了如此巨大的成功,這促使其他許多公司也爭(zhēng)相跟風(fēng)。就在上周,科技巨頭EMC剛剛發(fā)布了一整套新的閃存卡產(chǎn)品,硅谷創(chuàng)業(yè)公司Violin Memory也已經(jīng)推出閃存卡。另一家創(chuàng)業(yè)公司Virident Systems正在開(kāi)發(fā)類(lèi)似的產(chǎn)品,世界上最大的硬盤(pán)廠商之一希捷將在不久以后利用Virident閃存卡“突襲”大型互聯(lián)網(wǎng)公司及其他公司。
Fusion-io閃存卡(騰訊科技配圖)
希捷已經(jīng)在向大型互聯(lián)網(wǎng)公司——包括蘋(píng)果、Facebook、谷歌、微軟和亞馬遜在內(nèi)——直接出售硬盤(pán)驅(qū)動(dòng)器,未來(lái)也將繼續(xù)這樣做。但這家公司現(xiàn)在所關(guān)注的是,數(shù)據(jù)中心未來(lái)將走向何方。“內(nèi)存世界和硬盤(pán)世界之間的界限正在變得模糊。”希捷新閃存硬件業(yè)務(wù)部門(mén)的負(fù)責(zé)人加里·根特里(Gary Gentry)說(shuō)道。“人們已經(jīng)受到了Fusion-io的啟發(fā)。”
但這種趨勢(shì)并非是由一家公司所推動(dòng)的。谷歌也正在自己的服務(wù)器內(nèi)部使用閃存卡——去年夏天我們從谷歌全球數(shù)據(jù)中心網(wǎng)絡(luò)負(fù)責(zé)人烏爾斯·霍爾澤(Urs Holzle)那里聽(tīng)說(shuō)了這個(gè)消息——而據(jù)硅谷傳言稱(chēng),這家搜索巨頭正在生產(chǎn)自己的閃存卡。微軟告訴我們說(shuō),這家公司也在自己的數(shù)據(jù)中心中使用類(lèi)似的閃存卡,而且在很大程度上認(rèn)為這將是服務(wù)器存儲(chǔ)的未來(lái)。
微軟服務(wù)器工程總經(jīng)理Kushagra Vaid指出,閃存能進(jìn)一步改進(jìn)服務(wù)器存儲(chǔ)子系統(tǒng),原因是其具有“非易失性”,意味著當(dāng)你關(guān)閉或是重啟服務(wù)器時(shí),數(shù)據(jù)不會(huì)丟失。在研究人員正尋找其他辦法來(lái)改進(jìn)服務(wù)器存儲(chǔ)的同時(shí),Vai認(rèn)為“正在非易失性存儲(chǔ)領(lǐng)域中發(fā)生的創(chuàng)新”是所有可能性中最有趣的。
Fusion-io聯(lián)合創(chuàng)始人大衛(wèi)·弗林(中)和里克·懷特(右)
靈感源自糟糕的想法
如果你對(duì)Fusion-io稍有了解,那么就會(huì)知道這家公司的首席科學(xué)家是史蒂夫·沃茲尼亞克(Steve Wozniak),也就是與其高中時(shí)代的好友史蒂夫·喬布斯(Steve Jobs)聯(lián)手創(chuàng)立蘋(píng)果的那個(gè)人,人們經(jīng)常都會(huì)親切地把他叫作沃茲。對(duì)于Fusion-io的新一代存儲(chǔ)產(chǎn)品而言,沃茲就像是會(huì)走路的公關(guān)宣傳品,但這個(gè)想法并不是他的,而是發(fā)源于里克·懷特和大衛(wèi)·弗林。
在聯(lián)手創(chuàng)立Fusion-io以前,懷特和弗林曾在一家名為Realm Systems的公司中共事,這家公司出售一種能放在人們口袋里的電腦,這種電腦的設(shè)計(jì)目的是讓人們能把自己的在線身份帶到任何地方去——你可以把它插入另一臺(tái)電腦,通過(guò)指紋掃描或是其他方式來(lái)認(rèn)證身份,然后就能在一瞬間登陸所有軟件應(yīng)用——但是這種產(chǎn)品從來(lái)都沒(méi)有真正“起飛”,其部分原因是這家公司的資金陷入了干涸狀態(tài)。
當(dāng)兩人開(kāi)動(dòng)腦筋構(gòu)思創(chuàng)建一家新公司的想法時(shí),華特建議稱(chēng),他們應(yīng)該把Realm微型電腦內(nèi)部的處理器改變下用途。他對(duì)弗林說(shuō),如果他們能把數(shù)百個(gè)這樣的處理器連到一起,那么就能創(chuàng)造出一種低能耗的超級(jí)電腦,可在數(shù)據(jù)中心內(nèi)部運(yùn)行海量應(yīng)用。弗林是一名工程師,他曾在勞倫斯·利弗莫爾國(guó)家實(shí)驗(yàn)室(Lawrence Livermore National Labs)等機(jī)構(gòu)中制造過(guò)超級(jí)電腦。他對(duì)懷特說(shuō)道,那是一個(gè)糟糕透頂?shù)南敕?#8212;—“他提醒我說(shuō),那些微型電腦中的處理器不能做到浮點(diǎn)處理。”懷特回憶道。但是,這種想法觸發(fā)了另外一個(gè)想法。
除了處理器以外,Realm微型電腦中還有閃存。他們用閃存來(lái)代替硬盤(pán)驅(qū)動(dòng)器,作為對(duì)構(gòu)成其存儲(chǔ)子系統(tǒng)的DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)的補(bǔ)充。弗林認(rèn)識(shí)到,把所有這些微型處理器連到一起是沒(méi)有意義的,但可以對(duì)服務(wù)器進(jìn)行重新構(gòu)建,使其看起來(lái)更像是Realm電腦。
現(xiàn)在有很多公司都已經(jīng)在提供固態(tài)硬盤(pán),這是一種旨在模仿硬盤(pán)驅(qū)動(dòng)器的閃存設(shè)備,看起來(lái)與硬盤(pán)驅(qū)動(dòng)器相似,能插入相同的接口。但弗林的目標(biāo)則是另一種不同的東西,他想要生產(chǎn)一種同時(shí)還能模仿服務(wù)器存儲(chǔ)子系統(tǒng)的閃存設(shè)備。“我從事過(guò)有關(guān)超級(jí)電腦的工作。”弗林說(shuō)道。“我知道這些大型系統(tǒng)最大的問(wèn)題就是缺少存儲(chǔ)空間。”
從設(shè)計(jì)方面來(lái)看,今天的服務(wù)器處理器只能使用特定數(shù)量的DRAM。從理論上來(lái)說(shuō),存儲(chǔ)空間上限是4TB,也就是4000GB;但在實(shí)際上,大多數(shù)服務(wù)器所裝配的DRAM都要少得多。弗林的想法是,開(kāi)發(fā)一種相當(dāng)于二級(jí)存儲(chǔ)子系統(tǒng)的產(chǎn)品,從而容納多得多的數(shù)據(jù),而這種想法的結(jié)果就是Fusion-io閃存卡得以誕生。這種閃存卡并非插入硬盤(pán)驅(qū)動(dòng)器的控制器,而是直接插入PCIe接口;換而言之,這種閃存卡與處理器之間的距離變得更近,繞過(guò)了運(yùn)行硬盤(pán)驅(qū)動(dòng)器所需要的全部額外硬件和協(xié)議。
在今天看來(lái),這像是一件顯而易見(jiàn)應(yīng)該去做的事情;但在當(dāng)時(shí),這種想法是相當(dāng)偏離常規(guī)的。這不僅是公司習(xí)慣了在服務(wù)器內(nèi)部?jī)H使用硬盤(pán)驅(qū)動(dòng)器和DRAM的緣故,而且還是因?yàn)樗鼈儗⒋蟛糠謹(jǐn)?shù)據(jù)都在服務(wù)器以外進(jìn)行存儲(chǔ)——也就是存儲(chǔ)在所謂的“存儲(chǔ)區(qū)域網(wǎng)”(SAN,storage area network)中。而通過(guò)自己生產(chǎn)的閃存卡,F(xiàn)usion-io尋求取代這些笨重的儀器,它把這種閃存卡稱(chēng)為“手心里的SAN”。
最早的大客戶是Facebook
Fusion-io在2007年秋天推出了閃存卡,當(dāng)時(shí)這家公司所獲得的第一個(gè)大客戶就是Facebook。弗林與保羅·薩博(Paul Saab)是好友,后者是一名Facebook軟件開(kāi)發(fā)者,也是FreeBSD開(kāi)源操作系統(tǒng)的知名捐助人之一。隨后,這兩家公司之間的關(guān)系就開(kāi)始不斷地進(jìn)展。時(shí)至今日,F(xiàn)usion-io甚至將跟Facebook工程師一起合作設(shè)計(jì)新的閃存卡。
蘋(píng)果則來(lái)的比較晚一些。一種很自然的想法會(huì)是,F(xiàn)usion-io與蘋(píng)果之間的合作關(guān)系是由沃茲尼亞克——他是在2008年加盟Fusion-io,出任該公司首席科學(xué)家的——推動(dòng)的,但據(jù)弗林說(shuō),事實(shí)并非如此。跟通常做法一樣,蘋(píng)果并未對(duì)有關(guān)討論該公司使用閃存卡一事的請(qǐng)求作出回應(yīng),但Facebook則是另一種態(tài)度。跟蘋(píng)果不同,這家社交網(wǎng)絡(luò)巨頭樂(lè)于公開(kāi)自己數(shù)據(jù)中心內(nèi)部使用的硬件和軟件,而該公司新時(shí)代的系統(tǒng)應(yīng)該會(huì)讓你很好地了解這些閃存卡能如何重塑服務(wù)器。
最初,F(xiàn)acebok將這種閃存卡用在運(yùn)行其數(shù)據(jù)庫(kù)軟件的服務(wù)器中,這也是其他公司對(duì)閃存固態(tài)硬盤(pán)通常的用法。基本上來(lái)說(shuō),這些閃存卡取代了硬盤(pán)驅(qū)動(dòng)器。通過(guò)在閃存卡而非硬盤(pán)驅(qū)動(dòng)器中運(yùn)行數(shù)據(jù)庫(kù)軟件的方式,F(xiàn)acebook能大幅提高狀態(tài)更新、用戶評(píng)論以及其他社交網(wǎng)絡(luò)交流活動(dòng)的交付速度。
“當(dāng)一項(xiàng)請(qǐng)求進(jìn)入數(shù)據(jù)庫(kù)層面時(shí),我們想要能以非常快的速度對(duì)其作出應(yīng)答。”Facebook硬件設(shè)計(jì)主管弗蘭克·弗蘭科夫斯基(Frank Frankovsky)曾這樣對(duì)我們說(shuō)道。“對(duì)用戶來(lái)說(shuō),這是在整體往返時(shí)間方面所作出的一種重大改進(jìn)。”與此同時(shí),這些閃存設(shè)備還能減少因設(shè)備故障而帶來(lái)的麻煩。正如弗蘭科夫斯基所說(shuō),數(shù)據(jù)中心內(nèi)部硬盤(pán)驅(qū)動(dòng)器比其他任何設(shè)備都更容易出故障。今天,F(xiàn)aceobok甚至?xí)ㄟ^(guò)這些閃存卡來(lái)啟動(dòng)數(shù)據(jù)庫(kù)服務(wù)器。
除了運(yùn)行數(shù)據(jù)庫(kù)軟件的服務(wù)器以外,F(xiàn)acebook目前還正在把這種閃存卡用于其他服務(wù)器;而且,閃存卡不僅只是取代硬盤(pán)驅(qū)動(dòng)器,同時(shí)也正在取代內(nèi)存。從傳統(tǒng)上來(lái)說(shuō),F(xiàn)acebook還運(yùn)營(yíng)著另一個(gè)層面的服務(wù)器,用來(lái)運(yùn)行所謂的“Memcached”緩存系統(tǒng),這是為了對(duì)用戶最關(guān)注的東西提供更加迅速的回應(yīng);通過(guò)這種數(shù)據(jù),甚至不必訪問(wèn)數(shù)據(jù)庫(kù)層面就能迅速回應(yīng)。這套系統(tǒng)運(yùn)轉(zhuǎn)得非常好,但Facebook目前正在對(duì)這些服務(wù)器也作出改造,創(chuàng)造一個(gè)新的軟件平臺(tái),這個(gè)平臺(tái)能在閃存卡而非在主存儲(chǔ)器中緩存數(shù)據(jù)。
通過(guò)這個(gè)名為“McDipper”的新平臺(tái),F(xiàn)acebook能緩存的數(shù)據(jù)量遠(yuǎn)超以往。“閃存能讓每臺(tái)服務(wù)器的容量提高最多二十倍,同時(shí)仍可支持每秒鐘數(shù)萬(wàn)次的操作。”這家公司在最近發(fā)表的一篇博客文章中說(shuō)道。“很明顯這正是對(duì)這個(gè)問(wèn)題的解答。”
微軟的Kushagra Vaid指出,雖然這種設(shè)備的速度仍舊遠(yuǎn)遠(yuǎn)低于主存儲(chǔ)器,但已經(jīng)足夠快,而且能耗較低。當(dāng)數(shù)據(jù)中心的規(guī)模達(dá)到微軟、Facebook或蘋(píng)果的水平時(shí),保持較低的能耗就跟其他任何事情一樣重要了。他進(jìn)一步指出,使用閃存設(shè)備的關(guān)鍵點(diǎn)在于,這種設(shè)備能帶來(lái)更多的選擇,而且從長(zhǎng)期來(lái)看,這些選擇只會(huì)日益擴(kuò)張。“這個(gè)新的平臺(tái)架構(gòu)只花了兩年時(shí)間就已被創(chuàng)造出來(lái)。”他解釋道。“到今天,在如何平衡性能和能耗的問(wèn)題上,應(yīng)用已經(jīng)變得更加精明,原因是其可以在系統(tǒng)內(nèi)存和非易失性存儲(chǔ)器之間選擇合適的平衡點(diǎn)。”
軟件公司
Facebook是從頭開(kāi)始構(gòu)建McDipper平臺(tái)的,這也可以證明閃存卡到底正在多大程度上改變數(shù)據(jù)中心。現(xiàn)有軟件并非為了在閃存卡上運(yùn)行而設(shè)計(jì)的,因此必須設(shè)計(jì)新的軟件。這就是為何Fusion-io會(huì)有工程師在蘋(píng)果和Facebook等最大客戶的數(shù)據(jù)中心里工作的原因所在,同時(shí)也是為何這家公司要聘用多名因善于Linux內(nèi)核相關(guān)工作而著稱(chēng)的軟件開(kāi)發(fā)者的原因所在。在大型互聯(lián)網(wǎng)數(shù)據(jù)中心里,大多數(shù)機(jī)器搭載的開(kāi)源操作系統(tǒng)的核心都是這種軟件。克里斯·梅森(Chris Mason)是這些開(kāi)發(fā)者中的一員,他曾負(fù)責(zé)一個(gè)名為Btrfs的Linux文件系統(tǒng);此外還有詹斯·艾克索伯(Jens Axbo),他曾開(kāi)發(fā)過(guò)多種Linux數(shù)據(jù)輸入和輸出相關(guān)工具。
“與人們?cè)谶^(guò)去數(shù)十年時(shí)間里一直都在使用的存儲(chǔ)設(shè)備相比,現(xiàn)在的存儲(chǔ)設(shè)備已經(jīng)大不相同,它們打破了一整套規(guī)則,以迥異于以往的方式運(yùn)行,能做到以前不可能做到的許多事情。”梅森說(shuō)道。“但你必須要對(duì)核心軟件作出改變,才能做到這一點(diǎn)。”
梅森和弗林解釋道,之所以要對(duì)Linux及其他軟件作出改變,目的是要對(duì)其進(jìn)行調(diào)整,從而在最大程度上利用閃存卡。同時(shí),這還是為了讓公司能更加容易地開(kāi)發(fā)自己的軟件。現(xiàn)在,F(xiàn)usion-io正在提供一個(gè)軟件開(kāi)發(fā)工具包,方便開(kāi)發(fā)者設(shè)計(jì)基于閃存卡的工具。弗林說(shuō)道,今時(shí)今日的Fusion-io已經(jīng)在很大程度上變成了一家軟件公司,而不是硬件公司。
這一點(diǎn)在這家公司最近為“開(kāi)源計(jì)算項(xiàng)目”(Open Compute Project)所作出的貢獻(xiàn)中可見(jiàn)一斑,這是由Facebook牽頭進(jìn)行的一個(gè)項(xiàng)目,旨在為數(shù)據(jù)中心創(chuàng)造出新的硬件設(shè)計(jì),并且將這些設(shè)計(jì)與全世界共享。在這個(gè)冬天,F(xiàn)usion-io將其閃存卡設(shè)計(jì)開(kāi)源化,公布了除控制器以外的其他所有信息,目的是推動(dòng)人們開(kāi)發(fā)出更多能運(yùn)行其新軟件的閃存設(shè)備。
弗林說(shuō)道,他們的希望看到的是,廣達(dá)(Quanta)和緯創(chuàng)(Wistron)這樣的電腦廠商將在服務(wù)器主板中直接整合閃存,從而使其更加靠近處理器。畢竟,那才是數(shù)據(jù)中心未來(lái)將走向的方向。