一、天蝎1.0：整合度的權衡
時間追溯至2012年5月2日。
第三屆OCP峰會在圣安東尼奧召開，宣布騰訊和阿里巴巴成為正式會員，并開始籌劃Open Rack與天蝎項目的融合，期待能在2013年將兩個項目規范合并。這反映了雙方的共同意愿，不過，Open Rack與天蝎項目在設計理念上存在較大的分歧，而這又很大程度上是由不同的客觀環境決定的。
中國服務器廠商的老朋友Supermicro，已在2010年9月中旬舉行的秋季IDF上宣布推出SuperRack整機柜解決方案。Open Rack和天蝎整機柜服務器的定制性更強，不是直接把現有的機架式服務器裝滿機柜，而像是標準化程度更高、尺度更大的刀片式服務器，機柜好比刀片式服務器的機框（Blade Chassis），要整合供電、散熱、管理等“基礎設施”。
Open Rack只整合了供電單元（Power Supply Unit，PSU），而天蝎項目還集中了散熱（風扇）和管理。
天蝎整機柜效果圖，機柜中部的PSU和RMC（中圖）、背面的風扇墻（右圖）以及1U高的服務器節點（左圖）是其主要特征
1999年，Google的“軟木板”機柜服務器就已集中了風扇。不過，Urs Hölzle等人當時那么做多少有不得已的成分，畢竟軟木板服務器沒有機箱可以用來固定風扇，既然機柜才是真正意義上的機箱，將風扇集中安裝在機柜的后門上便是一個合乎實際情況的選擇。后來Google步入正軌，有足夠的時間規劃，做法也不再那么“山寨”，遂回歸到每個服務器節點自備風扇的常規設計。
Facebook的服務器設計與Google頗有淵源，也影響到了Open Rack。將風扇集中到機架后部，形成風扇墻，至少有兩大好處：
- 可以使用更大尺寸的風扇，具有更高的效率；
- 減少風扇的數量，有助于控制需維護的故障單元。
浪潮SmartRack整機柜服務器的介紹材料，介紹了天蝎項目集中供電、散熱、管理的優勢，數字僅供參考
既省電，又減少了活動部件的數量，為什么還不集中呢？因為也帶來了管理上的挑戰——不同的服務器節點發熱量有區別，需要的風扇轉速可能不同。特別是大直徑的風扇會跨越多個服務器節點，即使把同樣構造的節點放在一起，亦可能因為工作負載不同，而需要不同的風扇轉速，考慮最壞情況，必須就高不就低，仍然難以避免能耗的浪費。
天蝎整機柜后部每排風扇的供電線纜及管理用網線（來源：張廣彬拍攝）
利弊可以權衡，集中散熱必須提供配套的管理——風扇墻是共享的，但要由RMC（Rack Management Controller，機柜管理控制器）或RBP（Rack Back Plane，機柜背板）實現獨立風扇控制。天蝎1.0定義了機柜管理模塊（RMC Module），阿里巴巴、百度、騰訊和英特爾構成的天蝎項目組2012年3月下旬起草初稿，經過幾次修訂，2012年5月16日，完成《整機柜服務器管理RMC CLI規范》Version1.0。RMC不僅監控節點（環境、CPU、內存）溫度、電源和風扇狀況，還有更新風扇控制板固件、識別插入節點是否屬于本機柜、將位置信息刷入節點等管理功能。
百度北極1.0（上）和浪潮SmartRack 3.0（下）整機柜服務器中部的RMC（左側）及集中PSU（來源：張廣彬拍攝）
除了作為重要的發起者之一，百度在天蝎1.0時代是部署的絕對主力，并為天蝎項目貢獻了大量工程實踐和實驗。譬如，供電系統中電源背板是單點，百度與供應商合作，成功實現管理與銅排（busbar）的拆分，銅排基本不會壞，管理部分可以單獨更換，就不用冗余設計了，從而降低成本。從供電的角度來看，這種做法也可視為“控制和數據解耦”思路的一種體現。
二、天蝎2.0：內寬與標準化
對于Open Rack將機架內寬擴大到21英寸的做法，天蝎項目一開始是拒絕的。
理由很簡單，一個幾乎是全新的標準，初期注定沒有規模。量上不去，成本下不來。據說，Open Rack剛開始時，僅僅一個機柜的價格就要1500美元。從整個公司的層面來看，BAT對基礎設施還沒有Google、亞馬遜、Facebook那般重視，雖說多花錢是為了最終省錢，但何時能把多花的錢省回來？前瞻是好的，可超越權限太多的事，很難做成。
天蝎1.0基于流行的19英寸EIA 310-D標準機架，規范中要求機架承載能力不小于1200千克。內寬21英寸會削弱機架的承重能力，這也是百度所擔心的。Supermicro的SuperRack同樣遵循EIA 310-D標準，一直發展到現在。
盡管機架標準不變，畢竟電源相關的部分和服務器節點都需要定制，初期還是會有采購成本上升的問題。經過內部的說服和協調工作，百度表示可以接受采購成本的小幅增長，接下來是浪潮、廣達、富士康、華為、英業達等服務器OEM/ODM付出犧牲，用戶和廠商共同培育天蝎生態系統。
2012年12月，以天蝎1.0為主體的百度“北極”1.0開發完成，并上線200個機架，部署地點包括我們在2013年1月11日參觀的百度南京浦口電信機房；2013年8月，又向內蒙古機房交付數百套產品。在這些遠離北京的區域（特別是內蒙古），把大部分組裝工作轉移到工廠預先完成、現場快速部署可以顯著降低人力成本。與傳統的機架式服務器相比，天蝎整機柜服務器除了節能，還具有約10倍的交付效率，日交付量從原來的幾百臺，提高到3000臺（節點），乃至5000臺（天蝎2.0），對需要快速大批量部署的百度很有價值。
百度“北極”2.0、阿里Ali Rack、浪潮SmartRack 4.0，天蝎2.0樣機的正面與背面（來源：張廣彬拍攝）
然而，隨著天蝎項目的發展，Open Rack的前瞻性與大膽探索也逐漸得到驗證。
Facebook認為EIA 310-D標準的一大問題是過于寬泛，把高度、深度、安裝和布線方案以及連接器的規范都留給制造商去定義。類似的情況在“速成”的天蝎1.0上體現很明顯，因為《天蝎項目整機柜服務器技術規格》V1.0只定義了框架設計，各廠商的結構實現、散熱、供電、管理皆不統一，這使得運維效率、部件通用性、散熱優化、供電與散熱管理、可互換支持都成為新挑戰，也影響了生態系統的正常發展。
騰訊微模塊數據中心（TMDC）里的兩款整機柜服務器，左邊并排兩個大尺寸風扇（172mm）的是華為Tecal X8000，右邊并排三個較小尺寸風扇（140mm）的是戴爾DCS G5，可以直觀的感受到風扇尺寸不同帶來的顯著差異（來源：張廣彬拍攝）
僅舉供電和散熱的兩個例子：供電方式和位置沒有規定，風扇尺寸沒有規定。服務器節點的供電可以是銅排或背板，都是銅排位置又可能不一樣……如此種種，不一而足。作為一個整機柜規范，不能止于把供電單元和散熱風扇集中起來，而應把它們也都視為機架的組成部分，有統一的標準。這些都交給制造商去定義，那就要走上刀片式服務器的老路，與成立天蝎項目的初衷不合。
聯想的天蝎工程樣機，供電方面，1.0機型采用居中的背板，2.0機型采用靠左側的銅排（來源：張廣彬拍攝）
機架還是標準的，還沒裝服務器節點就互不兼容了，每家各有一套，規模自然上不去，成本怎么下得來？
標準化不徹底，顯然不是19英寸的問題。Facebook在第三屆OCP峰會上宣布提交給孵化委員會（Incubation Committee，IC）代號“Knox”的存儲項目——即后來的Open Vault，完整體現了Open Rack將內寬拓至21英寸的價值。
如果不考慮通用機架式服務器為兩側導軌留出的空間，21英寸只比19英寸多出11%左右。但是我們知道，對服務器主板和3.5英寸硬盤等大尺寸元件，可不是這么算的。譬如英特爾從至強E5開始大量提供的6.5英寸寬（20英寸長）主板，做成服務器的話，21英寸正好可以并排3個，而19英寸只能放2個，減少三分之一！
第六屆OCP峰會戴爾展臺上的DCS G5三大組件，內框寬度21英寸。上面是RMC（左側）和集中的PSU，下面是1U3計算節點。隔壁是廣達展臺上的Yosemite（機箱）及Mono Lake（主板），這屆峰會上OCP推出的提升計算密度利器，后面部分簡要評述（來源：張廣彬拍攝）
不過，BAT并不稀罕這個，因為天蝎項目的計算密度已經夠高，由于整機柜架構的差異（后面會簡要分析），短期內OCP服務器有Open Rack助力也趕不上。如果在21英寸機架里進一步增加服務器數量，雙路服務器從1U2變成1U3，整機柜對供電的需求可能超標：假設80個（40×1U2）到120個（40×1U3），每節點按200W計，總能耗就從16kW增至24kW，不放滿或摻雜冷存儲節點的話實用意義又不大……畢竟，天蝎1.0規定的7～12KVA供電容量，對中國的絕大多數數據中心而言，已經不低。
3.5英寸硬盤外寬4英寸，長度接近6英寸。橫向放，要加上SAS/SATA接口和拔插的活動空間，19英寸實際排不下3個，21英寸就很輕松；縱向放，21英寸可以放5個，19英寸則只能放4個，意味著最少20%的差距。
Ali Rack內部節點供電的折線臂（Cable Arm，從前端抽出節點更換硬盤等部件時維持電力供應）特寫，周邊可見前面橫排的3個3.5英寸（希捷SATA）硬盤、后面的銅排和3個140mm風扇、兩側承載節點的L型隔板，都體現了天蝎2.0規范的特征（來源：張廣彬拍攝）
于是，從2012年12月30日匯總原始需求，中間經過一次修訂，2013年10月完成了天蝎2.0規范Rev 0.5，相對天蝎1.0的主要改進包括：
- 定義了2100mm、2300mm兩種高度的機柜，實際可用空間分別為42U和46U；
- 重新定義了機柜的內部尺寸，統一為538mm（21英寸） 內框；
- 重新定義了每U的高度為46.5mm；
- 增強了機柜背板功能，并可實現熱插拔維護；
- 服務器節點與機柜系統解耦，可實現服務器節點混插互換；
- 明確定義了風扇的尺寸，統一為140×38(mm)規格（每行3個），風扇窗高度4U，能夠以1U為單位固定或調整上下位置。
天蝎1.0（左，百度北極1.0）與天蝎2.0（右，浪潮SmartRack 4.0）整機柜對比，可以明顯看出內框寬度的差異（來源：張廣彬拍攝）
內框寬度從19英寸到21英寸是個重大轉折，說明標準的延續性不好，但是該出手時不能猶豫。經過機架和電源供應商如臺達（Delta）與Facebook、Rackspace、Fidelity投資等客戶的實踐，21英寸內框機架的成本已經降低到BAT可以接受的程度，除了曾借助Supermicro方案的曙光暫時沒跟上節奏，聯想（Lenovo）、中興（ZTE）等國內服務器OEM紛紛活躍起來。
46U的中興天蝎2.0工程樣機頂部特寫，注意右上方的U位編號（來源：張廣彬拍攝）
在這個過程中，天蝎聯盟的構成也逐漸發生了改變。
從天蝎聯盟到ODCC
2012年9月，中國電信加入天蝎項目，中國移動于2014年正式加入。
2013年4月10日召開的IDF 2013期間，陳曉建作為天蝎項目輪值主席亮相主題演講。在天蝎項目的創始人中，陳曉建業界資歷最深，又代表騰訊加入了OCP的孵化委員會，雖然是輪值主席，但大家都很樂于他繼續干下去。然而，沒過太久，陳曉建被調去騰訊云任副總經理，2015年3月又加入UCloud任高級副總裁——巧合的是，同月加入平安科技(深圳)有限公司任基礎架構首席總監的朱永忠，距2014年8月調任百度大數據部高級總監也沒多久。此前，朱永忠在百度系統部歷任高級經理、副總監、總監、高級總監，對魏偉、陳國峰等人負責的北極項目（百度版天蝎）給予了很大的支持。
人事變動非外人可以參透，起碼新崗位應該會從中受益。不過，這樣的結果，多少折射出即使在BAT，基礎設施工作也很難得到足夠的重視。
另一方面，進入2014年之后，隨著天蝎2.0的成熟，阿里巴巴的積極性大幅提升。至少在推動天蝎項目發展的意愿上，BAT難分高下，再加上電信和移動，原來的協調機制很難繼續發揮作用。于是，負責制定標準的工信部電信研究院（中國信息通信研究院）也加入進來，2014年8月29日在北京召開的開放數據中心2014峰會上，宣布成立開放數據中心委員會，英特爾仍擔任技術顧問。
開放數據中心委員會的人員構成
天蝎聯盟變身開放數據中心委員會，工作覆蓋范圍也終于如最初設想般擴展到數據中心。開放數據中心委員會（Open Data Center Committee，ODCC）下設服務器、數據中心、測試認證三大工作組，服務器工作組可以視為天蝎項目的自然延續：百度張家軍出任服務器工作組組長，阿里巴巴肖德芳也是天蝎項目創始人，擔任天蝎整機柜服務器項目經理；中國移動唐華斌擔任彈性服務器項目經理，目前負責多節點服務器項目。
在開放數據中心2014峰會上，審批發布了天蝎2.0規范Rev 1.0，在前面版本的基礎上，主要改進多了一項：
- 增加了機柜頂部擴展功能，在交換機數量及節點數量無法滿足要求時，可在機柜頂部安裝固定交換機，總高度不超過2500mm。
規范的最后部分，還明確提出了對機房物理空間（包括電梯）的要求。
數據中心工作組的人數比服務器工作組多一倍，騰訊IDC平臺部技術發展中心副總監朱華擔任組長，加上張海濤、周洛，占據半壁江山；其他3人是阿里巴巴陳炎昌、百度李孝眾、英特爾張敬。測試認證工作組的5人分別來自騰訊以外的5家組織。
（原文標題：《BAT的故事(6):天蝎1.0到2.0的中國式標準之路》，有修改）
轉自：http://dc.idcquan.com/zjgfwq/73817.shtml
