提要：目前，國(guó)內(nèi)自主研發(fā)的文件系統(tǒng)可謂鳳毛麟角。淘寶在這一領(lǐng)域做了有效的探索和實(shí)踐，TaobaoFileSystem(TFS)作為淘寶內(nèi)部使用的分布式文件系統(tǒng)，針對(duì)海量小文件的隨機(jī)讀寫(xiě)訪(fǎng)問(wèn)性能做了特殊優(yōu)化，承載著淘寶主站所有圖片、商品描述等數(shù)據(jù)存儲(chǔ)。

　　文章首先概括了TFS的特點(diǎn)：

　　TFS是什么

　　TFS，TaobaoFileSystem，淘寶內(nèi)部使用的分布式文件系統(tǒng)，主要針對(duì)海量小文件的隨機(jī)讀寫(xiě)訪(fǎng)問(wèn)性能做了特殊優(yōu)化，承載著淘寶主站所有圖片、商品描述等數(shù)據(jù)的存儲(chǔ)。

　　TFS有什么特點(diǎn)

　　1.完全扁平化的數(shù)據(jù)組織結(jié)構(gòu)，拋棄了傳統(tǒng)文件系統(tǒng)的目錄結(jié)構(gòu)。

　　2.在塊設(shè)備基礎(chǔ)上建立自有的文件系統(tǒng)，減少EXT3等文件系統(tǒng)數(shù)據(jù)碎片帶來(lái)的性能損耗

　　3.單進(jìn)程管理單塊磁盤(pán)的方式，摒除RAID5機(jī)制

　　4.帶有HA機(jī)制的中央控制節(jié)點(diǎn)，在安全穩(wěn)定和性能復(fù)雜度之間取得平衡。

　　5.盡量縮減元數(shù)據(jù)大小，將元數(shù)據(jù)全部加載入內(nèi)存，提升訪(fǎng)問(wèn)速度。

　　6.跨機(jī)架和IDC的負(fù)載均衡和冗余安全策略。

　　7.完全平滑擴(kuò)容

　　TFS在淘寶的應(yīng)用規(guī)模

　　1.數(shù)百臺(tái)PCServer

　　2.PB級(jí)數(shù)據(jù)量3.百億數(shù)據(jù)級(jí)別TFS的性能參數(shù)

　　TFS在淘寶的部署環(huán)境中前端有兩層緩沖，到達(dá)TFS系統(tǒng)的請(qǐng)求非常離散，所以TFS內(nèi)部是沒(méi)有任何數(shù)據(jù)的內(nèi)存緩沖的，包括傳統(tǒng)文件系統(tǒng)的內(nèi)存緩沖也不存在。我們主要的性能參數(shù)不是IO吞吐量，而是單臺(tái)PCServer提供隨機(jī)讀寫(xiě)IOPS。由于大家硬件型號(hào)不同，當(dāng)然也是因?yàn)橐恍┘夹g(shù)保密的原因，我們很難給出一個(gè)參考值來(lái)說(shuō)明性能。但基本上我們可以達(dá)到單塊磁盤(pán)隨機(jī)IOPS理論最大值的60%左右，整機(jī)的輸出隨盤(pán)數(shù)增加而線(xiàn)性增加。

　　TFS的邏輯架構(gòu)圖

　　以上是TFS的一個(gè)簡(jiǎn)要的應(yīng)用情況和架構(gòu)介紹，后續(xù)將逐步豐富，歡迎大家拍磚。并再次做個(gè)廣告，TFS計(jì)劃在今年9月份建立開(kāi)源社區(qū)，請(qǐng)大家支持。

　　文章發(fā)表以后，讀者反響熱烈，在評(píng)論中提出了各種問(wèn)題與作者楚材進(jìn)行技術(shù)交流，由此可見(jiàn)國(guó)內(nèi)社區(qū)對(duì)自主研發(fā)文件系統(tǒng)的關(guān)注程度。(編輯：燕青)

來(lái)源： 億邦動(dòng)力