互聯網正處在一場革命當中,中心化的專用服務正在被去中心化的開放式服務所替代,未來的開放式互聯網將會形成一個沒有中心化管理的去中心化網絡,更好的服務於人類。
IPFS(Inter-Planetary File System)是一個點對點(p2p)文件共享係統,是由Protocol Labs 創建的一個開放源代碼項目,作為點對點(p2p)文件共享係統,旨在從根本上改變信息在全球及全球範圍內分發的方式。其中Filecoin 是一個將雲存儲轉變為一個算法市場的去中心化存儲網絡,礦工通過提供數據存儲和檢索來獲得Filecoin(FIL),而客戶通過付費使得礦工提供存儲,分發和檢索數據。目前全球IPFS 項目逐漸增加,數據存儲市場的需求也在逐步加大,這就意味著Filecoin 作為激勵層,成為市場為IPFS 保駕護航的迫切需求。
根據Filecoin的發行機製,Filecoin的總量恒定為20億枚,其中5%即1億枚是分配給基金會的,按6年線性釋放;10%即2億枚是分配給投資人,按6-36個月不等進行線性釋放;15%即3億枚分配給協議實驗室團隊,按6年線性釋放;剩下70%即14億枚分配給礦工,以區塊獎勵的方式線性釋放。
北京時間北京時間2020年10月15日,曆經三年時間,IPFS&Filecoin終於迎來了主網的上線!這一期待已久的高光時刻也迎來了全球交易所的熱捧——紛紛投出橄欖枝,搶先上線Filecoin。IPFS&Filecoin的主網上線,成為了具有裏程碑意義的時刻。
一、Filecoin挖礦原理及流程
Filecoin 挖礦就是幫用戶存儲數據來獲取獎勵的過程。整個 Filecoin 挖礦可以分為數據封存和共識證明兩個過程。
Filecoin 架構包括三部分,分別是存儲市場、FIL 區塊鏈和檢索市場。相對應的礦工類型有存儲礦工和檢索礦工,後續可能還會出現修複礦工。顧名思義,存儲礦工主要負責存儲文件,同時維護FIL 的區塊鏈,相應地存儲礦工的收益也包括存儲手續費、區塊獎勵以及交易費三部分。檢索礦工主要的任務是檢索數據,其獲得的收益為檢索費用。
存儲過程
圖1 存儲過程
檢索過程
圖2 檢索過程
區塊獎勵
圖3 區塊獎勵
Filecoin挖礦步驟可以簡單拆分為worker和miner兩個步驟。worker就是負責計算,將原始數據通過SDR算法進行數學計算,然後再將計算好的數據封裝到硬盤的扇區中,並提交上鏈生成複製證明,礦工就獲得了算力,這個過程需要消耗大量的CPU、內存和GPU資源。然後Filecoin網絡再根據礦工所持有的算力分配區塊打包的權利(也就是區塊打包票選權),算力越大、贏票率越高,礦工在參與區塊打包的時候需要重複提交時空證明,完成了時空證明的節點就可以獲得區塊打包的獎勵。
圖4 Filecoin挖礦流程
二、Filecoin的數據封存
數據封存階段主要涉及Precommit 1,Precommit 2,Commit 1,Commit 2四個小階段。簡稱P1、P2、C1、C2階段;
1)Precommit1 階段(下文簡稱 P1 階段):
係統會把用戶需要存儲的文件分成一個個大小為 32GB 的 sector(塊),P1 階段就是礦工先對sector 進行進一步的拆分,然後再按順序進行存儲,中間需要進行 11 層計算,且無法並行計算;在該階段,通過大容量內存的方式,就有可能同時存儲多個sector,並通過軟件優化存儲一個sector占用的內存的大小來提高P1階段的速度;
2)Precommit2 階段(下文簡稱 P2 階段):
P2 階段即就是計算 Column Hash 以及生成 Replica,並構造相應的 Merkle 樹,相當於解題並做出答案的過程。該階段可以采用 GPU 加速。
3)Commit1 階段(下文簡稱 C1 階段):
C1 階段主要是為 Sector 證明準備所需要的數據。這個時間很短,一般在一分鍾以內。
4)Commit2 階段(下文簡稱 C2 階段):
C2 階段是零知識證明的數據處理以及生成零知識證明的過程。相當於確認答案是否正確的階段。該階段可以采用 GPU 加速。
三、Filecoin的共識機製
和比特幣一樣,在每一輪的出塊權競爭上,全體存儲礦工根據自己的存儲算力來競爭區塊鏈的出塊權。本輪勝出的礦工進行出塊並全網廣播,其他礦工驗證並接受結果。
在這個流程裏麵,Filecoin協議的關鍵是“算力”的定義和證明,“算力”即礦工的貢獻度量(比特幣協議是根據礦工貢獻的計算量大小來度量的,即PoW機製)。為了不“浪費”資源,和實體經濟完美結合,Filecoin協議規定,誰存儲的有效數據越多,即誰的算力就越大。
如何判斷誰存儲的有效數據多呢?Filecoin中的兩個重要的證明機製了:複製證明和時空證明。
複製證明
簡單理解即礦工要證明自己,自己確實保存了用戶要求存儲的數據。
時空證明
時空證明,簡單理解就是:作為礦工,我需要能夠長時間幫客戶保存一份文件。如何證明我確實存了這份文件這麼長時間,這就是時空證明的關鍵所在。
時空證明就是礦工要證明自己確實一直是保存了用戶要求存儲的數據的。
四、Filecoin礦池構成
Filecoin礦池的硬件配置一般會將計算和存儲分離,分別搭建計算集群、存儲集群,和加速集群(零知識證明)。
計算集群:礦工獲取算力的過程主要是靠CPU、GPU以及內存的性能,也就是礦池的計算集群的性能。
加速集群:礦工在參與區塊打包的時候需要重複提交時空證明,完成了時空證明的節點就可以獲得區塊打包的獎勵
圖5 計算、加速集群架構
存儲集群:根據客戶所購買的存儲容量占礦池總存儲服務器的數量(承諾容量)來按比例進行分配收益。
圖6 存儲集群架構
五、BOB登陆 IPFS&Filecoin解決方案
BOB登陆 集團利用自身在ICT領域的強大優勢,推出了IPFS場景下的計算存儲解決方案,並已成功幫助多個客戶完成了算力的提升和性能的優化,為IPFS&Filecoin項目的發展貢獻了自己的力量。
整體架構如下圖所示:
圖7 整體架構設計
采用靜態路由或者BGP與IDC服務商對接
部署防火牆進行安全保護
核心交換區:
采用高可靠的框式交換機(雙主控、冗餘電源、冗餘交換網板)
支持大緩存及VOQ機製,防止出現網絡擁塞而導致的丟包
業務接入區:
服務器萬兆接入
計算集群4*40G上聯,收斂比1:3
存儲集群4*100G上聯,收斂比1:1
加速集群4*40G上聯,收斂比1:3
計算和加速集群推薦選擇ADM平台。
在IPFS&Filecoin的數據封存SDR算法中存在大量SHA256計算,而AMD CPU支持SHA指令集,比Intel產品有天然優勢。
在測試AMD Rome平台後發現,功耗、內存帶寬、核心數量、核心工作頻率比較均衡,同時發現AMD CPU的SHA算力遠遠超過Intel平台。
綜合性價比來看,當前 IPFS 業內都是以Rome平台為基準算力平台。
圖8 AMD EPYC ROME CPU規格
BOB登陆 的H3C UniServer R4950 G3服務器是基於AMD EPYCTM (第一代和第二代)處理器的新一代機架式服務器,2U高度,支持雙路CPU,具有業界最多內核的AMD CPU和內存擴展能力,是IPFS&Filecoin礦機的較好選擇。
圖9 H3C UniServer R4950 G3服務器
在存儲集群中,推薦使用H3C完全自主研發的新一代全對稱的分布式存儲係統H3C UniStor X10000 G3。同時支持塊、文件、對象與大數據存儲能力,最大支持2048個節點的橫向擴展,單一命名空間支持EB級容量,係統的性能和容量隨節點數增加呈線性增長。采用全分布式融合架構,為存儲係統的高性能、高擴展、安全可靠、自動化運維提供了有力保證。
在IPFS&Filecoin的存儲集群設計中,X10000 G3具備以下優勢:
融合架構:提供塊、文件、對象與大數據的統一資源池,在單一命名空間下支撐EB級數據存儲。
高擴展:具有橫向擴展能力,在容量不斷擴展的同時,性能隨節點數增多而線性增加,隨時管理動態的業務需求,響應業務變化。
高可靠:針對PB/EB級數據提供更高效、快速的保護和恢複能力,集群會自動將數據分布在不同的存儲單元上,並引入副本/糾刪碼等機製,保證用戶數據的完整性和業務可用性。
易管理:提供方便易用的管理、監控界麵,高度自動化和簡化的IT操作,簡化存儲集群的部署和運維,支撐用戶管理PB/EB級數據。
六、總結
Web3.0是互聯網革命的一種結果,這個結果包括從IT走向DT,信息與價值結合帶來網絡的顛覆和真正應用的去中心化、去信任化。
IPFS/Filecoin基於文件內容Hash的唯一性,節約網絡空間的消耗和運維成本。將文件以碎片形式存在於多個節點之上,並行處理傳輸提速,屬Web3.0互聯網基礎建設,以解決信息爆炸,帶來信息的自由流動,實現數據驗證與存儲(版權保護、信息溯源等)一體化,理論上支持信息的永久可訪問。
這些需求是整個互聯網和網民們的需求,對於Filecoin而言持續激勵是一個循序實現目標的手段。
Filecoin生態從短期看是一個存量生態,它基於20億枚FIL的價值流通;從長期看由於AI、大數據、5G等高新技術的快速發展和急需落地,迸發數據存儲場景的剛需指數級增長,附帶關聯產業的價值輸送,可以預見的是Filecoin主網上線後創造的財富為億萬級(RMB),Filecoin不是封閉的生態,其自身無法完成如此宏大的目標,這可能需要10年、20年甚至50年,但這是一個正確的方向,這是潛在的能量。