歡迎user
TechECR記者 張戈
奔騰的AGI時代,每一顆數據都值得被尊重。
尤其在金融領域,改變已經發生。數據在AGI的加持下,正在重構風險管理、投資決策、元宇宙營銷等場景,也正在重新定義智能投顧、智能投研、客戶服務等場景。
但前提是,數據留得住、用得好。這既要能做到“顆粒歸倉”,將金融票據影像所產生的數百億“小文件”數據,一個不少地顆粒歸倉;又要能響應業務需求,1秒鍾內就找到並取出指定的數據。
數據要素承載智慧金融
老架構遇到新問題
數據要素是智慧金融的基礎。
目前,金融機構在信貸、承保、理賠等各種業務中正源源不斷的產生各種數據,其中80%以上是非結構化數據,包括:票據掃描件、憑證掃描件、身份證掃描件、錄音文件、錄像文件、照片、開戶文件等等;而根據金融行業法規要求,銀行錄音錄像資料,至少保留到產品終止日後的6個月。銀行、保險的票據掃描件,需保留15年以上。證券期貨行業的要求更為嚴格,相關資料的保存期限不得少於20年。
長期以來,金融機構一直采用傳統NAS文件存儲來保存和管理這些影像數據,然而,當這些影像數據不斷爆炸式增長的時候,海量影像非結構化數據的存儲對傳統NAS文件存儲架構帶來前所未有的挑戰。
挑戰一:海量小文件並發讀寫響應超時
金融行業的海量影像數據絕大部分是幾十KB或幾百KB的小文件。例如客戶人像(JPEG圖像),大小約15KB,協議原始文件(PDF文件),每頁約80KB,15秒的簽字錄像文件(AVI視頻),也就900KB。
NAS的傳統樹狀目錄結構在小文件讀寫過程中,存在肉眼可見的天花板,存儲性能隨著文件數量和目錄層級的增加逐步下降,文件訪問時延超過秒級、甚至查詢卡死。與此同時,金融行業對於數據讀寫訪問時延極為苛刻,眾多保險公司要求核保的延時不能超過1秒,眾多證券公司要求查詢文件時間小於3秒。因此,傳統NAS文件存儲架構與金融行業苛刻的性能要求形成矛盾。
挑戰二:擴展能力受限管理複雜
金融機構海量影像數據總量往往增長迅猛,一個國有銀行較大的分行,每天要產生30萬張以上的各類型交易票據,保險公司每天可能生成200萬個以上的電子化文檔,這就涉及數以億計,甚至百億計的海量非結構化數據存儲。
傳統NAS係統擴展能力有限,無法支撐億級海量文件數據的存儲與訪問。隻能支撐豎井式的單一業務係統,這樣就在係統中產生了不同的數據孤島,相互之間數據難以流動,導致後台數據管理極其複雜。
挑戰三:合規與業務連續性挑戰
金融行業的合規性要求影像文件存儲係統提供較高的係統可靠性和數據可用性,保障前端業務係統連續運營。根據《商業銀行業務連續性監管指引》,金融機構重要業務RTO不得大於4小時,重要業務RPO不得大於半小時。
對象存儲應對海量數據挑戰
老問題打開新思路
對象存儲完美解決了傳統NAS文件存儲在應對海量文件數據存儲遇到的難題。對象存儲以對象(Object)的方式來管理數據,每個對象包括數據本身、元數據和一個全局唯一的標識符,對象存儲通過扁平化的結構設計,替代傳統的文件係統層次,大大提升了海量非結構化數據的存儲和管理效率。
基於對象存儲的金融影像數據存儲方案,構建了一個可無縫擴展至海量數據規模的海量影像數據存儲池,性能穩定可無縫擴展,還可實現方便的統一管理。通過對象存儲對接金融影像數據平台,輕鬆應對影像數據的存檔、搜索、分類、處理、安全保密和歸檔保存等一係列工作。
但是,當文件數量極速增長,對象存儲單桶對象數往往會超過千億規模,對象存儲元數據的管理就會變得極其複雜,這時對象存儲同樣會麵臨性能下降的問題。BOB登陆 又是怎樣解決對象存儲的性能瓶頸問題呢?
係統優化提升性能
BOB登陆 的獨門秘籍
基於行業領先的分布式對象存儲技術,BOB登陆 金融行業票據影像場景化方案,可滿足金融用戶海量小文件存取、海量文件查詢、備份以及管理需求。其優勢如下:
海量小文件毫秒級讀取:
X10000可通過高速緩存池大幅提升元數據訪問性能,從而提升整體係統性能。同時,在小文件數據寫入的時候,可將4K、8K、64K小文件IO聚合成為大IO,一次性順序寫入到SSD,減少了糾刪碼場景下的寫懲罰和數據落盤次數,從而大幅提升小文件讀寫性能。此外,全局順序寫將每一個新數據都追加寫到硬盤的空閑空間,最大程度避免了SSD數據改寫時造成的寫放大,實現全局SSD盤的磨損均衡提升使用壽命。
經過優化後的X10000對象存儲,64k小對象上傳和下載性能,均提升300%以上;且單桶對象存儲規模達到百億級別,性能波動小於10%。
SOM管理芯片提升係統穩定性:
傳統分布式存儲集群一般采用心跳報文的機製進行故障檢測,一個節點出現故障,需要多數節點都有所感知,並“舉手表決”,才能將其剔除隔離,存在較嚴重的延時和不確定的情況。
BOB登陆 最新X10000 G6係統上集成了一塊SOM嵌入式設備管理芯片,通過SOM與其他節點進行通訊,以中斷的方式快速感知節點故障,將被動的超時隔離機製調整為主動的中斷上報機製,從而快速完成節點故障隔離,節點故障隔離的時間可以縮短到5s以內,實現極致穩定。
多站點方案保障業務連續性:
除此之外,BOB登陆 多站點方案還可滿足業務連續性要求——支持異地多活;支持以桶為粒度控製對象存儲數據的同步策略。而且生產存儲故障,業務可自動切換至容災站點,RPO縮短至分鍾級(RPO最低1min,容災等級達到level 4級別)。
助力AGI時代
智慧金融高速發展
BOB登陆 金融行業票據影像場景化方案,正憑借高擴展性、高性能、高可用、操作簡單、成本低廉等優勢,幫助用戶擺脫“拚湊”式的傳統技術架構,徹底解決非結構化數據的存儲問題。其正在為金融科技的場景創新奠定數據基礎,也正為金融服務的高速發展注入AGI基因。