RM新时代足球交易平台

18600329666

咨詢技術(shù)專家

掃一掃
與技術(shù)專家在線溝通

Menu
大量視頻,圖片，文件分布式存儲技術(shù)方案

來源：未知　時間：2022-55-26　瀏覽次數(shù)：362次

  1. 分布式系統(tǒng)概述
分布式文件系統(tǒng)主要是用于存儲文檔、圖像、視頻類的非結(jié)構(gòu)化數(shù)據(jù)，其建立在網(wǎng)絡(luò)會話層和網(wǎng)絡(luò)傳輸層之上，以建立資源池的方式實現(xiàn)全局化管理平臺所涉及的非結(jié)構(gòu)化數(shù)據(jù)資源(文件資源)，并實現(xiàn)資源調(diào)度過程的透明化。
系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負荷，利用位置服務(wù)器（NameNode）定位存儲信息以提高文件讀取效率，系統(tǒng)整體性能和系統(tǒng)擴展性
  1. 技術(shù)路線
使用HDFS作為分布式文件系統(tǒng)中間件，HDFS有著高容錯性（fault-tolerant）的特點，可以提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序，HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實現(xiàn)流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。在HDFS分布式文件系統(tǒng)的基礎(chǔ)上建立ZooKeeper分布式服務(wù)注冊中心對兩個互為主備的NameNode進行不間斷心跳狀態(tài)檢測，如果某一臺NameNode節(jié)點出現(xiàn)故障則自動切換另外一臺主機對外提供元數(shù)據(jù)檢索，存儲服務(wù)，即實現(xiàn)分布式存儲的高可用特性。部署ZKFailoverController客戶端組件實現(xiàn)對Zookeeper注冊中心的可視化管理，實現(xiàn)提前預(yù)計，定時故障分析和處理。
  1. 分布式文件系統(tǒng)架
系統(tǒng)由兩個主備NameNode節(jié)點和多個DataNode（數(shù)據(jù)存儲塊）組成，通過注冊中心實現(xiàn)NameNode高可用切換，其中NameNode實現(xiàn)數(shù)據(jù)索引和元數(shù)據(jù)的存儲，架構(gòu)如下圖所示
分布式文件系統(tǒng)
  1. 系統(tǒng)目標
硬件故障災(zāi)備
整個分布式文件系統(tǒng)將由數(shù)百或數(shù)千個存儲著文件數(shù)據(jù)片段的服務(wù)器組成。隨著數(shù)據(jù)量的不斷增大，其分節(jié)點的數(shù)量將會非常龐大，每個節(jié)點硬件都有出故障的可能，系統(tǒng)通過部署ZooKeeper（ZK服務(wù)注冊中心） 和 ZKFailoverController（ZKFC）組件實現(xiàn)故障自動轉(zhuǎn)移，以達到即便硬件出現(xiàn)故障數(shù)據(jù)依然完整的目的
故障災(zāi)備
實現(xiàn)海量數(shù)據(jù)存儲
系統(tǒng)實施基于XHBGDAT運維管理系統(tǒng)，實現(xiàn)NameNode實時監(jiān)測動態(tài)切換，DataNode數(shù)據(jù)存儲節(jié)點通過可視化界面進行動態(tài)添加和動態(tài)剔除，并在此基礎(chǔ)上實現(xiàn)數(shù)據(jù)副本文件的動態(tài)復(fù)制和整體遷移，以增加數(shù)據(jù)存儲規(guī)模和海量數(shù)據(jù)的有效管理
流式數(shù)據(jù)訪問
hdfs分布式文件系統(tǒng)的訪問和處理采用流式批處理方式，更大程度的提高系統(tǒng)視頻，圖片等文件數(shù)據(jù)讀取的吞吐量。
RM新时代足球交易平台