131 1300 0010
行業(yè)動態(tài)
當(dāng)前位置: 首頁>> 新聞中心>>行業(yè)動態(tài)>>
  • 導(dǎo)航欄目
  • 產(chǎn)品新聞
  • 企業(yè)新聞
  • 行業(yè)動態(tài)
  • HDFS的主要架構(gòu)/特點/應(yīng)用場景
    HDFS的主要架構(gòu)/特點/應(yīng)用場景
  • HDFS的主要架構(gòu)/特點/應(yīng)用場景
  •   發(fā)布日期: 2020-12-12  瀏覽次數(shù): 1,418

    HDFS(HadoopDistributedFileSystem),是一個適合運(yùn)行在通用硬件(commodityhardware)上的分布式文件系統(tǒng),是Hadoop的核心子項目,是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的。該系統(tǒng)仿效了谷歌文件系統(tǒng)(GFS),是GFS的一個簡化和開源版本。

    HDFS的主要架構(gòu)

     

    HDFSClient(客戶端):從NameNode獲取文件的位置信息,再從DataNode讀取或者寫入數(shù)據(jù)。此外,client在數(shù)據(jù)存儲時,負(fù)責(zé)文件的分割;

    NameNode(元數(shù)據(jù)節(jié)點):管理名稱空間、數(shù)據(jù)塊(Block)映射信息、配置副本策略、處理客戶端讀寫請求;

    DataNode(存儲節(jié)點):負(fù)責(zé)執(zhí)行實際的讀寫操作,存儲實際的數(shù)據(jù)塊,同一個數(shù)據(jù)塊會被存儲在多個DataNode上

    SecondaryNameNode:定期合并元數(shù)據(jù),推送給NameNode,在緊急情況下,可輔助NameNode的HA恢復(fù)。

    HDFS的特點(VsGFS)

    分塊更大,每個數(shù)據(jù)塊默認(rèn)128MB;

    不支持并發(fā),同一時刻只允許一個寫入者或追加者;

    過程一致性,寫入數(shù)據(jù)的傳輸順序與最終寫入順序一致;

    MasterHA,2.X版本支持兩個NameNode,(分別處于AcTIve和Standby狀態(tài)),故障切換時間一般幾十秒到數(shù)分鐘

    HDFS適合的應(yīng)用場景:

    適用于大文件、大數(shù)據(jù)處理,處理數(shù)據(jù)達(dá)到GB、TB、甚至PB級別的數(shù)據(jù)。

    適合流式文件訪問,一次寫入,多次讀取。

    文件一旦寫入不能修改,只能追加。

    HDFS不適合的場景:

    低延時數(shù)據(jù)訪問。

    小文件存儲

    并發(fā)寫入、文件隨機(jī)修改


  • ·上一篇:
    ·下一篇:
  • 其他關(guān)聯(lián)資訊
    深圳市日月辰科技有限公司
    地址:深圳市寶安區(qū)松崗鎮(zhèn)潭頭第二工業(yè)城A區(qū)27棟3樓
    電話:0755-2955 6626
    傳真:0755-2978 1585
    手機(jī):131 1300 0010
    郵箱:hu@szryc.com

    深圳市日月辰科技有限公司 版權(quán)所有:Copyright?2010-2023 m.elibeatofitness.com 電話:13113000010 粵ICP備2021111333號