全部課程
hdfs的優缺點
發布時間: 2023-01-30
HDFS的優點:
高容錯性。提供了容錯和恢復機制,副本丟失后,自動恢復。
高可靠性。數據自動保存多個副本,通過多副本提高可靠性。
適合大數據處理。可以處理超大文件,比如 TB級甚至PB級 的文件。
適合批處理。移動計算而非移動數據;數據位置暴露給計算框架。
支持流式數據訪問。一次性寫入,多次讀取(一個數據集一旦生成,就會被復制分發到不同的存儲節點,各節點可以進行讀取/訪問);保證數據一致性。
低成本運行。可以運行在低成本的硬件之上。
HDFS的缺點:
不適合處理 低延遲 的數據訪問。比如用戶 要求時間比較短 的低延遲應用(主要處理高數據吞吐量的應用)。
不適合處理 大量的小 文件。會造成尋址時間超過讀取時間;會占用NameNode大量內存,因為NameNode把文件系統的元數據存放在內存中(文件系統的容量由NameNode的大小決定),小文件太多會消耗NameNode的內存。
不適合 并發寫入。一個文件只能有一個寫入者,HDFS暫不支持多個用戶對同一個文件的寫操作。
不適合 任意修改 文件。僅支持append(附加),不支持在文件的任意位置進行修改。
上一篇: hdfs中block默認保存幾份