hdfs副本個數

HDFS默認的副本數是3個。

HDFS副本數是指每個數據塊在HDFS上存儲的副本數，在HDFS中，為了確保數據的可靠性和高可用性，會對每個數據塊存儲多個副本。HDFS默認的副本數是3個，但是這個數值可以根據需要進行修改。具體地，可以通過修改core-site.xml文件中的dfs.replication參數來改變副本的數量。

雖然增加副本數可以增強數據可靠性，但也會導致存儲和計算資源的消耗增加，因此應根據實際需求和集群規模來選擇合適的副本數。HDFS副本數的選擇和策略配置需要綜合考慮數據可靠性、可用性、存儲和計算資源等多個方面，以實現最佳的數據存儲和處理效果。

HDFS支持的副本數策略

1、默認的副本數策略：在默認情況下，HDFS會為每個數據塊選擇放置3個副本，這種策略在大多數情況下可以保證數據的可靠性和性能。如果集群中的節點數量非常多，或者機架的故障率非常高，可能需要增加副本的數量以提高數據的可用性和可靠性。

2、自定義副本數策略：除了默認的3個副本的策略，HDFS還允許用戶自定義每個數據塊的副本數，用戶可以在寫入數據時明確指定需要多少個副本，或者在hdfs-site.xml文件中設置dfs.replication參數來全局指定副本數。

3、副本存放策略：HDFS還提供了一種稱為副本存放策略的功能，這種策略允許用戶定義如何放置數據塊的多個副本。用戶可以設置將第一個副本放在本地機架的節點上，將第二個副本放在同一機架的另一個節點上，將第三個副本放在不同機架的節點上，這種策略可以減少機架間的數據傳輸，從而提高寫操作的效率。

hdfs副本默認可以保存幾份

HDFS（Hadoop Distributed File System）的默認副本保存數量取決于數據塊的大小。通常，數據塊的大小設置為64MB或128MB，這意味著每個數據塊在HDFS中都有三份副本，其中兩份在不同的數據節點上，另一份在主副本所在的節點上。這種設計是為了提高數據的可靠性和可用性。

HDFS還支持通過配置來增加副本的數量，以應對不同的情況和需求。可以通過配置將更多的副本放在不同的數據節點上，以提高數據的容錯性和可靠性。也可以通過配置將更多的副本放在相同的節點上，以提高數據的讀取性能。由于HDFS是一個分布式文件系統，因此即使只有一個副本丟失，也不會影響整個文件系統的可用性。

增加副本數量可以提高數據的可靠性和容錯性，因此在一些關鍵應用中，通常會配置更多的副本。

注意：HDFS的副本數量是可以通過配置進行調整的，因此可以根據實際需求和環境來配置合適的副本數量。

hdfs詳解之塊、小文件和副本數

1、block：block是物理切塊，在文件上傳到HDFS文件系統后，對大文件將以每128MB的大小切分若干，存放在不同的DataNode上。例如一個文件130M，那么他會存被切分成2個塊，一個塊128M，另一個塊2M.

1、HDFS適應場景:大文件存儲，小文件是致命的

2、如果小文件很多的，則有可能將NN(4G=42億字節)撐爆。例如:1個小文件(閾值<=30M),那么NN節點維護的字節大約250字節。一億個小文件則是250b* 1億=250億.將會把NN節點撐爆。如果一億個小文件合并成100萬個大文件:250b* 1百萬=2億字節。

3、在生產上一般會:

1）調整小文件閾值

2）合并小文件:

a.數據未落地到hdfs之前合并

b.數據已經落到hdfs，調用spark service服務。每天調度去合并（-15天業務周期）

3）小文件的危害:

a.撐爆NN。

b.影響hive、spark的計算。占用集群計算資源

1、如果是偽分布式，那么副本數只能為一。

2、生成上副本數一般也是官方默認參數: 3份

如果一個文件130M，副本數為3。那么第一個block128M，有三份。另外一個block2M，也有三份。

題目:

blockSize128M,副本數3份，那么一個文件260M，請問多少塊，多少實際存儲？

260%128=2....4M 3個塊 3個副本=9塊

260M 3=780M

hdfs sync和flush的區別

HDFS在Hadoop2.0和cdh4中DFSOutputStream提供了sync，hflush和hsync三個方法，sync和hflush均是語義1，而hsync是語義2，hsync比sync和hflush的同步性更強。

HDFS最初的版本到2.0版本HDFS提供了兩種同步語義：

1.將client端寫入的數據刷到每個DataNode的OS緩存中，如果每個副本所在的DataNode同時crash時（例如機房斷電）就會導致數據丟失（sync和hflush方法）。

2.將client端寫入的數據刷到每個DataNode的磁盤中（hsync方法）。