1.Hadoop API
HadoopAPI包括如下幾種主要的包(Package)。
(1)org.apache.hadoop.conf:定義了系統參數的配置文件處理API。
(2)org.apache.hadoop.dfs: Hadoop分布式文件系統(HDFS)模塊的實現。
(3)org.apache.hadoop.fs:定義了抽象的文件系統API。
(4)org.apache.hadoop.io:定義了通用的I/0 API,用于針對網絡、數據庫、文件等數據對象做讀/寫操作。
(5)org.apache.hadoop.ipc:用于網絡服務端和客戶端的工具,封裝了網絡異步I/O的基礎模塊。
(6)org.apache.hadoop.mapred:Hadoop分布式計算系統(MapReduce)模塊的實現,包括任務的分發調度等。
(7)org.apache.liadoop.metrics:定義了用于性能統計信息的API,主要用于mapred和dfs模塊。
(8)org.apaclie.liadoop.record:定義了針對記錄的I/0 API類及一個記錄描述語言翻譯器,用于簡化將記錄序列化成語言中性的格式(Language-neutral Manner)。
(9)org.apache.hadoop.tools:定義了一些通用的工具。
(10)org.apache.hadoop.util定義了一些公用的API。
在org.apache.hadoop.fc眾多類中,最重要的是FileSystem抽象類。為了便于方便編程使用和提供一定的文件訪問安全性,HDFS將上層客戶端需要的操作封裝在FileSystem類中通過這個類提供給上層文件操作的抽象。它定義了文件系統中的一些基本操作,如create、rename、delete、mkdirs等,還定義了分分布式文件系統具有的操作,如copyFromLocalFUe,copyToLocalFile等。其中,LocalFileSystem和DistributedpileSystem繼承與此類,分別實現了本地文件系統和分布式文件系統。
2.瀏覽器接口
典型的HDFS安裝會配置一個Web服務器開放自己的命名空間,其TCP端口是可配的,這樣用戶就可以通過Web瀏覽器瀏覽HDFS的命名空間并査看集群當前的基本狀態和信息。在默認配置下http://namenode-name:50070這個頁面列出了集群里的所有DataNode和集群的基本狀態。