Hadoop的核心是分布式存儲(chǔ)和計(jì)算框架。它由兩個(gè)主要組件組成:
Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS):它是一個(gè)分布式文件系統(tǒng),設(shè)計(jì)用于存儲(chǔ)大量的數(shù)據(jù),支持?jǐn)?shù)據(jù)的可靠性和容錯(cuò)性,允許在集群中的節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)的高效共享。
Hadoop計(jì)算框架(Hadoop MapReduce):它是一個(gè)分布式計(jì)算框架,可以將計(jì)算任務(wù)分解成多個(gè)子任務(wù),并將這些子任務(wù)分配給集群中的多個(gè)節(jié)點(diǎn)進(jìn)行并行計(jì)算,從而加快計(jì)算速度。
Hadoop還包含一些其他的組件,例如Hadoop YARN(Yet Another Resource Negotiator),它是一個(gè)資源管理器,用于調(diào)度和管理集群上的應(yīng)用程序資源;Hadoop Common,它是一組共享庫和實(shí)用程序,為Hadoop生態(tài)系統(tǒng)中的各個(gè)組件提供基礎(chǔ)設(shè)施。