原文網址:http://dataottam.com/2016/07/10/top-11-apache-hadoop-yarn-frameworks/
前11個Apache Hadoop YARN框架
作為核心Hadoop項目的一部分，YARN是Hadoop的架構中心，允許多個數據處理引擎（如交互式SQL，實時流，數據科學和批處理）處理存儲在單個平台中的數據，從而解鎖全新的方法分析。YARN是新一代Hadoop的基礎，使各地的組織能夠實現現代數據架構。
YARN是新的數據操作系統。
它具有最令人興奮的方面，如支持多種編程模型和應用程序框架的能力。在Hadoop版本1中，用戶可用的唯一處理模型是MapReduce。在Hadoop版本2中，MapReduce與Hadoop的資源管理層分離，並放置在自己的應用程序框架中。YARN構成了一個資源管理平台，為其他框架提供調度，故障監控，數據局部等服務，如分佈式Shell，Hadoop MapReduce，Apache Tez，Apache Giraph，Hoya，YADN上的Dryad，Apache Spark，Apache Storm等，REEF，Hamster和Apache Flink
cd hadoop
cluster-start
ssh adm100
bigred
starthdfs
hdfs dfs -chmod -R 777 /tmp/
hdfs dfs -ls /tmp
hls
hadoop jar /opt/hadoop-3.1.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar pi 2 10000
curl -s http://rma:8088/ws/v1/cluster/metrics | jq
sudo nano /opt/hadoop-3.1.2/etc/hadoop/yarn-site.xml
去掉註解 存檔
stopyarn
startyarn
curl -s http://rma:8088/ws/v1/cluster/metrics | jq
sudo nano /opt/hadoop-3.1.2/etc/hadoop/yarn-site.xml
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>300</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>300</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>1</value>
</property>
stopyarn
startyarn
hadoop jar /opt/hadoop-3.1.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar pi 2 100000
留言
張貼留言