五、Hadoop1-BigData overview

日期：
BigData overview NOTE

啟動 Hadoop
官網架構


























看IP位置指令


Apache Hadoop 架構

CDC

hadoop 架構

OLAP



























ping



















RawData系統.

線上交易處理（OLTP, Online transaction processing）是指透過資訊系統、電腦網路及資料庫，以線上交易的方式處理一般即時性的作業資料，和更早期傳統資料庫系統大量批次的作業方式並不相同。OLTP通常被運用於自動化的資料處理工作，如訂單輸入、金融業務…等反覆性的日常性交易活動。(wikipedia)

線上分析處理（英語：On-Line Analytical Processing，簡稱OLAP），是一套以多維度方式分析資料，而能彈性地提供積存（英語：Roll-up）、下鑽（英語：Drill-down）、和樞紐分析（英語：pivot）等操作，呈現整合性決策資訊的方法，多用於決策支援系統、商務智慧型或資料倉儲。其主要的功能，在於方便大規模資料分析及統計計算，對決策提供參考和支援。與之相區別的是線上交易處理（OLTP）。
  • OLAP需以大量歷史資料為基礎配合上時間點的差異並對多維度及彙整型的資訊進行複雜的分析。
  • OLAP需要使用者有主觀的資訊需求定義，因此系統效率較佳。
OLAP的概念，在實際應用中有著廣義和狹義兩種不同的理解。廣義上的理解與字面意思相同，即針對於OLTP而言，泛指一切不對資料進行輸入等事務性處理，而基於已有資料進行分析的方法。但更多的情況下OLAP是被理解為其狹義上的含義，即與多維分析相關，基於立方體（CUBE）計算而進行的分析。(wikipedia)

資深架構師教你一篇文看懂Hadoop

Hadoop在2.0將資源管理從MapReduce中獨立出來變成通用框架後，就從1.0的三層結構演變為了現在的四層架構：
1. 底層——存儲層，文件系統HDFS
2. 中間層——資源及數據管理層，YARN以及Sentry等
3. 上層——MapReduce、Impala、Spark等計算引擎
4. 頂層——基於MapReduce、Spark等計算引擎的高級封裝及工具，如Hive、Pig、Mahout等等

執行藍色程式碼

下載 Hadoop 叢集套件包, 在 ~/wk 目錄中解壓縮 hadoop312v1.zip
$ cd ~/wk
$ unzip hadoop312v1.zip
建立 docker 映象檔
$ cd hadoop
$ ./buildimg.sh
$ docker images
REPOSITORY          TAG          IMAGE ID            CREATED             SIZE
hdp312.base        latest        c6b2721501d7     4 hours ago         2.27GB
ub1804.base        latest        6d3bebab8bd9     4 hours ago         657MB

$ cluster-start
Creating hadoop_ds101_1  ... done
Creating hadoop_rma_1    ... done
Creating hadoop_adm100_1 ... done
Creating hadoop_ds102_1  ... done
Creating hadoop_nna_1    ... done
Creating hadoop_wka03_1  ... done
Creating hadoop_wka02_1  ... done
Creating hadoop_wka01_1  ... done
$ ./buildhosts.sh  (只需執行一次)
127.0.1.1 CVN80
127.0.0.1 localhost
172.30.0.15 wka01
172.30.0.16 wka02
172.30.0.17 wka03
172.30.0.10 nna
172.30.0.20 adm100
172.30.0.26 ds102
172.30.0.11 rma
172.30.0.25 ds101

$ cluster-ps
     Name                    Command               Stat    Ports                              
----------------------------------------------------------------
hadoop_adm100_1   /bin/bash                        Up                                                     
hadoop_ds101_1    bash -c useradd -m -s /bin ...   Up      0.0.0.0:28801->8080/tcp, 0.0.0.0:28101->8888/tcp
hadoop_ds102_1    bash -c useradd -m -s /bin ...   Up      0.0.0.0:28802->8080/tcp,0.0.0.0:28102->8080/tcp
hadoop_nna_1      /bin/bash                        Up                                                     
hadoop_rma_1      /bin/bash                        Up                                                     
hadoop_wka01_1    /bin/bash                        Up                                                     
hadoop_wka02_1    /bin/bash                        Up                                                     
hadoop_wka03_1    /bin/bash                        Up                                
$ ssh adm100
Warning: Permanently added '[localhost]:22100' (ECDSA) to the list of known hosts.
bigred@adm100s password: bigred
Welcome to Ubuntu 18.04 LTS (GNU/Linux 4.15.0-22-generic x86_64)
.......
build derby database ... ok
$ ssh nna hostname -I
Warning: Permanently added 'nna,172.30.0.10' (ECDSA) to the list of known hosts.
172.30.0.10
$ ssh rma hostname -I
Warning: Permanently added 'rma,172.30.0.11' (ECDSA) to the list of known hosts.
172.30.0.11
離開管理主機
$ exit

$ cluster-stop
Stopping hadoop_wka01_1  ... done
Stopping hadoop_wka02_1  ... done
Stopping hadoop_wka03_1  ... done
Stopping hadoop_nna_1    ... done
Stopping hadoop_ds102_1  ... done
Stopping hadoop_adm100_1 ... done
Stopping hadoop_rma_1    ... done
Stopping hadoop_ds101_1  ... done

移除Hadoop Cluster
$ cluster-rm

路徑:我的雲端硬碟>程式設計>Hadoop

留言

張貼留言