5
（7942人評價）
筆記：(65387)
學(xué)員：(97562)
瀏覽：(237018)
曙海教學(xué)優(yōu)勢
本課程，秉承二十一年積累的教學(xué)品質(zhì)，以項目實現(xiàn)為導(dǎo)向,面向企事業(yè)項目實際需要,老師將會與您分享設(shè)計的全流程以及工具的綜合使用經(jīng)驗、技巧。課程可定制,線上/線下/上門皆可,熱線:4008699035。
曙海培訓(xùn)的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)30萬+。曙海培訓(xùn)的課程在業(yè)內(nèi)有著響亮的知名度。
基于分布式架構(gòu)大數(shù)據(jù)hadoop生態(tài)組件及數(shù)據(jù)分析可視化培訓(xùn)課程
培訓(xùn)目錄：
|
具體說明 |
|
章節(jié)內(nèi)容：分布式大數(shù)據(jù)框架 Hadoop 課程內(nèi)容： ?1、Hadoop 介紹 ???2、分布式文件系統(tǒng) HDFS 授課內(nèi)容: 1、分布式大數(shù)據(jù)框架Hadoop（理論·上） 本節(jié)主要講解大數(shù)據(jù)概述及Hadoop HDFS 2、分布式大數(shù)據(jù)框架Hadoop（實操·上） 本實操演練練習(xí)Hadoop部署及插件安裝 01 實操：Hadoop 安裝 ???紹搭建Hadoop集群的具體步驟。 02 實操：Hadoop開發(fā)插件安裝 ???介紹如何給Eclipse配置Hadoop插件、方便使用Eclipse開發(fā)工具進(jìn)行大數(shù)據(jù)開發(fā)。 ???視情況及反饋, 會選用 IntelliJ IDEA |
|
章節(jié)內(nèi)容：分布式大數(shù)據(jù)框架 Hadoop 課程內(nèi)容： 1 、分布式處理框架 MapReduce ???????2、資源調(diào)度框架 Yarn 授課內(nèi)容： 1、分布式大數(shù)據(jù)框架Hadoop（理論·下） 主要講解Hadoop MR、Yarn 2、式大數(shù)據(jù)框架Hadoop（實操·下） 操演練練習(xí)Hadoop Shell操作及MR入門案例 03 實操：Hadoop Shell基本操作 本任務(wù)介紹常用的Hadoop Shell命令。 04 實操：Mapreduce實例——WordCount ???本任務(wù)練習(xí)使用電商數(shù)據(jù)進(jìn)行詞頻統(tǒng)計。 |
|
章節(jié)內(nèi)容：數(shù)據(jù)倉庫 Hive + 數(shù)據(jù)遷移工具 Sqoop 課程內(nèi)容： 1、數(shù)據(jù)倉庫 Hive 介紹 ???2、Hive 安裝部署 3、Hive Shell 基本操作 ??4、Sqoop 安裝部署 5、Sqoop 數(shù)據(jù)遷移 ???????6、Sqoop 增量數(shù)據(jù)遷移 授課內(nèi)容 1、?數(shù)據(jù)倉庫Hive+數(shù)據(jù)遷移工具Sqoop（理論） 本節(jié)主要講解數(shù)據(jù)倉庫Hive及遷移工具Sqoop 2、?數(shù)據(jù)倉庫Hive+數(shù)據(jù)遷移工具Sqoop（實操） 本實操演練練習(xí)Hive基本操作及Sqoop應(yīng)用 05 實操：Hive安裝部署 本任務(wù)介紹如何安裝部署數(shù)據(jù)倉庫Hive。 06 實操：Hive基本操作 本任務(wù)詳細(xì)介紹Hive的基本操作以及Hive的外部表與內(nèi)部表的區(qū)別。 07 實操：Sqoop安裝 本任務(wù)主要介紹Sqoop的工作原理，然后詳細(xì)說明Sqoop的安裝部署過程。 08 實操：綜合案例—基本流程圖 ????本任務(wù)介紹Sqoop在Hive與Mysql之間進(jìn)行數(shù)據(jù)傳遞以及Hive數(shù)據(jù)分析 |
|
章節(jié)內(nèi)容：分布式日志采集工具 Flume 課程內(nèi)容： 1、Flume 介紹 ???2、Flume Agent 詳解 ?? 授課內(nèi)容： 1、?分布式日志采集工具Flume（理論） 本節(jié)主要講解Flume工作原理、架構(gòu)、Agent概念 2、?分布式日志采集工具Flume（實操） 本演練實操練習(xí)Flume安裝部署及Agent配置詳解 09 實操：Flume安裝部署 本任務(wù)介紹Flume的工作原理和Flume安裝流程。 10 實操：Flume配置：Source、Channel、Sink 本任務(wù)介紹配置多種source，channel，sink組合，實現(xiàn)多種需求。 11 實操：Flume多source，多sink組合框架搭建 本任務(wù)介紹Flume多source，多sink組合框架搭建。 |
|
章節(jié)內(nèi)容：分布式消息系統(tǒng) Kafka 課程內(nèi)容： 1、Kafka 結(jié)構(gòu)分析 ???2、Flume 與 Kafka 聯(lián)用 授課內(nèi)容： 1、?分布式消息體統(tǒng)Kafka（理論） 本節(jié)主要講解Kafka工作原理、架構(gòu)及名詞概念 2、?分布式消息體統(tǒng)Kafka（實操） 本演練實操練習(xí)Kafka安裝部署、與Flume連用 12 實操：Kafka安裝及測試 本任務(wù)介紹安裝scala與zookeeper，然后在已安裝好的scala和zookeeper環(huán)境基礎(chǔ)上，安裝部署Kafka。 13 實操：Flume傳輸數(shù)據(jù)給Kafka 本任務(wù)介紹Flume傳數(shù)據(jù)到Kafka的執(zhí)行原理和具體操作。 |
|
章節(jié)內(nèi)容：分布式大數(shù)據(jù)框架Spark 課程內(nèi)容： 1、Spark 框架介紹 ?????2、Spark RDD 介紹 3、Spark SQL 數(shù)據(jù)處理 ?4、Spark Shell 數(shù)據(jù)處理 授課內(nèi)容： 1、 分布式大數(shù)據(jù)框架Spark（理論） 本節(jié)主要講解Spark工作原理、架構(gòu)及RDD概念 2、分布式大數(shù)據(jù)框架Spark（實操） 本演練實操練習(xí)Spark安裝部署及Shell操作 14 實操：Spark Standalone偽分布模式安裝 本任務(wù)介紹在已經(jīng)安裝好Hadoop下，如何安裝Spark Standalone模式。 15 實操：Spark Shell操作 本任務(wù)介紹Spark Shell操作，在Spark Shell命令行下對算子進(jìn)行實例講解，包括去重、排序、Join、求平均值 |
|
章節(jié)內(nèi)容：電商項目 （上） 課程內(nèi)容： 1、爬蟲框架介紹 ???????2、電商數(shù)據(jù)清洗 3、電商離線數(shù)據(jù)分析 ???4、數(shù)據(jù)遷移 授課內(nèi)容： 1、電子商務(wù)數(shù)據(jù)分析項目（爬蟲、清洗） 本演練實操練習(xí)電商案例之?dāng)?shù)據(jù)采集、清洗 2、電子商務(wù)數(shù)據(jù)分析項目（離線數(shù)據(jù)分析） 本演練實操練習(xí)電商案例之離線分析、數(shù)據(jù)遷移 16 實操：一、采集電商網(wǎng)站交易及評論數(shù)據(jù)(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)對爬蟲進(jìn)行了介紹，并分析網(wǎng)頁的源碼結(jié)構(gòu)和如何爬取數(shù)據(jù)。 17 實操：二、開發(fā)MR程序清洗電商評論數(shù)據(jù) 本次任務(wù)對數(shù)據(jù)清洗進(jìn)行概述，包括Json解析，搭建解析框架和編寫MapReduce代碼。 18 實操：三、利用HiveSQL離線分析評論數(shù)據(jù) 本次任務(wù)介紹使用HiveSQL根據(jù)多種需求對數(shù)據(jù)進(jìn)行統(tǒng)計并演示。 19 實操：四、利用Sqoop進(jìn)行數(shù)據(jù)遷移至Mysql數(shù)據(jù)庫 ???本次任務(wù)介紹了如何將Hive表中數(shù)據(jù)導(dǎo)入到MySQL以和如何將HDFS中數(shù)據(jù)導(dǎo)入到MySQL。 |
|
章節(jié)內(nèi)容：電商項目 （下） 課程內(nèi)容： 1、離線數(shù)據(jù)可視化 ??2、SparkStreaming 實時流數(shù)據(jù)處理 授課內(nèi)容： 1、電子商務(wù)數(shù)據(jù)分析項目（數(shù)據(jù)可視化） 本演練實操練習(xí)電商案例之?dāng)?shù)據(jù)可視化 2、電子商務(wù)數(shù)據(jù)分析項目（實時數(shù)據(jù)分析） 本演練實操練習(xí)電商案例之實時數(shù)據(jù)分析 20 實操：五、利用JavaWeb+Echarts完成數(shù)據(jù)圖表展示過程 本次任務(wù)介紹通過搭建JavaWeb框架，將數(shù)據(jù)進(jìn)行可視化圖表展示。 21 實操：六、利用Spark進(jìn)行實時數(shù)據(jù)分析（上）(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)以京東商品評論為目標(biāo)網(wǎng)站，架構(gòu)采用Java爬蟲框架+Flume+Kafka+Spark Streaming+Mysql等多種技術(shù)，動態(tài)實時的采集、分析、展示數(shù)據(jù)。 22 實操：七、利用Spark進(jìn)行實時數(shù)據(jù)分析（下）(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)以京東商品評論為目標(biāo)網(wǎng)站，架構(gòu)采用Java爬蟲框架+Flume+Kafka+Spark Streaming+Mysql等多種技術(shù)，動態(tài)實時的采集、分析、展示數(shù)據(jù)。 |
?
