5
（7942人評(píng)價(jià)）
筆記：(65387)
學(xué)員：(97562)
瀏覽：(237018)
曙海教學(xué)優(yōu)勢(shì)
本課程，秉承二十一年積累的教學(xué)品質(zhì)，以項(xiàng)目實(shí)現(xiàn)為導(dǎo)向,面向企事業(yè)項(xiàng)目實(shí)際需要,老師將會(huì)與您分享設(shè)計(jì)的全流程以及工具的綜合使用經(jīng)驗(yàn)、技巧。課程可定制,線上/線下/上門皆可,熱線:4008699035。
曙海培訓(xùn)的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)30萬(wàn)+。曙海培訓(xùn)的課程在業(yè)內(nèi)有著響亮的知名度。
?Hadoop性能調(diào)優(yōu)培訓(xùn)
培訓(xùn)大綱
|
模塊 |
課程內(nèi)容 |
案例及實(shí)驗(yàn) |
|
|
Hadoop參數(shù)調(diào)優(yōu) |
l?選擇適合Hadoop的硬件配置 l?Hadoop配置項(xiàng)優(yōu)化 l?網(wǎng)絡(luò)帶寬參數(shù)調(diào)優(yōu) l?選擇正確的JDK l?Hadoop作業(yè)調(diào)優(yōu) l?Linux操作系統(tǒng)優(yōu)化 l?其他配置和參數(shù)調(diào)優(yōu) |
l?Hadoop硬件優(yōu)化 l?不是所有的硬件都合適拿來(lái)直接使用 l?硬件為什么不做raid？ l?設(shè)置網(wǎng)絡(luò)的注意事項(xiàng) l?中間結(jié)果壓縮對(duì)磁盤和網(wǎng)絡(luò)的優(yōu)化 l?常見(jiàn)異常現(xiàn)象及處理方法 |
|
|
Hive性能優(yōu)化 |
l?Hive參數(shù)優(yōu)化 l?Hive其他優(yōu)化 l?自有軟件Phphiveadmin的介紹及使用 |
l?對(duì)group，join的優(yōu)化 l?其他參數(shù)設(shè)計(jì) l?設(shè)定并行執(zhí)行嵌套sql l?為什么使用外部表和partition l?Phphiveadmin帶來(lái)的優(yōu)勢(shì)和便利 |
|
|
精彩案例解析 |
案例一：那namenode?被重新格式化，datanode無(wú)法連接 案例二：硬盤損壞 案例三：錯(cuò)誤用戶啟動(dòng)hadoop 案例四：tasktracker重啟后假死 案例五：jobtracker無(wú)故宕機(jī) |
||
|
HBASE調(diào)優(yōu) |
l?HBase配置優(yōu)化綜述 l?讀優(yōu)化中需要調(diào)整的參數(shù) l?寫優(yōu)化中需要調(diào)整的參數(shù) l?Hbase-site.xml參數(shù)調(diào)優(yōu) l?JVM優(yōu)化中需要調(diào)整的參數(shù) l?Split?&?compact優(yōu)化相關(guān)參數(shù) l?表設(shè)計(jì)優(yōu)化相關(guān)參數(shù) l?Hbase客戶端優(yōu)化相關(guān)參數(shù) l?監(jiān)控工具使用方法及注意事項(xiàng) |
l?Memstore合并設(shè)置的時(shí)機(jī)選擇 l?Mslab使用設(shè)置 l?合并storefile策略設(shè)置技巧 l?Memstore??flush?設(shè)置時(shí)機(jī)選擇 l?Hbase-env.sh、Single、multi-thread、CMS使用及參數(shù)調(diào)用 l?GC回收垃圾時(shí)機(jī)、GC日志打印設(shè)置 l?GC階段，region無(wú)法提供服務(wù)如何如何處理 l?安裝、使用步驟、主要監(jiān)控參數(shù)，如何根據(jù)參數(shù)進(jìn)行調(diào)優(yōu)設(shè)置 |
|
|
精彩案例解析 |
案例1：hot??region造成讀請(qǐng)求瓶頸 現(xiàn)象：某臺(tái)機(jī)器的某個(gè)region讀請(qǐng)求非常頻繁，大量讀請(qǐng)求集中在一臺(tái)機(jī)器的某個(gè)region會(huì)造成該機(jī)器的壓力陡增，JVM內(nèi)存居高不下，load很高，使得client讀取數(shù)據(jù)上達(dá)到瓶頸值。 |
||
|
Mapreduce的性能調(diào)優(yōu) |
Mapreduce中需要調(diào)優(yōu)的相關(guān)參數(shù) ??Dfs.block.size ??Mapreduce ??Io.sort.mb ??Io.sort.spill.percent ??Mapred.local.dir ??Mapred.map.tasksmapred.tasktracker.map.tasks.maximum ??Mapred.reduce.?tasksmapred.?Sktracker.reduce.tasks.?sktracker |
l?Map中選擇合理的塊大小 l?Reduce并行復(fù)制線程的調(diào)優(yōu) l?Map/reduce內(nèi)存配置的原則及方法 l?槽位數(shù)計(jì)算方法 l?調(diào)度器的選擇集調(diào)優(yōu) |
|
|
精彩案例解析 |
案例1：控制map?&?reduce個(gè)數(shù) 現(xiàn)象：map個(gè)數(shù)取決于split個(gè)數(shù)，如果源文件使用壓縮存儲(chǔ)，則不可分割，一個(gè)文件一個(gè)map。非壓縮文件使用默認(rèn)block.size進(jìn)行切分。對(duì)reduce因?yàn)槭侵虚g數(shù)據(jù)，可以控制reduce數(shù)量。 |
||
?
