曙海教學優勢
本課程，秉承二十一年積累的教學品質，以項目實現為導向,面向企事業項目實際需要,老師將會與您分享設計的全流程以及工具的綜合使用經驗、技巧。課程可定制,線上/線下/上門皆可,熱線:4008699035。
曙海培訓的課程培養了大批受企業歡迎的工程師。大批企業和曙海
建立了良好的合作關系,合作企業30萬+。曙海培訓的課程在業內有著響亮的知名度。
本課程介紹了數據挖掘的基本原理，從數據挖掘基礎知識開始，講解數據挖掘建模工具和使用Python語言進使用工具；學習數據挖掘的建模過程，包括數據探索、數據預處理及挖掘建模的常用算法與原理。
?? 了解一個完整的數據分析過程，從數據采集到挖掘，清洗，分析和輸出的整個過程。。?
?? 學習Python數據分析方法和工具的使用?
?? 學習各種數據分析的算法和框架。?
?? 學習各種建模方式和工具的使用?
?? 基于案例學習客戶價值分析等數據挖掘應用場景?
|
模塊名稱? |
課程內容? |
|
Python基礎和數據科學基礎? |
1.????? Python語言和開發環境簡介? 2.????? 數據科學概述? 3.????? 數據分析流程和步驟? 4.????? 數據獲取路徑? 5.????? 法律法規 6.????? Python語言和數據科學 7.????? 理解基本的字符串函數 8.????? 選擇合適的數據結構 9.????? 通過列表推導式理解列表 10.?? 使用計數器，使用文件和網絡 11.?? 使用正則表達式實現模式匹配? 12.?? globbing文件名與其他字符串 13.?? Pickling和Unpickling數據 14.?? 文本數據的處理 15.?? 數據庫數據的處理 16.?? 通用函數和各類聚合函數 |
|
Python數據分析基礎? |
1.????? 搭建Python開發平臺? 2.????? 所要考慮的問題? 3.????? 基礎平臺的搭建? 4.????? Python使用入門? 5.????? 運行方式? 6.????? 基本命令? 7.????? 數據結構? 8.????? 庫的導入與添加? 9.????? Python數據分析工具? 10.?? ?Numpy? 11.?? ?Scipy? 12.?? ?Matplotlib? 13.?? ?Pandas? 14.?? ?StatsModels? 15.?? ?Scikit-Learn? 16.?? ?Keras? 17.?? ?Gensim? |
|
數據探索? |
1.????? 數據質量分析? 2.????? 缺失值分析? 3.????? 異常值分析? 4.????? 一致性分析? 5.????? 數據特征分析? 6.????? 分布分析? 7.????? 對比分析? 8.????? 統計量分析? 9.????? 周期性分析? 10.?? 貢獻度分析? 11.?? 相關性分析? 12.?? Python主要數據探索函數? 13.?? 基本統計特征函數? 14.?? 拓展統計特征函數? 15.?? 統計作圖函數? |
|
數據預處理? |
1.????? 數據清洗60? 2.????? 缺失值處理60? 3.????? 異常值處理64? 4.????? 數據集成64? 5.????? 實體識別64? 6.????? 冗余屬性識別65? 7.????? 數據變換65? 8.????? 簡單函數變換65? 9.????? 規范化66? 10.?? 連續屬性離散化68? 11.?? 屬性構造70? 12.?? 小波變換71? 13.?? 數據規約74? 14.?? 屬性規約74? 15.?? 數值規約77? 16.?? Python主要數據預處理函數80? |
|
數據挖掘建模? |
1.????? 分類與預測83? 2.????? 實現過程83? 3.????? 常用的分類與預測算法84? 4.????? 回歸分析85? 5.????? 決策樹89? 6.????? 人工神經網絡95? 7.????? 5.1.6?分類與預測算法評價100? 8.????? 5.1.7?Python分類預測模型特點103? 9.????? 5.2?聚類分析104? 10.?? 5.2.1?常用聚類分析算法104? 11.?? 5.2.2?K-Means聚類算法105? 12.?? 5.2.3?聚類分析算法評價111? 13.?? 5.2.4?Python主要聚類分析算法111? 14.?? 5.3?關聯規則113? 15.?? 5.3.1?常用關聯規則算法114? 16.?? 5.3.2?Apriori算法114? 17.?? 5.4?時序模式119? 18.?? 5.4.1?時間序列算法120? 19.?? 5.4.2?時間序列的預處理120? 20.?? 5.4.3?平穩時間序列分析122? 21.?? 5.4.4?非平穩時間序列分析124? 22.?? 5.4.5?Python主要時序模式算法132? 23.?? 5.5?離群點檢測134? 24.?? 5.5.1?離群點檢測方法135? 25.?? 5.5.2?基于模型的離群點檢測方法136? 26.?? 5.5.3?基于聚類的離群點檢測方法138? |
|
數據挖掘實戰項目一—客戶價值分析? |
1.????? 背景與挖掘目標164? 2.????? 7.2?分析方法與過程166? 3.????? 7.2.1?數據抽取168? 4.????? 7.2.2?數據探索分析168? 5.????? 7.2.3?數據預處理169? 6.????? 7.2.4?模型構建173? |
|
數據挖掘實戰項目二--電子商務網站用戶行為分析及服務推薦? |
1.????? 背景與挖掘目標238? 2.????? 12.2?分析方法與過程240? 3.????? 12.2.1?數據抽取242? 4.????? 12.2.2?數據探索分析244? 5.????? 12.2.3?數據預處理251? 6.????? 12.2.4?模型構建256? |
|
協議分析? |
1.????? Web端協議分析? 2.????? 網頁登錄POST分析 3.????? 隱藏表單分析 4.????? 加密數據分析 5.????? 驗證碼問題 6.????? IP代理 7.????? Cookie登錄 8.????? 傳統驗證碼識別 9.????? 人工打碼 10.?? 滑動驗證碼 11.?? PC客戶端抓包分析 12.?? HTTP Analyzer簡介 13.?? 蝦米音樂PC端API實戰分析 14.?? App抓包分析 15.?? Wireshark簡介 16.?? 酷我聽書App端API實戰分析 17.?? API爬蟲：爬取mp3資源信息 |
|
Scrapy爬蟲框架? |
1.????? Scrapy爬蟲架構 2.????? 安裝Scrapy? 3.????? 創建cnblogs項目 4.????? 創建爬蟲模塊? 5.????? 定義Item? 6.????? 翻頁功能 7.????? 構建Item Pipeline? 8.????? 內置數據存儲? 9.????? 啟動爬蟲 10.?? 強化爬蟲 11.?? 調試方法? 12.?? 異常 13.?? 控制運行狀態 14.?? Item Loader 15.?? Item與Item Loader 16.?? 輸入與輸出處理器 17.?? Item Loader Context?? 18.?? 請求與響應 19.?? 下載器中間件 20.?? Spider中間件? 21.?? 擴展 22.?? 突破反爬蟲 |
|
增量式與分布式爬蟲? |
1.????? 去重方案 2.????? ?BloomFilter算法? 3.????? ?BloomFilter原理 4.????? ?Python實現BloomFilter 5.????? Scrapy和BloomFilter 6.????? Redis基礎 7.????? Redis的安裝和配置 8.????? Redis數據類型與操作 9.????? Python和Redis 10.?? Python操作Redis 11.?? Scrapy集成Redis 12.?? MongoDB集群? |
|
PySpider爬蟲框架? |
1.????? PySpider與Scrapy 2.????? 選擇器 3.????? PyQuery的用法 4.????? ?解析數據 5.????? Ajax和HTTP請求 6.????? ?Ajax爬取 7.????? HTTP請求實現? 8.????? ?PySpider和PhantomJS 9.????? 使用PhantomJS 10.?? 運行JavaScript 11.?? 數據存儲 12.?? PySpider爬蟲架構 |
?
