課程描述INTRODUCTION
Python實現(xiàn)大數(shù)據(jù)挖掘技術(shù)培訓(xùn)
日程安排SCHEDULE
課程大綱Syllabus
Python實現(xiàn)大數(shù)據(jù)挖掘技術(shù)培訓(xùn)
【課程目標】
Python已經(jīng)成為數(shù)據(jù)分析和數(shù)據(jù)挖掘的*語言,作為除了Java、C/C++/C#外*的語言。
本課程基于Python工具來實現(xiàn)大數(shù)據(jù)的數(shù)據(jù)分析和數(shù)據(jù)挖掘項目。基于業(yè)務(wù)問題,在數(shù)據(jù)挖掘標準過程指導(dǎo)下,采用Python分析工具,實現(xiàn)數(shù)據(jù)挖掘項目的每一步操作,從數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模、數(shù)據(jù)可視化,到最終數(shù)據(jù)挖掘結(jié)束,幫助學員掌握Python用于數(shù)據(jù)挖掘,提升學員的數(shù)據(jù)化運營及數(shù)據(jù)挖掘的能力。
通過本課程的學習,達到如下目的:
1、全面掌握Python語言以及其編程思想。
2、掌握常用擴展庫的使用,特別是數(shù)據(jù)挖掘相關(guān)庫的使用。
3、學會使用Python完成數(shù)據(jù)挖掘項目整個過程。
4、掌握利用Python實現(xiàn)可視化呈現(xiàn)。
5、掌握數(shù)據(jù)挖掘常見算法在Python中的實現(xiàn)。
【授課時間】2~5天時間
(全部模塊講完需要5天時間,可以根據(jù)時間需求拆分內(nèi)容模塊)。
【授課對象】業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運維部等相關(guān)技術(shù)人員。
【學員要求】
課程為實戰(zhàn)課程,要求:
1、每個學員自備一臺便攜機(必須)。
2、便攜機中事先安裝好Python 3.6版本及以上。
注:講師現(xiàn)場提供開源的安裝程序、擴展庫,以及現(xiàn)場分析的數(shù)據(jù)源。
【授課方式】
語言基礎(chǔ) + 挖掘模型 + 案例演練 + 開發(fā)實踐 + 可視化呈現(xiàn)
采用互動式教學,圍繞業(yè)務(wù)問題,展開數(shù)據(jù)分析過程,全過程演練操作,讓學員在分析、分享、講授、總結(jié)、自我實踐過程中獲得能力提升。
【課程大綱】
第一部分:Python語言基礎(chǔ)
目的:掌握基本的Python編程思想與編程語句,熟悉常用數(shù)據(jù)結(jié)構(gòu)的操作
1、Python簡介
2、開發(fā)環(huán)境搭建
.Python的安裝
.擴展庫的安裝
3、掌握Python的簡單數(shù)據(jù)類型
. 字符串的使用及操作
.整數(shù)、浮點數(shù)
4、掌握基本語句:
.if、while、for、print等
.基本運算:
.函數(shù)定義、參數(shù)傳遞、返回值
5、掌握復(fù)雜的數(shù)據(jù)類型:列表/元組
.列表操作:訪問、添加、修改、刪除、排序
.列表切片、復(fù)制等
.列表相關(guān)的函數(shù)、方法
.元組的應(yīng)用
6、復(fù)雜數(shù)據(jù)類型:字典
.創(chuàng)建、訪問、修改、刪除、遍歷
.字典函數(shù)和方法
7、復(fù)雜數(shù)據(jù)類型:集合
8、掌握面向?qū)ο缶幊趟枷?br />
.創(chuàng)建類、繼承類
.模塊
9、函數(shù)定義、參數(shù)傳遞、返回值
10、標準庫與擴展庫的導(dǎo)入
11、異常處理:try-except塊
演練:基本的Python編程語句
第二部分:Python擴展庫
目的:掌握數(shù)據(jù)集結(jié)構(gòu)及基本處理方法,進一步鞏固Python語言
1、數(shù)據(jù)挖掘常用擴展庫介紹
.Numpy數(shù)組處理支持
.Scipy矩陣計算模塊
.Matplotlib數(shù)據(jù)可視化工具庫
.Pandas數(shù)據(jù)分析和探索工具
.StatsModels統(tǒng)計建模庫
.Scikit-Learn機器學習庫
.Keras深度學習(神經(jīng)網(wǎng)絡(luò))庫
.Gensim文本挖掘庫
2、數(shù)據(jù)集讀取與操作:讀取、寫入
.讀寫文本文件
.讀寫CSV文件
.讀寫Excel文件
.從數(shù)據(jù)庫獲取數(shù)據(jù)集
3、數(shù)據(jù)集的核心數(shù)據(jù)結(jié)構(gòu)(Pandas數(shù)據(jù)結(jié)構(gòu))
.Dataframe對象及處理方法
.Series對象及處理方法
演練:用Python實現(xiàn)數(shù)據(jù)的基本統(tǒng)計分析功能
第三部分:數(shù)據(jù)可視化處理
目的:掌握作圖擴展庫,實現(xiàn)數(shù)據(jù)可視化
1、常用的Python作圖庫
.Matplotlib庫
.Pygal庫
2、實現(xiàn)分類匯總
演練:按性別統(tǒng)計用戶人數(shù)
演練:按產(chǎn)品+日期統(tǒng)計各產(chǎn)品銷售金額
3、各種圖形的畫法
.直方圖
.餅圖
.折線圖
.散點圖
4、繪圖的美化技巧
演練:用Python庫作圖來實現(xiàn)產(chǎn)品銷量分析,并可視化
第四部分:數(shù)據(jù)理解和數(shù)據(jù)準備
目的:掌握數(shù)據(jù)預(yù)處理的基本環(huán)節(jié),以及Python的實現(xiàn)
1、數(shù)據(jù)預(yù)處理
.異常值處理:3σ準則,IQR準則
.缺失值插補:均值、拉格朗日插補
.數(shù)據(jù)篩選/抽樣
.數(shù)據(jù)的離散化處理
.變量變換、變量派生
2、數(shù)據(jù)的基本分析
.相關(guān)分析:原理、公式、應(yīng)用
.方差分析:原理、公式、應(yīng)用
.卡方分析:原理、公式、應(yīng)用
.主成分分析:降維
案例:用Python實現(xiàn)數(shù)據(jù)預(yù)處理及數(shù)據(jù)準備
第五部分:分類預(yù)測模型實戰(zhàn)
1、常見分類預(yù)測的模型與算法
2、如何評估分類預(yù)測模型的質(zhì)量
.查準率
.查全率
.ROC曲線
3、邏輯回歸分析模型
.邏輯回歸的原理
.邏輯回歸建模的步驟
.邏輯回歸結(jié)果解讀
案例:用sklearn庫實現(xiàn)銀行貸款違約預(yù)測
4、決策樹模型
.決策樹分類的原理
.決策樹的三個關(guān)鍵問題
.決策樹算法與實現(xiàn)
案例:電力竊漏用戶自動識別
5、決策樹算法
.最優(yōu)屬性選擇算法:ID3、ID4.0、ID5.0
.連續(xù)變量分割算法
.樹剪枝:預(yù)剪枝、后剪枝
6、人工神經(jīng)網(wǎng)絡(luò)模型(ANN)
.神經(jīng)網(wǎng)絡(luò)概述
.神經(jīng)元工作原理
.常見神經(jīng)網(wǎng)絡(luò)算法(BP、LM、RBF、FNN等)
案例:神經(jīng)網(wǎng)絡(luò)預(yù)測產(chǎn)品銷量
7、支持向量機(SVM)
.SVM基本原理
.維災(zāi)難與核心函數(shù)
案例:基于水質(zhì)圖像的水質(zhì)評價
8、貝葉斯分析
.條件概率
.常見貝葉斯網(wǎng)絡(luò)
第六部分:數(shù)值預(yù)測模型實戰(zhàn)
1、常用數(shù)值預(yù)測的模型
.通用預(yù)測模型:回歸模型
.季節(jié)性預(yù)測模型:相加、相乘模型
.新產(chǎn)品預(yù)測模型:珀爾曲線與龔鉑茲曲線
2、回歸分析概念
3、常見回歸分析類別
4、回歸分析常見算法
.梯度上升/下降法
.普通最小二乘法OLS
.局部加權(quán)線性回歸LWLR
.嶺回歸(RR)
.套索回歸Lasso
.ElasticNet回歸
第七部分:聚類分析(客戶細分)實戰(zhàn)
1、客戶細分常用方法
2、聚類分析(Clustering)
.聚類方法原理介紹及適用場景
.常用聚類分析算法
.聚類算法的評價
案例:使用SKLearn實現(xiàn)K均值聚類
案例:使用TSNE實現(xiàn)聚類可視化
3、RFM模型分析
.RFM模型,更深入了解你的客戶價值
.RFM模型與市場策略
案例:航空公司客戶價值分析
第八部分:關(guān)聯(lián)規(guī)則分析實戰(zhàn)
1、關(guān)聯(lián)規(guī)則概述
2、常用關(guān)聯(lián)規(guī)則算法
.Apriori算法
.發(fā)現(xiàn)頻繁集
.生成關(guān)聯(lián)規(guī)則
.FP-Growth算法
.構(gòu)建FP樹
.提取規(guī)則
3、時間序列分析
案例:使用apriori庫實現(xiàn)關(guān)聯(lián)分析
案例:中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
第九部分:案例實戰(zhàn)(學員主導(dǎo),老師現(xiàn)場指導(dǎo))
1、電商用戶行為分析及服務(wù)推薦
2、基于基站定位數(shù)據(jù)的商圈分析
結(jié)束:課程總結(jié)與問題答疑。
Python實現(xiàn)大數(shù)據(jù)挖掘技術(shù)培訓(xùn)
轉(zhuǎn)載:http://santuchuan.cn/gkk_detail/237141.html
已開課時間Have start time
- 傅一航
大數(shù)據(jù)課程內(nèi)訓(xùn)
- 《大數(shù)據(jù)分析與客戶開發(fā)》 喻國慶
- 《流量神器,銷量升級:如何 武建偉
- 《精細運營——京東/天貓平 武建偉
- 大數(shù)據(jù)項目解決方案及應(yīng)用 胡國慶
- 數(shù)據(jù)驅(qū)動價值 ——基于Ex 張曉如
- 能源電力企業(yè)數(shù)字化轉(zhuǎn)型探索 李開東
- 《銀行--網(wǎng)絡(luò)消費行為與網(wǎng) 武建偉
- 建材門店--微信獲客與運營 武建偉
- 大數(shù)據(jù)提升:用戶體驗提升與 武建偉
- 互聯(lián)網(wǎng)大數(shù)據(jù)分析管理 孫平
- 《大數(shù)據(jù)精益化營銷思維與運 喻國慶
- 數(shù)據(jù)創(chuàng)造價值——大數(shù)據(jù)分析 張曉如