數(shù)據(jù)分析與數(shù)據(jù)挖掘方法論與工具
講師：尹立慶 瀏覽次數(shù)：2567
課程描述INTRODUCTION
數(shù)據(jù)分析與數(shù)據(jù)挖掘方法
· IT人士· 其他人員· 系統(tǒng)工程師· 技術(shù)總監(jiān)
培訓(xùn)講師：尹立慶
課程價(jià)格：￥元/人
培訓(xùn)天數(shù)：3天
日程安排SCHEDULE
課程大綱Syllabus
數(shù)據(jù)分析與數(shù)據(jù)挖掘方法
課程簡(jiǎn)介
隨著大數(shù)據(jù)時(shí)代的快速到來(lái)，以及大數(shù)據(jù)在生產(chǎn)生活中迅速應(yīng)用，大數(shù)據(jù)領(lǐng)域如雨后春筍般的出現(xiàn)大量的新技術(shù)，如Hadoop、Spark等技術(shù)已經(jīng)成為大數(shù)據(jù)技術(shù)中最為重要的一部分，被越來(lái)越多的企業(yè)所使用。涵蓋了大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)等各種不同類(lèi)型的計(jì)算操作，應(yīng)用范圍廣泛、前景非常廣闊。本課程是尹老師多年工作經(jīng)驗(yàn)的總結(jié)和歸納，從實(shí)際業(yè)務(wù)案例為入口，使學(xué)員從理論層到實(shí)操層面系統(tǒng)的學(xué)習(xí)數(shù)據(jù)處理技術(shù)，使學(xué)員深入理解數(shù)據(jù)分析。通過(guò)本課程的學(xué)習(xí)，學(xué)員即可以正確的分析企業(yè)的數(shù)據(jù)，為管理者、決策層提供數(shù)據(jù)支撐。
本課程重點(diǎn)講解的數(shù)據(jù)分析和數(shù)據(jù)挖掘方法論、算法、思路、流程、工具，并通過(guò)對(duì)SPSS與SAS數(shù)據(jù)處理軟件實(shí)現(xiàn)，為企業(yè)的戰(zhàn)略發(fā)展提供參考。
培訓(xùn)目標(biāo)
1、 介紹數(shù)據(jù)分析、數(shù)據(jù)挖掘方法論、算法、常用工具，在工作中如何應(yīng)用數(shù)據(jù)分析；
2、 介紹數(shù)據(jù)分析思路，學(xué)習(xí)提煉數(shù)據(jù)、分析數(shù)據(jù)和建立數(shù)據(jù)模型的方法和技巧；
3、 讓學(xué)員掌握基礎(chǔ)統(tǒng)計(jì)分析知識(shí)，包括概率統(tǒng)計(jì)的概念、術(shù)語(yǔ)和基本統(tǒng)計(jì)的算法等；
4、 使學(xué)員具備分析企業(yè)業(yè)務(wù)數(shù)據(jù)的能力，提高分析數(shù)據(jù)、發(fā)現(xiàn)問(wèn)題的能力，提高工作效率；
5、 使用SPSS實(shí)現(xiàn)數(shù)據(jù)挖掘與數(shù)據(jù)分析與建模；
6、 使學(xué)員具備數(shù)據(jù)分析與建模為企業(yè)管理者制定戰(zhàn)略決策提供數(shù)據(jù)依據(jù)；
7、 使學(xué)員深入理解數(shù)據(jù)分析與數(shù)據(jù)模型的概念、技術(shù)、思維模式；
8、 使學(xué)員具備數(shù)據(jù)收集、數(shù)據(jù)挖掘、信息提取的能力；
9、 使學(xué)員具備利用圖形輔助思考的能力；
10、 使學(xué)員具備大數(shù)據(jù)技術(shù)梳理技能，如歷史數(shù)據(jù)+預(yù)測(cè)方法+標(biāo)準(zhǔn)工序。
培訓(xùn)對(duì)象
1、 即將投身于大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘領(lǐng)域的企業(yè)或者個(gè)人；
2、 本課程適合于想通過(guò)數(shù)據(jù)化決策制定企業(yè)戰(zhàn)略的決策者；
3、 適合于經(jīng)常需要匯報(bào)工作的管理者；
4、 對(duì)數(shù)據(jù)可視化分析、數(shù)據(jù)可視化展現(xiàn)等感興趣的人士；
5、 對(duì)數(shù)據(jù)分析、數(shù)據(jù)挖掘算法等感興趣的人士；
6、 大型集團(tuán)公司、大型網(wǎng)站、電商網(wǎng)站等數(shù)據(jù)挖掘、數(shù)據(jù)分析人員；
7、 云計(jì)算、大數(shù)據(jù)從業(yè)者；
8、 系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開(kāi)發(fā)人員；
9、 牽涉到大數(shù)據(jù)的數(shù)據(jù)中心運(yùn)維、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人；
10、 政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)互聯(lián)網(wǎng)、能源行業(yè)等大數(shù)據(jù)相關(guān)人員；
11、 高校、科研院所統(tǒng)計(jì)分析研究員，涉及到數(shù)據(jù)處理的人員；
課程內(nèi)容：
第1個(gè)主題： 數(shù)據(jù)分析與數(shù)據(jù)挖掘概述（深入剖析數(shù)據(jù)數(shù)據(jù)分析與數(shù)據(jù)挖掘的過(guò)程與方法，介紹數(shù)據(jù)建模中的機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘）
1、 數(shù)據(jù)分析與建模的概念
2、 數(shù)據(jù)分析與建模過(guò)程
3、 數(shù)據(jù)分析模型開(kāi)發(fā)過(guò)程
4、 數(shù)據(jù)建模概述
5、 機(jī)器學(xué)習(xí)概念
6、 機(jī)器學(xué)習(xí)算法剖析
7、 算法庫(kù)分類(lèi)
8、 算法庫(kù)
9、 深度學(xué)習(xí)
10、 神經(jīng)網(wǎng)絡(luò)
11、 人工智能
12、 商業(yè)智能
第2個(gè)主題： 數(shù)據(jù)挖掘和應(yīng)用（介紹數(shù)據(jù)挖掘和應(yīng)用）
1、 數(shù)據(jù)挖掘的基本任務(wù)
2、 數(shù)據(jù)挖掘建模過(guò)程
a) 定義挖掘目標(biāo)
b) 數(shù)據(jù)取樣
c) 數(shù)據(jù)探索
d) 數(shù)據(jù)預(yù)處理
e) 挖掘建模
f) 建立模型
g) 業(yè)務(wù)理解
h) 模型擬合
i) 訓(xùn)練集
j) 測(cè)試集
k) 模型評(píng)價(jià)
3、 常用的數(shù)學(xué)預(yù)測(cè)模型
a) 線性回歸
b) 回歸（預(yù)測(cè)）與分類(lèi)
c) 決策樹(shù)與隨機(jī)森林
d) 聚類(lèi)分析（kmeans）
e) 關(guān)聯(lián)規(guī)則
f) 時(shí)序模式
g) 離群點(diǎn)檢測(cè)
h) 深度學(xué)習(xí)
i) 人工智能
j) 神經(jīng)網(wǎng)絡(luò)
4、 案例：如何從數(shù)據(jù)中挖掘出有價(jià)值的信息
第3個(gè)主題： 數(shù)據(jù)預(yù)處理（剖析數(shù)據(jù)預(yù)處理技術(shù)）
1、 數(shù)據(jù)分析挖掘的過(guò)程
2、 建立數(shù)據(jù)庫(kù)的方法
3、 企業(yè)對(duì)數(shù)據(jù)分析挖掘的錯(cuò)誤認(rèn)識(shí)
4、 有效運(yùn)用數(shù)據(jù)為客戶(hù)提供針對(duì)性、主動(dòng)化服務(wù)（精準(zhǔn)營(yíng)銷(xiāo)）
5、 數(shù)據(jù)源
6、 數(shù)據(jù)采集
7、 隨機(jī)抽樣
8、 數(shù)據(jù)去重
9、 數(shù)據(jù)缺失值處理
10、 檢驗(yàn)數(shù)據(jù)邏輯錯(cuò)誤
11、 離群點(diǎn)檢測(cè)
12、 數(shù)據(jù)轉(zhuǎn)換
13、 數(shù)據(jù)分組
14、 課堂實(shí)操：數(shù)據(jù)預(yù)處理案例講解
第4個(gè)主題： 數(shù)據(jù)的描述性分析（深入剖析數(shù)據(jù)的描述性分析）
1、 統(tǒng)計(jì)學(xué)基本概念
2、 統(tǒng)計(jì)數(shù)據(jù)的計(jì)量尺度
3、 常用基本統(tǒng)計(jì)量
4、 集中趨勢(shì)的描述指標(biāo)
5、 離散趨勢(shì)的描述指標(biāo)
6、 中心極限定理
7、 大數(shù)定律
8、 數(shù)據(jù)的分布
9、 正態(tài)分布的特征
10、 偏度和峰度
11、 檢測(cè)數(shù)據(jù)集的分布
12、 數(shù)據(jù)的分布擬合檢驗(yàn)與正態(tài)性檢驗(yàn)
13、 抽樣標(biāo)準(zhǔn)
14、 假設(shè)檢驗(yàn)
15、 T檢驗(yàn)
16、 置信區(qū)間
第5個(gè)主題： 數(shù)據(jù)的可視化（實(shí)踐數(shù)據(jù)可視化）
1、 散點(diǎn)圖
2、 直方圖
3、 經(jīng)驗(yàn)分布函數(shù)
4、 QQ圖
5、 莖葉圖
6、 離群點(diǎn)檢測(cè)
7、 箱型圖檢驗(yàn)離群值
8、 蓋帽法
9、 課堂實(shí)操：SPSS描述性統(tǒng)計(jì)分析實(shí)現(xiàn)航空業(yè)客戶(hù)描述和行為分析模型
第6個(gè)主題： 主成分分析和因子分析（深入剖析主成分分析及因子分析）
1、 主成分分析
2、 總體主成分
3、 樣本主成分
4、 主成分分析模型
5、 案例：SPSS主成分分析模型實(shí)現(xiàn)
6、 課堂實(shí)操：SPSS主成分分析模型實(shí)現(xiàn)
第7個(gè)主題： 方差分析（深入剖析方差分析方法及SPSS實(shí)現(xiàn)）
1、 單因素方差分析
2、 單因素方差分析模型
3、 因素效應(yīng)的顯著性檢驗(yàn)
4、 因素各水平均值的估計(jì)與比較
5、 兩因素等重復(fù)試驗(yàn)下的方差分析
6、 統(tǒng)計(jì)模型
7、 交互效應(yīng)及因素效應(yīng)的顯著性檢驗(yàn)
8、 無(wú)交互效應(yīng)時(shí)各因素均值的估計(jì)與比較
9、 有交互效應(yīng)時(shí)因素各水平組合上的均值估計(jì)與比較
10、 兩因素非重復(fù)試驗(yàn)下的方差分析
11、 金融案例：SPSS方差分析實(shí)現(xiàn)
12、 課堂實(shí)操：SPSS方差分析實(shí)現(xiàn)
第8個(gè)主題： Bayes統(tǒng)計(jì)分析（深入剖析Bayes統(tǒng)計(jì)分析）
1、 Baves統(tǒng)計(jì)模型
2、 Bayes統(tǒng)計(jì)分析的基本思想
3、 Bayes統(tǒng)計(jì)模型
4、 Bayes統(tǒng)計(jì)推斷原則
5、 先驗(yàn)分布的Bayes假設(shè)與不變先驗(yàn)分布
6、 共軛先驗(yàn)分布
7、 先驗(yàn)分布中超參數(shù)的確定
8、 Baves統(tǒng)計(jì)推斷
9、 參數(shù)的Bayes點(diǎn)估計(jì)
10、 Bayes區(qū)間估計(jì)
11、 Bayes假設(shè)檢驗(yàn)
12、 案例：SPSS實(shí)現(xiàn)Bayes統(tǒng)計(jì)分析建模
13、 課堂實(shí)操：SPSS實(shí)現(xiàn)Bayes統(tǒng)計(jì)分析建模
第9個(gè)主題： 數(shù)學(xué)建模（深入剖析數(shù)學(xué)建模）
1、 數(shù)學(xué)建模
2、 數(shù)學(xué)預(yù)測(cè)模型
3、 模型評(píng)估
4、 模型參數(shù)優(yōu)化
第10個(gè)主題： 回歸分析與分類(lèi)分析原理與應(yīng)用（深入剖析數(shù)據(jù)的回歸分析與分類(lèi)分析的原理以及應(yīng)用）
1、 回歸與分類(lèi)
2、 回歸分析概念
3、 線性回歸模型及其參數(shù)估計(jì)
4、 一元線性回歸
5、 一元線性回歸模型
6、 一元線性回歸模型求解參數(shù)
7、 損失函數(shù)
8、 求偏導(dǎo)
9、 回歸方程的顯著性檢驗(yàn)
10、 殘差分析
11、 誤差項(xiàng)的正態(tài)性檢驗(yàn)
12、 殘差圖分析
13、 統(tǒng)計(jì)推斷與預(yù)測(cè)
14、 回歸模型的選取
15、 窮舉法
16、 逐步回歸法
17、 嶺回歸分析
18、 SPSS一元線性回歸
19、 金融案例：SPSS一元線性回歸模型檢驗(yàn)
20、 多元線性回歸概述
21、 多元線性回歸模型
22、 金融案例：SPSS多元線性回歸實(shí)現(xiàn)航空業(yè)信用打分和評(píng)級(jí)模型
第11個(gè)主題： Logistic回歸分析（剖析Logistic回歸與其它回歸分析方法）
1、 Logistic回歸介紹
2、 Logistic函數(shù)
3、 Logistic回歸模型
4、 案例：SPSS Logistic回歸實(shí)現(xiàn)
5、 課堂實(shí)操：SPSS Logistic回歸實(shí)現(xiàn)航空業(yè)欺詐預(yù)測(cè)模型
6、 課堂實(shí)操：SPSS Logistic回歸實(shí)現(xiàn)航空業(yè)風(fēng)險(xiǎn)分析模型
第12個(gè)主題： 非線性回歸原理及應(yīng)用（剖析非線性回歸原理及應(yīng)用實(shí)踐）
1、 非線性回歸
2、 雙曲線函數(shù)
3、 冪函數(shù)
4、 指數(shù)函數(shù)
5、 對(duì)數(shù)函數(shù)
6、 S型曲線
7、 案例：SPSS非線性回歸實(shí)現(xiàn)
8、 課堂實(shí)操：SPSS非線性回歸實(shí)現(xiàn)航空業(yè)經(jīng)營(yíng)分析和績(jī)效分析模型
第13個(gè)主題： 數(shù)據(jù)建模常用距離（深入剖析數(shù)據(jù)建模過(guò)程中常用的距離模型）
1、 數(shù)據(jù)挖掘常用距離
2、 歐氏距離
3、 曼哈頓距離
4、 切比雪夫距離
5、 閔可夫斯基距離
6、 標(biāo)準(zhǔn)化歐氏距離
7、 馬氏距離
8、 夾角余弦
9、 漢明距離
10、 杰卡德距離 & 杰卡德相似系數(shù)
11、 相關(guān)系數(shù) & 相關(guān)距離
12、 信息熵
第14個(gè)主題： 聚類(lèi)分析與建模實(shí)現(xiàn)（深入剖析聚類(lèi)分析以及通過(guò)SPSS聚類(lèi)算法模型分析數(shù)據(jù)）
1、 聚類(lèi)分析
2、 聚類(lèi)算法
3、 樣品間相近性的度量
4、 快速聚類(lèi)法
5、 快速聚類(lèi)法的步驟
6、 用Lm距離進(jìn)行快速聚類(lèi)
7、 譜系聚類(lèi)法
8、 類(lèi)間距離及其遞推公式
9、 譜系聚類(lèi)法的步驟
10、 變量聚類(lèi)
11、 案例：SPSS聚類(lèi)實(shí)現(xiàn)及繪圖
12、 案例：Kmeans應(yīng)用案例剖析
13、 課堂實(shí)操：編寫(xiě)程序?qū)崿F(xiàn)Kmeans應(yīng)用案例剖析
第15個(gè)主題： 決策樹(shù)分析與實(shí)現(xiàn)（深入剖析決策樹(shù)分析以及通過(guò)SPSS決策樹(shù)模型分析數(shù)據(jù)）
1、 決策樹(shù)分析
2、 決策樹(shù)
3、 決策樹(shù)構(gòu)成要素
4、 決策樹(shù)算法原理
5、 決策樹(shù)法的決策過(guò)程
6、 決策樹(shù)算法
7、 案例：SPSS實(shí)現(xiàn)決策樹(shù)分析
8、 課堂實(shí)操：SPSS實(shí)現(xiàn)航空業(yè)客戶(hù)細(xì)分模型
9、 隨機(jī)森林
第16個(gè)主題： 關(guān)聯(lián)規(guī)則分析與實(shí)現(xiàn)（深入剖析關(guān)聯(lián)規(guī)則分析以及通過(guò)SPSS關(guān)聯(lián)規(guī)則算法模型分析數(shù)據(jù)）
1、 關(guān)聯(lián)規(guī)則
2、 支持度與置信度
3、 關(guān)聯(lián)規(guī)則挖掘的過(guò)程
4、 Apriori算法
5、 關(guān)聯(lián)規(guī)則案例
6、 支持度與置信度計(jì)算
7、 案例：SPSS實(shí)現(xiàn)關(guān)聯(lián)規(guī)則
8、 課堂實(shí)操：SPSS實(shí)現(xiàn)航空業(yè)數(shù)據(jù)關(guān)聯(lián)規(guī)則分析
第17個(gè)主題： 數(shù)據(jù)建模時(shí)序模式分析與實(shí)現(xiàn)（深入剖析時(shí)序模式分析）
1、 時(shí)序模式
2、 時(shí)間序列分析
3、 時(shí)間序列分析
4、 時(shí)間序列
5、 序列分析的三個(gè)階段
6、 課堂實(shí)操：SPSS實(shí)現(xiàn)航空業(yè)客戶(hù)流失模型
第18個(gè)主題： 數(shù)據(jù)分析工具SPSS/SAS在金融行業(yè)應(yīng)用案例（深入剖析數(shù)據(jù)分析工具SPSS/SAS在金融行業(yè)應(yīng)用案例）
1、 案例：風(fēng)險(xiǎn)分析模型
2、 案例：信用打分和評(píng)級(jí)模型
3、 案例：客戶(hù)細(xì)分模型
4、 案例：客戶(hù)描述和行為分析模型
5、 案例：欺詐預(yù)測(cè)模型
6、 案例：客戶(hù)流失模型
7、 案例：經(jīng)營(yíng)分析和績(jī)效分析模型
8、 案例：交叉銷(xiāo)售和增量銷(xiāo)售模型
9、 案例：SPSS實(shí)現(xiàn)航空業(yè)客戶(hù)流失模型建模
10、 課堂實(shí)操：SPSS實(shí)現(xiàn)金融行業(yè)客戶(hù)流失模型建模
第19個(gè)主題： 大數(shù)據(jù)個(gè)性化精準(zhǔn)推薦實(shí)戰(zhàn)（深入理解大數(shù)據(jù)個(gè)性化精準(zhǔn)推薦原理和實(shí)現(xiàn)技術(shù)）
1、 個(gè)性化推薦的理論依據(jù)
2、 個(gè)性化推薦的價(jià)值
3、 個(gè)性化推薦能達(dá)到的目的
4、 個(gè)性化推薦的原則
5、 個(gè)性化推薦技術(shù)發(fā)展史
6、 個(gè)性化推薦的相關(guān)技術(shù)
7、 基于用戶(hù)的常用推薦算法
8、 基于用戶(hù)的協(xié)同過(guò)濾推薦
9、 課堂實(shí)操：SPSS實(shí)現(xiàn)航空業(yè)交叉銷(xiāo)售和增量銷(xiāo)售模型
數(shù)據(jù)分析與數(shù)據(jù)挖掘方法
轉(zhuǎn)載：http://santuchuan.cn/gkk_detail/253114.html
已開(kāi)課時(shí)間Have start time
- 尹立慶
[僅限會(huì)員]
IT相關(guān)內(nèi)訓(xùn)
- 信息安全風(fēng)險(xiǎn)評(píng)估與加固技能 張勝生
- 云計(jì)算的應(yīng)用領(lǐng)域和實(shí)踐 武威
- 電力信息化：價(jià)值和建設(shè)分析 劉宇佳
- 滲透測(cè)試與攻防實(shí)戰(zhàn)高級(jí)課程 張勝生
- Fine BI 數(shù)據(jù)分析與 張曉如
- IT崗位數(shù)智化能力提升路徑 甄文智
- CISSP認(rèn)證培訓(xùn)課程 張勝生
- Python高效辦公自動(dòng)化 張曉如
- 網(wǎng)安管理崗培訓(xùn) 張勝生
- 大模型技術(shù)與應(yīng)用培訓(xùn) 葉梓
- 軟件安全意識(shí)加強(qiáng)與技能提高 張勝生
- 互聯(lián)網(wǎng)新技術(shù)在銀行的應(yīng)用 武威