課程描述INTRODUCTION
海量數據處理優(yōu)化
日程安排SCHEDULE
課程大綱Syllabus
海量數據處理優(yōu)化
課程介紹:
本課程注重實戰(zhàn),采用案例貫穿方式完成實踐,收集了大量的真實案例,針對海量數據進行深入研討。本次培訓從數據架構開始講解,通過大量的真實案例,涵蓋了數據架構,數據同步,數據層敏捷開發(fā)等內容,詳細地介紹了海量數據的處理和優(yōu)化的前沿技術。
課程大綱:
第一部分 數據架構
一、數據拆分
1. 數據現狀
2. 連接數問題
3. 數據垂直拆分
4. 垂直拆分的問題和解決方案
5. 異構的讀寫分離
6. 數據水平拆分
7. 水平拆分的問題和解決方案
8. 一些案例分析
9. 拆分難題
二、多種存儲方案
1. 引入*SQL數據庫
2. 圖片服務器分離
3. 開源的分布式文件系統介紹和使用
4. 圖片處理和緩存
5. HDFS介紹
6. CDN介紹和詳解
第二部分 數據同步方案
一、并發(fā)的日志解析方案
1. 情景分析
2. 整體結構設計
3. 線程池處理
4. 代碼實現
二、實時數據傳輸平臺
1. 主要邏輯(發(fā)布數據,訂閱數據)
2. 實時數據傳輸平臺架構
3. 實時數據傳輸平臺結構分析
4. 代碼分享
三、Dbsync同步工具的使用
1、 Dbsync介紹
2、 架構解析
3、 使用詳解
四、 異構的數據庫/文件系統之間的高速交換工具
1、 開源工具介紹
2、 特點和結構模式
3、 使用和插件開發(fā)
第三部分 分布式緩存系統
一、Memcached
1. Memcached簡介
2. Memcached簡單用途
3. Memcached特點
4. Memcached優(yōu)點和限制
5. Memcached Java客戶端
6. Memcached Java 客戶端優(yōu)化
第四部分 Mysql性能優(yōu)化、Oracle性能優(yōu)化(可以根據實際情況選擇不同數據庫講解)
一、Mysql性能優(yōu)化
1. Mysql性能優(yōu)化引言
2. 數據庫設計和查詢優(yōu)化
3. Schema Design
4. 標準化
5. 數據類型
6. 正確使用索引
7. 查詢緩存
8. 服務器端優(yōu)化
9. 存儲引擎優(yōu)化
10. 臨時表
11. 線程池
12. 引入非關系數據庫
13. 新技術
二、Oracle性能優(yōu)化
1、常用SQL技巧
2、表的連接方式
3、有效的使用索引
4、Oracle的優(yōu)化器與執(zhí)行器
5、Oracle 11g中的執(zhí)行計劃管理
6、Oracle 11g中的數據庫重演和SQL重演
7、Oracle的性能顧問
第五部分 數據層開發(fā)
一、數據服務平臺設計
1. 數據架構分析
2. 問題
3. 解決方案
4. 數據服務平臺特性
二、數據服務平臺實現
1. 模型數據映射實現
2. 統一查詢更新API
3. 性能優(yōu)化策略
4. 熱點緩存平臺
5. 異步并行化機制
6. 并發(fā)控制,自我保護
海量數據處理優(yōu)化
轉載:http://santuchuan.cn/gkk_detail/248123.html
已開課時間Have start time
IT相關內訓
- 滲透測試與攻防實戰(zhàn)高級課程 張勝生
- 軟件安全意識加強與技能提高 張勝生
- 網安管理崗培訓 張勝生
- 大模型技術與應用培訓 葉梓
- Fine BI 數據分析與 張曉如
- 云計算的應用領域和實踐 武威
- 電力信息化:價值和建設分析 劉宇佳
- Python高效辦公自動化 張曉如
- 信息安全風險評估與加固技能 張勝生
- 互聯網新技術在銀行的應用 武威
- IT崗位數智化能力提升路徑 甄文智
- CISSP認證培訓課程 張勝生