課程(名稱.編號)簡索

領導藝術.綜合管理        人力資源.企業培訓        職務能力培訓系統班        銷售實戰.市場行銷        職場技能.個人成長        Office白領辦公達人        財經金融.投資理財        語言學習.出國留學        中國大陸證照培訓        資格考試.考証培訓        文化.生活.興趣.保健        生產管理.採購物流        移動開發        前端開發        後端開發        數據庫.服務器        網頁平面設計        雲計算.大數據        網絡營銷推廣        自然學科        工程技術學科

經濟管理學科

醫.藥.農.林學科

法律 學科

計算機工程學科

哲學.歷史學科

文學.藝術學科

教育社會學科

外語 學科

醫藥農林        哲學歷史        文學藝術        工程技術        基礎科學        經管法學

     講授分佈式系統構架、分佈式編程、分佈式流處理、分佈式數據存儲管理、內存計算支持等內容，突出技術深度和實戰性。

課程概述


     面向信息科學技術類研究生或高年級本科生，主要由業界一線研發人員講授大數據平台涉及到的分佈式系統構架、分佈式編程、分佈式流處理、分佈式數據存儲管理、內存計算支持等內容，通過實踐，力圖覆蓋大數據處理平台的主要核心技術，幫助學生瞭解分佈式大數據平台設計中的關鍵挑戰，提出實際的解決方案，為研究生未來研究方向提供參考。課程重點講解設計原理，突出技術深度和實戰性。

    【參考資料】李妹芳，《ODPS權威指南》。本書是學習和掌握ODPS的權威指南，作者來自阿里ODPS團隊。全書共13章，主要內容包括：ODPS入門、整體架構、數據通道、MapReduce編程、SQL查詢分析、安全，以及基於真實數據的各種場景分析實戰。本書基於很多範例解析，通過在各種應用場景下的示例來說明如何通過ODPS完成各種需求，以期引導讀者從零開始輕鬆掌握和使用ODPS。同時，本書不局限於示例分析，也致力於提供更多關於大數據處理的編程思想和經驗分享。書中所有示例代碼都可以在作者提供的網站上免費下載。這本書對平台架構介紹不多，偏應用方面，但對瞭解阿里的大數據平台能夠做什麼可能有些幫助。


課程大綱


第一單元 大數據和ODPS

主講人：武永衛
主講人：程永


第二單元 分佈式存儲

大綱
初步認識大數據對分佈式存儲系統的需求
理解大數據對分佈式存儲系統的需求
具體說明大數據對分佈式存儲系統的需求
大規模分佈式存儲的挑戰
小概率事件-Raid卡故障
分佈式存儲系統舉例
分佈式存儲系統重要功能設計要點剖析
鏈式寫正常流程
寫流程的另一種常見方式：主從模式
鏈式寫異常流程
寫異常處理的另一種方法-Seal and New
讀正常流程
讀流程優化-BackupRead
IO QoS
數據正確性：checksum
數據可靠性-Replication
數據均衡-Rebalance
垃圾回收-Garbage collection
Erasure coding
Erasure coding（3,2）寫入和讀取過程
元數據管理的高可用性和可擴展性
元數據管理的高可用性
Paxos概要
Raft
元數據管理的可擴展性
不同存儲介質的特性
盤古混合存儲


第三單元 資源管理與任務調度

阿里雲飛天分佈式調度
任務調度
資源調度
容錯機制
規模挑戰
安全域性能隔離
分佈式調度的發展方向


第四單元 分佈式編程模型的設計與演化

數據格式和抽像
分佈式編程模型
MapReuduce編程模型
關係型數據編程模型
分佈式圖計算模型
分佈式編程未來展望
實踐1：通過兩階段提交協議完成數據上傳
分佈式事務
分佈式一致性算法
兩階段提交與三階段提交
實踐--介紹
HW1：通過兩階段提交協議完成數據上傳

第五單元 離線分佈式關係型計算

關係型計算基本原理_1
關係型計算基本原理_2
分佈式環境中的連接計算和聚合計算
其他計算和物理優化

第六單元 全局數據管理與調度

提綱
課程背景介紹
前序知識
分佈式節點距離計算法則
數據分佈策略
分佈式計算調度
數據就近原則計算如何容錯
ODPS跨集群數據依賴
實踐2：編寫MR完成Group By+Join操作
主講人：謝德軍
HW2：編寫MR完成Group By+Join操作

第七單元 流式計算的系統設計與實現

增量計算和流式計算
與批量計算的區別
業界典型系統技術概要分析
核心技術
消息機制
有狀態計算、並行DAG、搶佔式調度和資源隔離、Failover機制
StreamSQL


第八單元 內存計算

軟硬件趨勢、分佈式計算簡史與內存計算
分佈式計算
內存計算
統一的計算框架
業界經典系統技術分析-spark&flink


第九單元 大規模數據的分佈式機器學習平台

主講人：褚葳

實踐3：實現MapReduce編程運行時庫
分佈式環境下的新問題
工程實現範例
課程設計相關問題
HW3:實現MapReduce編程運行時庫



課程列表


第01講 1.1 主講人：武永衛 → 00:14:19
第02講 1.2 主講人：程永 → 00:20:29
第03講 2.1 大綱 → 00:01:23
第04講 2.2 初步認識大數據對分佈式存儲系統的需求 → 00:01:42
第05講 2.3 理解大數據對分佈式存儲系統的需求 → 00:00:45
第06講 2.4 具體說明大數據對分佈式存儲系統的需求 → 00:03:07
第07講 2.5 大規模分佈式存儲的挑戰 → 00:00:50
第08講 2.6 小概率事件-Raid卡故障 → 00:09:22
第09講 2.7 分佈式存儲系統舉例 → 00:10:28
第10講 2.8 分佈式存儲系統重要功能設計要點剖析 → 00:01:03

第11講 2.9 鏈式寫正常流程 → 00:01:44
第12講 2.10 寫流程的另一種常見方式：主從模式 → 00:01:40
第13講 2.11 鏈式寫異常流程 → 00:01:28
第14講 2.12 寫異常處理的另一種方法-Seal and New → 00:02:20
第15講 2.13 讀正常流程 → 00:01:22
第16講 2.14 讀流程優化-BackupRead → 00:03:22
第17講 2.15 IO QoS → 00:02:50
第18講 2.16 數據正確性：ecksum → 00:02:50
第19講 2.17 數據可靠性-Replication → 00:02:30
第20講 2.18 數據均衡-Rebalance → 00:01:55

第21講 2.19 垃圾回收-Garbage collection → 00:01:55
第22講 2.20 Erasure coding → 00:02:31
第23講 2.21 Erasure coding（3,2）寫入和讀取過程 → 00:01:47
第24講 2.22 元數據管理的高可用性和可擴展性 → 00:03:33
第25講 2.23 元數據管理的高可用性 → 00:03:37
第26講 2.24 Paxos概要 →
第27講 2.25 Raft → 00:00:46
第28講 2.26 元數據管理的可擴展性 → 00:02:52
第29講 2.27 不同存儲介質的特性 → 00:02:17
第30講 2.28 盤古混合存儲 → 00:04:16

第31講 3.1 阿里雲飛天分佈式調度 → 00:14:36
第32講 3.2 任務調度 → 00:13:38
第33講 3.3 資源調度 → 00:05:56
第34講 3.4 容錯機制 → 00:03:36
第35講 3.5 規模挑戰 → 00:04:53
第36講 3.6 安全域性能隔離 → 00:05:46
第37講 3.7 分佈式調度的發展方向 → 00:02:23
第38講 4.1 數據格式和抽像 → 00:05:16
第39講 4.2 分佈式編程模型 → 00:05:03
第40講 4.3 MapReuduce編程模型 → 00:11:19

第41講 4.4 關係型數據編程模型 → 00:08:36
第42講 4.5 分佈式圖計算模型 → 00:06:03
第43講 4.6 分佈式編程未來展望 → 00:08:56
第44講 5.1 分佈式事務 → 00:05:45
第45講 5.2 分佈式一致性算法 → 00:03:42
第46講 5.3 兩階段提交與三階段提交 → 00:07:32
第47講 5.4 實踐--介紹 → 00:02:38
第48講 6.1 關係型計算基本原理_1 → 00:05:35
第49講 6.2 關係型計算基本原理_2 → 00:12:39
第50講 6.3 分佈式環境中的連接計算和聚合計算 → 00:31:42

第51講 6.4 其他計算和物理優化 → 00:12:04
第52講 7.1 提綱 → 00:03:16
第53講 7.2 課程背景介紹 → 00:03:20
第54講 7.3 前序知識 → 00:09:07
第55講 7.4 分佈式節點距離計算法則 → 00:03:25
第56講 7.5 數據分佈策略 → 00:03:41
第57講 7.6 分佈式計算調度 → 00:03:08
第58講 7.7 數據就近原則計算如何容錯 → 00:07:07
第59講 7.8 ODPS跨集群數據依賴 → 00:05:00
第60講 8.1 主講人：謝德軍 → 00:09:53

第61講 9.1 增量計算和流式計算 → 00:14:32
第62講 9.2 與批量計算的區別 → 00:02:55
第63講 9.3 業界典型系統技術概要分析 → 00:12:38
第64講 9.4 核心技術 → 00:13:20
第65講 9.5 消息機制 → 00:07:57
第66講 9.6 有狀態計算、並行DAG、搶佔式調度和資源隔離、Failover機制 → 00:16:00
第67講 9.7 StreamSQL → 00:08:33
第68講 10.1 軟硬件趨勢、分佈式計算簡史與內存計算 → 00:14:43
第69講 10.2 分佈式計算 → 00:30:58
第70講 10.3 內存計算 → 00:12:39

第71講 10.4 統一的計算框架 → 00:14:08
第72講 10.5 業界經典系統技術分析-spark&flink → 00:05:52
第73講 11.1 主講人：褚葳 → 00:16:39
第74講 12.1 分佈式環境下的新問題 → 00:12:06
第75講 12.2 工程實現範例 → 00:10:25
第76講 12.3 課程設計相關問題 → 00:01:57