課程概述
《大數據導論》是數據科學與大數據技術專業的專業基礎課,也可以作為理工科本科生的通識教育課程,本課程介紹大數據採集、存儲、訪問和分析的趨勢、問題、解決方案,主要內容分為九部分,第一章是大數據概述、2大數據技術基礎、3大數據的採集與清洗,4大數據的存儲與管理、5大數據計算框架、6大數據分析挖掘、7大數據可視化、8大數據與雲計算、9大數據行業案例。課程重點是數據存儲、數據分析、數據可視化等部分,其中課程難點是機器學習算法和大數據計算框架。
通過這門課程的學習,學生能夠掌握大數據基礎技術,包括操作系統、編程語言、數據庫、算法;瞭解大數據計算與雲存儲相關技術,包括MapReduce、Spark、Flink、雲計算;掌握數據採集與分析技術,包括網絡爬取、數據集成、Python數據分析;瞭解大數據在金融、醫療、教育、環境、交通等行業的應用等。。
本課程旨在培養學生並行化思考問題的能力和大數據時代更宏觀和全面的數據分析視角。
教學單元
1 1.大數據概述
1.1大數據概念
1.2大數據行業應用
1.3大數據安全
2 2.大數據技術基礎
2.1操作系統
2.2編程語言
2.3數據庫
2.4算法
2.5大數據系統
2.6大數據應用開發流程
3 3.大數據的採集與清洗
3.1數據採集方法
3.2數據採集工具
3.3數據清洗方法
3.4數據清洗工具
4 4.大數據的存儲與管理
4.1數據管理與存儲概述
4.2關係型數據庫
4.3非關係型數據庫
4.4 分佈式文件系統
5 5.大數據計算框架
5.1大數據計算框架簡介
5.2 MapReduce
5.3 Spark
6 6.大數據分析與挖掘
6.1 數據分析介紹
6.2 機器學習的模型與算法
6.3 數據分析的工具與介紹
6.4 數據分析案例
7 7.大數據可視化
7.1 大數據可視化概述
7.2 大數據可視化常用工具
7.3 可視化案例
8 8.大數據與雲計算
8.1雲計算概念與特點
8.2雲計算的分類
8.3雲計算與分佈式計算的區別
8.4雲計算的體系結構
8.5大數據與雲計算的關係
9 9.大數據行業案例
9.1行業案例介紹
9.2用戶貸款風險預測解析
10 10.考試
課程列表
名稱 時間長度
第01講 1-1大數據概念 00:11:20
第02講 1-2大數據行業應用 00:03:48
第03講 1-3大數據安全 00:02:51
第04講 2-1 操作系統-1 00:11:40
第05講 2-1 操作系統-2 00:02:31
第06講 2-2編程語言-1 00:06:28
第07講 2-2編程語言-2 00:06:31
第08講 2-2編程語言-3 00:09:17
第09講 2-2編程語言-4 00:05:58
第10講 2-3數據庫 00:06:30
第11講 2-4算法 00:06:21
第12講 2-5大數據系統 00:12:49
第13講 2-6大數據應用開發流程-1 00:08:52
第14講 2-6大數據應用開發流程-2 00:11:07
第15講 3-1數據採集方法 00:08:24
第16講 3-2數據採集工具 00:05:57
第17講 3-3數據清洗方法-1 00:06:01
第18講 3-3數據清洗方法-2 00:03:21
第19講 3-4數據清洗工具 00:03:48
第20講 4-1數據管理與存儲概述 00:06:10
第21講 4-2關係型數據庫-1 00:05:52
第22講 4-2關係型數據庫-2 00:16:50
第23講 4-3非關係型數據庫-1 00:05:26
第24講 4-3非關係型數據庫-2 00:11:15
第25講 4-4 分佈式文件系統-1 00:08:24
第26講 4-4 分佈式文件系統-2 00:18:27
第27講 4-4 分佈式文件系統-3 00:17:16
第28講 5-1大數據計算框架簡介 00:07:26
第30講 5-2 MapReduce-2 00:22:21
第31講 5-3 Spark-1 00:07:49
第32講 5-3 Spark-2 00:11:28
第33講 6-1數據分析介紹 00:07:01
第34講 6-2機器學習的模型與算法 00:10:03
第35講 6-3數據分析的工具與介紹 00:05:36
第36講 6-4數據分析案例 00:07:40
第37講 7-1 大數據可視化概述 00:07:41
第38講 7-2 大數據可視化常用工具 00:04:20
第39講 7-3 可視化案例 00:10:20
第40講 8-1雲計算概念與特點 00:07:07
第41講 8-2雲計算的分類 00:03:04
第42講 8-3雲計算與分佈式計算的區別 00:02:51
第43講 8-4雲計算的體系結構 00:07:09
第44講 8-5大數據與雲計算的關係 00:05:53
第45講 9-1行業案例介紹 00:03:29
第46講 9-2用戶貸款風險預測解析-1 00:04:23
第47講 9-2用戶貸款風險預測解析-2 00:09:23
|