數據交易導航網是一個數據要素市場相關的數據交易、數據管理、數據服務等數商企業商業生態導航平臺。
數據產品
——? PRODUCTS CENTER? ——
近年來，以Apache Spark為代表的大數據處理框架在學術界和工業界得到了廣泛的使用。本書以Apache Spark框架為核心，總結了大數據處理框架的基礎知識、核心理論、典型的Spark應用，以及相關的性能和可靠性問題。本書分9章，主要包含四部分內容。*部分 大數據處理框架的基礎知識（第1～2章）：介紹大數據處理框架的基本概念、系統架構、編程模型、相關的研究工作，并以一個典型的Spark應用為例概述Spark應用的執行流程。第二部分 Spark大數據處理框架的核心理論（第3～4章）：介紹Spark框架將應用程序轉化為邏輯處理流程，進而轉化為可并行執行的物理執行計劃的一般過程及方法。第三部分 典型的Spark應用（第5章）：介紹迭代型的Spark機器學習應用和圖計算應用。第四部分 大數據處理框架性能和可靠性保障機制（第6～9章）：介紹Spark框架的Shuffle機制、數據緩存機制、錯誤容忍機制、內存管理機制等。
許利杰現任中國科學院軟件研究所副研究員、碩士生導師，于中科院軟件所獲得博士學位。當前主要從事大數據系統方面的研究工作，已在國際權威會議如VLDB、ICDCS、IPDPS、ISSRE、ICAC等發表論文10余篇，主持多項國家自然科學基金，以及華為、、聯想等企業的合作研發項目。曾為Apache Spark和Hadoop修復多個內核代碼嚴重錯誤，編寫的SparkInternals技術文檔被社區廣泛關注，獲得四千多顆星。博士期間曾在微軟亞洲研究院、阿里巴巴、騰訊擔任客座研究學生。目前還擔任中國計算機學會系統軟件專委會委員、中國科學院青年創新促進會會員。方亞芬現任中國科學院軟件研究所工程師，于南開大學獲得學士學位、中科院軟件所獲得碩士學位。當前主要從事大數據系統、操作系統方面的研發工作，參與多項國家自然科學基金、國家重點研發計劃，以及華為、騰訊、中國郵政等企業的合作研發項目。曾在阿里巴巴等擔任客座研究學生，目前是華為openEuler社區樹莓派項目負責人。
第 1 章 大數據處理框架概覽 ．．．．．．．．．．．．．．．．．．．．．2
1．1 大數據及其帶來的挑戰 ．．．．．．．．．．．．．．．．．．．．．2
1．2 大數據處理框架 ．．．．．．．．．．．．．．．．．．．．．．．．3
1．3 大數據應用及編程模型 ．．．．．．．．．．．．．．．．．．．．．4
1．4 大數據處理框架的四層結構 ．．．．．．．．．．．．．．．．．．．5
1．4．1 用戶層 ．．．．．．．．．．．．．．．．．．．．．．．．．． 7
1．4．2 分布式數據并行處理層 ．．．．．．．．．．．．．．．．．．．11
1．4．3 資源管理與任務調度層 ．．．．．．．．．．．．．．．．．．．13
1．4．4 物理執行層 ．．．．．．．．．．．．．．．．．．．．．．．．15
1．5 錯誤容忍機制 ．．．．．．．．．．．．．．．．．．．．．．．．．17
1．6 其他大數據處理框架 ．．．．．．．．．．．．．．．．．．．．．．18
1．7 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．．．．18
1．8 擴展閱讀 ．．．．．．．．．．．．．．．．．．．．．．．．．．．18
第 2 章 Spark 系統部署與應用運行的基本流程 ．．．．．．．．．．．．．20
2．1 Spark 安裝部署 ．．．．．．．．．．．．．．．．．．．．．．．．20
2．2 Spark 系統架構 ．．．．．．．．．．．．．．．．．．．．．．．．21
2．3 Spark 應用例子 ．．．．．．．．．．．．．．．．．．．．．．．．24
2．3．1 用戶代碼基本邏輯 ．．．．．．．．．．．．．．．．．．． ．24
2．3．2 邏輯處理流程 ．．．．．．．．．．．．．．．．．．．．．．． 28
2．3．3 物理執行計劃 ．．．．．．．．．．．．．．．．．．．．．．． 32
2．3．4 可視化執行過程 ．．．．．．．．．．．．．．．．．．．．．． 34
2．4 Spark 編程模型 ．．．．．．．．．．．．．．．．．．．．．．．．38
2．5 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．．．．39
第 3 章 Spark 邏輯處理流程 ．．．．．．．．．．．．．．．．．．．41
3．1 Spark 邏輯處理流程概覽 ．．．．．．．．．．．．．．．．．．．．41
3．2 Spark 邏輯處理流程生成方法 ．．．．．．．．．．．．．．．．．．43
3．2．1 根據應用程序如何產生 RDD，產生什么樣的 RDD ．．．．．．．．． 44
3．2．2 如何建立 RDD 之間的數據依賴 關系．．．．．．．．．．．． 44
3．2．3 如何計算 RDD 中的數據 ．．．．．．．．．．．．．．．．．． 49
3．3 常用 transformation() 數據操作 ．．．．．．．．．．．．．．．．50
3．4 常用 action() 數據操作 ．．．．．．．．．．．．．．．．．．86
3．5 對比 MapReduce，Spark 的優缺點．．．．．．．．．．．．．．．98
3．6 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．．99
3．7 擴展閱讀 ．．．．．．．．．．．．．．．．．．．．．．．．．100
第 4 章 Spark 物理執行計劃 ．．．．．．．．．．．．．．．．．．．101
4．1 Spark 物理執行計劃概覽 ．．．．．．．．．．．．．．．．．．101
4．2 Spark 物理執行計劃生成方法 ．．．．．．．．．．．．．．．．105
4．3 常用數據操作生成的物理執行計劃．．．．．．．．．．．．．．．113
4．4 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．．121
4．5 擴展閱讀 ．．．．．．．．．．．．．．．．．．．．．．．．．121
第 5 章 迭代型 Spark 應用 ．．．．．．．．．．．．．．．．．．．123
5．1 迭代型 Spark 應用的分類及特點．．．．．．．．．．．．．．．123
5．2 迭代型機器學習應用 SparkLR ．．．．．．．．．．．．．．．．124
5．2．1 應用描述 ．．．．．．．．．．．．．．．．．．．．．．．．124
5．2．2 算法原理 ．．．．．．．．．．．．．．．．．．．．．．． 125
5．2．3 基于 Spark 的并行化實現 ．．．．．．．．．．．．．．．． 129
5．2．4 深入討論 ．．．．．．．．．．．．．．．．．．．．．．． 131
5．3 迭代型機器學習應用――廣義 線性模型．．．．．．．．．．．．132
5．3．1 算法原理 ．．．．．．．．．．．．．．．．．．．．．．． 132
5．3．2 基于 Spark 的并行化實現 ．．．．．．．．．．．．．．．． 136
5．3．3 深入討論 ．．．．．．．．．．．．．．．．．．．．．．． 139
5．4 迭代型圖計算應用――PageRank ．．．．．．．．．．．．．．．140
5．4．1 應用描述 ．．．．．．．．．．．．．．．．．．．．．．． 140
5．4．2 基于 Spark 的并行化實現 ．．．．．．．．．．．．．．．． 143
5．4．3 深入討論 ．．．．．．．．．．．．．．．．．．．．．．． 149
5．5 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．．151
第 6 章 Shuffle 機制 ．．．．．．．．．．．．．．．．．．．．．．153
6．1 Shuffle 的意義及設計挑戰 ．．．．．．．．．．．．．．．．．153
6．2 Shuffle 的設計思想 ．．．．．．．．．．．．．．．．．．．．155
6．2．1 解決數據分區和數據聚合問題 ．．．．．．．．．．．．．．．156
6．2．2 解決 map() 端 combine問題 ．．．．．．．．．．．．．．． 158
6．2．3 解決 sort 問題 ．．．．．．．．．．．．．．．．．．．．． 158
6．2．4 解決內存不足問題 ．．．．．．．．．．．．．．．．．．．． 159
6．3 Spark 中 Shuffle 框架的設計 ．．．．．．．．．．．．．．．160
6．3．1 Shuffle Write 框架設計和實現 ．．．．．．．．．．．．．．． 161
6．3．2 Shuffle Read 框架設計和實現 ．．．．．．．．．．．．． 166
6．4 支持高效聚合和排序的數據 結構．．．．．．．．．．．．．．170
6．4．1 AppendOnlyMap 的原理 ．．．．．．．．．．．．．．．．． 171
6．4．2 ExternalAppendOnlyMap ．．．．．．．．．．．．．．．．173
6．4．3 PartitionedAppendOnlyMap ．．．．．．．．．．．．．． 176
6．4．4 PartitionedPairBuffer ．．．．．．．．．．．．．．．． 176
6．5 與 Hadoop MapReduce 的 Shuffle 機制對比．．．．．．．．．177
6．6 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．179
第 7 章 數據緩存機制 ．．．．．．．．．．．．．．．．．．．．．．180
7．1 數據緩存的意義 ．．．．．．．．．．．．．．．．．．．．．．180
7．2 數據緩存機制的設計原理 ．．．．．．．．．．．．．．．．．．181
7．2．1 決定哪些數據需要被緩存 ．．．．．．．．．．．．．．．．181
7．2．2 包含數據緩存操作的邏輯處理流程和物理執行計劃 ．．．．． 184
7．2．3 緩存級別 ．．．．．．．．．．．．．．．．．．．．．．． 186
7．2．4 緩存數據的寫入方法 ．．．．．．．．．．．．．．．．．．189
7．2．5 緩存數據的讀取方法 ．．．．．．．．．．．．．．．．．． 191
7．2．6 用戶接口的設計 ．．．．．．．．．．．．．．．．．．．． 192
7．2．7 緩存數據的替換與回收方法 ．．．．．．．．．．．．．．．．．193
7．3 與 Hadoop MapReduce 的緩存機制進行對比．．．．．．．．．．．．197
7．4 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．．．198
第 8 章 錯誤容忍機制 ．．．．．．．．．．．．．．．．．．．．．．199
8．1 錯誤容忍機制的意義及挑戰 ．．．．．．．．．．．．．．．．．．199
8．2 錯誤容忍機制的設計思想 ．．．．．．．．．．．．．．．．．．．201
8．3 重新計算機制 ．．．．．．．．．．．．．．．．．．．．．．．．201
8．3．1 重新計算是否能夠得到與之前一樣的結果 ．．．．．．．．．． 202
8．3．2 從哪里開始重新計算 ．．．．．．．．．．．．．．．．．．．204
8．3．3 重新計算機制小結 ．．．．．．．．．．．．．．．．．．．．207
8．4 checkpoint 機制的設計與實現 ．．．．．．．．．．．．．．．．207
8．4．1 哪些數據需要使用 checkpoint機制 ．．．．．．．．．．．． 207
8．4．2 checkpoint 數據的寫入及接口 ．．．．．．．．．．．．．．．210
8．4．3 checkpoint 時機及計算順序 ．．．．．．．．．．．．．．．．212
8．4．4 checkpoint 數據的讀取 ．．．．．．．．．． ．．．．．．．213
8．4．5 checkpoint 數據寫入和讀取的實現細節 ．．．．．．．．．． 213
8．4．6 checkpoint 語句位置的影響．．．． ．．．．．．．．．．216
8．4．7 cache checkpoint ．．．．．．．．．．．．．．．．．． 220
8．5 checkpoint 與數據緩存的區別 ．．．．．．．．．．．．．．．225
8．6 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．．226
第 9 章 內存管理機制 ．．．．．．．．．．．．．．．．．．．．．．227
9．1 內存管理機制問題及挑戰 ．．．．．．．．．．．．．．．．．227
9．2 應用內存消耗來源及影響因素 ．．．．．．．．．．．．．．228
9．2．1 內存消耗來源 1：用戶代碼 ．．．．．．．．．．．．．． 229
9．2．2 內存消耗來源 2：Shuffle 機制中產生的中間數據 ．．．．．．230
9．2．3 內存消耗來源 3：緩存數據 ．．．．．．．．．．．．．． 231
9．3 Spark 框架內存管理模型 ．．．．．．．．．．．．．．．．．．232
9．3．1 靜態內存管理模型 ．．．．．．．．．．．．．．．．．．．． 233
9．3．2 統一內存管理模型 ．．．．．．．．．．．．．．．．．．．． 234
9．4 Spark 框架執行內存消耗與管理．．．．．．．．．．．．．．．．237
9．4．1 Shuffle Write 階段內存消耗及管理 ．．．．．．．．．．．． 239
9．4．2 Shuffle Read 階段內存消耗及管理 ．．．．．．．．．．．．． 245
9．5 數據緩存空間管理 ．．．．．．．．．．．．．．．．．．．．．．．249
9．5．1 RDD 緩存數據 ．．．．．．．．．．．．．．．．．．．．．．． 250
9．5．2 廣播數據 ．．．．．．．．．．．．．．．．．．．．．．．．． 253
9．5．3 task 的計算結果 ．．．．．．．．．．．．．．．．．．．．． 254
9．6 本章小結 ．．．．．．．．．．．．．．．．．．．．．．．．．．256
參考文獻 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．258
相關推薦
《數字化思維：傳統企業數字化轉型指南》本書基于作者多年從事數字化產品策劃、咨詢和創業的經驗，試圖給正在面臨數字化轉型難題的企業提供一個思考問題的框架性參考。本書中的觀點、模型和案例對于企業制定和執行具體的數字化戰略具有顯著的參考和借鑒意義。
本書從數字化的發展演化路徑出發，詳細介紹不同時期應采取的策略，同時基于傳統行業與數字化的標桿——互聯網行業的底層思維差異，推導出一系列的數字化轉型思維、方法論和模型框架。本書中的案例講求層次和邏輯，而不是泛泛之談。
《企業數字化轉型》《企業數字化轉型》針對讀者在學習理解“數字經濟、企業數字化轉型”等問題上的若干誤區，圍繞企業數字化轉型中普遍存在的問題，從全新的理念、體系、工具和方法等方面重新架構了企業數字化轉型的核心內容，使讀者突破認知束縛，在轉型實踐中得心應手。
《數據治理：工業企業數字化轉型之道》《數據治理：工業企業數字化轉型》是一本全面關注工業企業數據治理方面的工具書，主要內容分為概述篇、體系篇、工具篇、實施篇及案例篇。
《一本書讀懂數字化轉型》《一本書讀懂數字化轉型》由點到面、循序漸進地揭示了數字化轉型的內在邏輯，深度解析阿里巴巴、百度、騰訊、字節跳動、小米、名創優品、快手和得到等18個轉型案例，并給出數字化轉型的實用工具，幫助企業決策者做到數字化轉型的“取勢、明道、優術”，真正助力企業實現數字化轉型落地，在數字化時代乘風破浪！
在線咨詢
