第1章　大数据技术概述　1
1.1　理论任务：认识大数据　1
1.1.1　大数据概念　1
1.1.2　大数据处理的关键技术　4
1.1.3　大数据软件　5
1.2　实践任务：大数据实验环境　7
1.2.1　安装虚拟机、Linux系统　8

1.2.2　Linux常用命令　22

第2章Hadoop初体验25

2.1　理论任务：初识Hadoop　25
2.1.1　Hadoop概述　26
2.1.2　Hadoop发展简史　26
2.1.3　Hadoop版本　28
2.1.4　Hadoop生态圈　30

2.2　实践任务：Hadoop安装与配置　36

第3章　Hadoop分布式文件系统　51

3.1　理论任务：了解HDFS　51
3.1.1　认识HDFS　51
3.1.2　HDFS相关概念　52
3.1.3　HDFS体系结构　54
3.1.4　HDFS运行原理及保障　55
3.2　实践任务：HDFS基本操作　57
3.2.1　使用HDFS Shell访问　57

3.2.2　使用JAVA API与HDFS交互　63

第4章　Hadoop分布式计算框架　83

4.1　理论任务：认识MapReduce83
4.1.1　Mapreduce简介　84
4.1.2　MapReduce编程模型　85
4.1.3　MapReduce实例分析　88

4.2　实践任务：MapReduce应用开发　90

第5章　Hadoop分布式数据库HBase　103

5.1　理论任务：认识HBase　103
5.1.1　HBase简介　103
5.1.2　HBase数据模型　104
5.1.3　HBase体系结构　108
5.2　实践任务：HBase基本操作　110
5.2.1　HBase安装与配置　110
5.2.2　HBase Shell命令　115

5.2.3　HBase编程　120

第6章　NoSQL数据库　131

6.1　理论任务：了解NoSQL数据库　131
6.1.1　NoSQL简介　131
6.1.2　NoSQL类型　132
6.1.3　NoSQL数据库三大基石　133
6.1.4　从NoSQL到NewSQL数据库　135
6.2　实践任务：典型NoSQL数据库的安装和使用　136
6.2.1　Redis的安装和使用　136

6.2.2　MongoDB的安装和使用　144

第7章　数据仓库Hive　155

7.1　理论任务：认识Hive　155
7.1.1　Hive简介　155
7.1.2　Hive架构　156
7.1.3　Hive数据存储模型　158
7.2　实践任务：Hive基本操作　160
7.2.1　Hive和MySQL的安装及配置　160

7.2.2　HiveQL常用操作　167

第8章　大数据采集　171

8.1　理论任务：了解大数据采集工作　171
8.1.1　Sqoop简介　173
8.1.2　Flume简介　175
8.1.3　Kafka简介　178
8.2　实践任务：大数据采集工具的安装和使用　180
8.2.1　Sqoop安装及使用　180
8.2.2　Flume安装及使用　187

8.2.3　Kafka安装及使用　194

第9章　Spark技术　199

9.1　理论任务：认识Spark　199
9.1.1　Spark简介　199
9.1.2　Spark生态圈　202
9.2　实践任务：Spark的安装和编程　203
9.2.1　Spark安装和配置　203

9.2.2　Spark Shell使用　206

第10章　数据可视化　211

10.1　理论任务：了解数据可视化　211
10.1.1　数据可视化概述　211
10.1.2　可视化工具介绍　214
10.1.3　数据可视化的未来　216
10.2　实践任务：典型的可视化工具使用方法　217
10.2.1　使用ECharts制作图表　217

10.2.2　D3可视化库的使用方法　225

第11章　Python数据分析　231

11.1　理论任务：了解Python数据分析　231
11.1.1　Python语言环境搭建　232
11.1.2　Python语言基本语法　233
11.1.3　Python数据科学工具包　237
11.1.4　Python机器学习工具包　240
11.2　实践任务：Python数据分析应用　241
11.2.1　安装Python和numpy包　241
11.2.2　Python语法应用　244
11.2.3　Phthon数据科学工具包的安装和使用　244

11.2.4　Phthon机器学习工具包的安装和使用　250

第12章　综合案例　251

12.1　综合案例1：使用Python对房屋价格进行预测分析　251

12.2　综合案例2：通过日志数据分析用户行为　257

参考文献　272