《PySpark大数据分析与应用》内容简介与阅读建议

Name: PySpark大数据分析与应用
Author: 戴刚
ISBN: 9787115634900

获取这本书 暂无已核验电子书资源

下载

作者: 戴刚
分类: 科技技术
出版年份: 2024
出版社: 人民邮电出版社
页数: 275 页
语言: 中文

《PySpark大数据分析与应用》内容简介

本书以Python作为开发语言，系统介绍PySpark开发环境搭建流程及基于PySpark进行大数据分析的相关知识。本书条理清晰、重点突出，理论叙述循序渐进、由浅入深。本书共7章，前5章包括PySpark 大数据分析概述、PySpark安装配置、基于PySpark的DataFrame操作、基于PySpark的流式数据处理、基于PySpark的机器学习库，内容介绍注重理论与实践相结合，通过典型示例强化PySpark在大数据分析中的实际应用;第6、7章通过基于PySpark的网络招聘信息的职业类型划分和基于PySpark的信用贷款风险分析两个完整的案例实战，结合前5章的PySpark编程知识，实现完整的大数据分析过程。本书大部分章包含实训和课后习题，读者通过练习和操作实践，能够巩固所学的内容。

《PySpark大数据分析与应用》书籍信息摘要

《PySpark大数据分析与应用》内容简介与阅读建议，作者戴刚，科技技术，2024年。获取前建议核对作者、出版社、年份、ISBN、版本和正版渠道。相关主题：PySpark、大数据分析、机器学习、科技农工。

作者：戴刚
分类：科技技术
出版年份：2024
出版社：人民邮电出版社
页数：275 页
语言：中文
格式：暂无已核验合规下载格式

《PySpark大数据分析与应用》适合哪些读者？

适合希望系统学习技术概念、实践方法、工具使用和行业知识的读者。

查看戴刚的作品顺序浏览科技技术书籍查看“PySpark”相关书籍读完这本读什么查看书籍排行榜

获取建议

《PySpark大数据分析与应用》怎么获取更合适？

优先确认版本和阅读目的；下载区只展示已核验的公版、授权、开放许可或官方试读资源。

下载

暂无已核验电子书资源；本站不展示未授权完整文件。

下载

版本

优先选择作者、译者、出版社、出版年份和 ISBN 信息明确的版本；经典作品可优先选择校注、导读或权威出版社版本。

1.2.1　Spark 简介　10
1.2.2　Spark 特点　11
1.2.3　Spark运行架构与流程　11
1.2.4　Spark RDD　14
1.2.5　Spark 生态圈　20
1.3　PySpark大数据分析　21
1.3.1　PySpark 简介　21
1.3.2　PySpark 子模块　22
小结　25
课后习题　26
第2章 PySpark安装配置　27
2.1　搭建单机模式的PySpark开发
环境　28
2.1.1　安装 K　28
2.1.2　安装 Anaconda　28
2.1.3　安装 Hadoop　30
2.1.4　安装 MySQL　36
2.1.5　安装 Hive　37
2.1.6　配置 PySpark 模块　43
2.1.7　运行 Jupyter Notebook　44
2.2　搭建分布式模式的PySpark开发
环境　45
2.2.1　安装配置虚拟机　46
2.2.2　安装 Java　53
2.2.3　搭建Hadoop分布式集群　58
2.2.4　安装MySQL数据库　62
2.2.5　安装Hive数据仓库工具　63
2.2.6　搭建Spark完全分布式集群　66
2.2.7　安装 PyCham　69
2.2.8　安装Python解释器及PySpark 模块　69
2.3　Python函数式编程　69
2.3.1　Python常用数据结构　70
2.3.2　Python函数式编程基础　75
小结　76
课后习题　76
第3章基于 PySpark 的 DataFrame 操作　78
3.1　Spark SQL 概述　78
3.1.1　Spark SQL起源与发展历程　79
3.1.2　Spark SQL 主要功能　79
3.1.3　Spark SQL数据核心抽象 DataFrame　80
3.2　pyspark.sql 模块　82
3.2.1　pyspark. sql 模块简介　82
3.2.2　pyspark. sql 模块核心类　83
3.3　DataFrame 基础操作　85
3.3.1　创建 DataFrame 对象　86
332　DataFrame 操作　93
3.3.3　DataFrame 输出操作　113
小结　114
实训　114
实训1网站搜索热词统计分析　114
实训2大数据岗位招聘信息统计分析　…115
课后习题　116
第4章　基于PySpark的流式数据
处理　118
4.1　Spark Streaming 概述　119
4.1.1　流计算简介　119
4.1.2　Spark Streaming 基本概念　121
4.1.3　Spark Streaming 工作原理　121
4.1.4　Spark Streaming 运行机制　122
4.2　pyspark.streaming 模块　123
4.2.1　pyspark. streaming 模块简介　123
4.2.2　pyspark. streaming 模块核心类　124
4.2.3　DStream 基础操作　126
4.3　Structured Streaming 结构化流处理　146
4.3.1　Structured Streaming 概述　146
4.3.2　Structured Streaming 编程模型　147
4.3.3　Structured Streaming 基础操作　148
4.3.4　Structured Streaming 编程步骤　152
小结　155
实训　155
实训1使用Spark　Streaming实现菜品价格
实时计算　155
实训2使用Spark　Streaming实时判别车辆所属地　156
课后习题　156
第5章　基于PySpark的机器
学习库　158
5.1　MLlib 算法　159
5.1.1　机器学习　159
5.1.2　MLlib　159
5.1.3　pyspark.ml 模块　159
5.2　使用pyspark.ml模块的转换器处理
和转换数据　162
5.2.1　数据加载及数据集划分　162
5.2.2　数据降维　164
5.2.3　数据标准化　166
5.2.4　数据类型转换　171
5.3　pyspark.ml模块的评估器和模型评估　175
5.3.1　使用PySpark构建并评估分类模型　175
5.3.2　使用PySpark构建并评估回归模型　182
5.3.3　使用PySpark构建并评估聚类模型　186
5.3.4　使用PySpark构建并评估智能推荐
模型　189
小结　195
实训　195
实训1使用森林模型预测是否批准　用户申请　195
实训2使用回归模型实现房价预测………196
课后习题　197
第6章　案例分析：基于PySpark的网络招聘信息的职业类型划分 ……199
6.1　需求与架构分析　200
6.1.1　业务需求分析与技术选型　200
6.1.2　系统架构分析　200
6.2　数据探索　201
6.2.1　数据说明　202
6.2.2　数据读取　202
6.2.3　重复数据与空值探索　204
6.2.4　异常数据探索　205
6.3　数据预处理　207
6.3.1　数据清洗　207
6.3.2　中文分词与去停用词　208
6.3.3　词特征向量化　210
6.4　模型构建与评估　213
6.4.1　LDA算法简介　214
6.4.2　LDA模型构建与评估　215
6.4.3　构建LDA模型　217
6.5　制作词云图　220
小结　225
第7章　案例分析：基于PySpark的
信用贷款风险分析　226
7.1　需求与架构分析　227
7.1.1　业务需求分析　227
7.1.2　系统架构分析　227
7.2　数据探索　228
7.2.1　数据说明　228
7.2.2　建立数据仓库并导入数据　230
7.2.3　用户信息完善情况与逾期率的关系
探索　233
7.2.4　用户信息修改情况与逾期率的关系
探索　236
7.2.5　用户借款月份与逾期率的关系
探索　240
7.3　数据预处理　243
7.3.1　计算用户信息缺失个数及借款月份
构建新特征　243
7.3.2　用户更新信息重建　245
7.3.3　用户登录信息重建　250
7.3.4　分类数据预处理　255
7.3.5　字符串字段编码处理　259
7.3.6　分类数据重编码　263
7.3.7　缺失值处理　265
7.4　模型构建与评估　267
7.4.1　了解 GBTs 算法　267
7.4.2　构建 GBTs 模型　268
7.4.3　评估 GBTs 模型　271
7.5　部署和提交PySpark应用程序…271
7.5.1　打包PySpark应用程序　271
7.5.2　提交PySpark应用程序　274
小结　275
参考文献　276

合规获取说明

当前暂无已核验电子书资源。若是商业出版物，建议优先通过出版社、书店或官方电子书平台获取。

常见问题

《PySpark大数据分析与应用》适合谁读？

适合希望系统学习技术概念、实践方法、工具使用和行业知识的读者。

《PySpark大数据分析与应用》阅读难度高吗？

建议先看简介、目录、作者和相关书籍，再判断是否适合当前阶段阅读。

《PySpark大数据分析与应用》纸质书值得买吗？

当前暂未接入已核验的纸质书购买链接，建议通过出版社、京东、当当等正版渠道核对版本后购买。

《PySpark大数据分析与应用》哪个版本更适合？

优先选择作者、译者、出版社、出版年份和 ISBN 信息清楚的版本；经典作品可优先选择校注、导读或权威出版社版本。

在哪里可以合法获取《PySpark大数据分析与应用》？

当前没有确认授权的电子书下载资源，也暂未接入已核验购买链接；商业出版物不提供未授权下载，建议通过出版社、京东、当当或官方电子书平台核对获取。

如何继续查找《PySpark大数据分析与应用》相关书籍？

可以进入戴刚作者页查看其他作品，也可以通过分类、标签、排行榜、人工推荐和“读完这本还可以读”继续发现相近主题。