欢迎学习《50小时掌握Big Data|PySpark|AWS|Scala和Python数据采集和数据挖掘视频教程》课程，您将学到：
- 本课程在当今时代的介绍和重要性
- 从一开始就接触所有基本概念
- 用Python、Scrapy、Scala、PySpark和MongoDB中的示例清晰地展开概念
- 所有的理论解释和实际的实施
- 面向初学者的数据抓取和数据挖掘
- 使用Scala和Spark掌握大数据
- 通过PySpark和AWS掌握大数据
- 为初学者掌握MongoDB
- 构建自己的AI应用程序
MP4 | Video: h264, 1280×720 | Audio: AAC, 44.1 KHz, 2 Ch
Genre: eLearning | Language: English + srt | Duration: 617 lectures (54h 37m) | Size: 20 GB
要求
- 基本了解HTML标签。Python、SQL和Node JS
- 不需要事先了解数据刮取和Scala。你从基础开始，然后逐步建立你的学科知识。
- 对编程有基本的了解。
- 愿意学习和实践。
- 因为我们是通过实践来教学的，所以实践是必须做的事情
课程说明
课程内容的设计方式易于遵循和理解、富有表现力、详尽无遗、实用并带有实时编码、充满测验、丰富了该领域的最先进和最新知识。
一、Scala
Scala 确实不是最受欢迎的编码语言之一，但不要让这种轻微的不适感困扰您。Scala 无疑是数据科学家和数据工程师最需要的技能之一。而这样做的原因也不远了：拥有 Scala 技能的专业人员的供应距离赶上需求还有很长的路要走。
本课程中经过深思熟虑的测验和小项目将涵盖所有重要方面，这将使您的 Scala 学习之旅变得更加轻松。本课程包括 Hadoop 和 Spark 的概述以及 Scala Spark 的动手项目。在整个课程中，每一个理论解释都伴随着实际实施。
本课程旨在反映您将在工作场所立即开始使用的最受欢迎的 Scala 技能。本课程中包含的 6 个迷你项目和一个 Scala Spark 项目是本课程的重要组成部分。这些项目为您提供了一个亲身体验的机会，让您通过反复试验来进行自己的实验。你有机会从你犯的错误中吸取教训。重要的是，很容易理解理论与实践之间可能存在的潜在差距。
Scala 是一种功能强大的语言，能够利用 Python 中的大部分功能，例如设计机器学习模型。您可以将这种高级语言用于各种应用程序，从 Web 应用程序到机器学习。
二、PySpark 和 AWS
大数据分析行业最热门的流行语是 Python 和 Apache Spark。PySpark 支持 Python 和 Apache Spark 的协作。在本课程中，您将从基础开始，然后进入数据分析的高级水平。从清理数据到构建功能和实施机器学习 (ML) 模型，您将学习如何使用 PySpark 执行端到端工作流。
在整个课程中，您将使用 PySpark 进行数据分析。您将探索 Spark RDD、数据帧和一些 Spark SQL 查询。此外，您还将探索可以使用 Spark RDD 和数据帧对数据执行的转换和操作。您还将探索 Spark 和 Hadoop 的生态系统及其底层架构。您将使用 Databricks 环境运行 Spark 脚本并探索它。
最后，您将体验 Spark 和 AWS 云。您将看到我们如何利用 AWS 存储、数据库、计算，以及 Spark 如何与不同的 AWS 服务通信并获取其所需的数据。
由于本课程是所有基础知识的详细汇编，因此它将激励您取得快速进步并体验比您学到的更多的东西。在每个概念结束时，您将被分配家庭作业/任务/活动/测验以及解决方案。这是基于您之前所学的概念和方法来评估和促进您的学习。这些活动中的大多数将基于编码，因为目的是让您启动并运行实现。
三、从入门到进阶掌握Python数据抓取和数据挖掘
数据抓取是一种从互联网上提取数据的技术。数据抓取用于获取不同网站和 API 上可用的数据。这还涉及自动化 Web 流程以从不同的网页中提取数据。
本课程专为初学者设计。我们会花足够的时间为新手打下坚实的基础。然后，我们将通过许多实际实现逐步深入，其中每一步都会被详细解释。
由于本课程基本上是所有基础知识的汇编，因此您将以稳定的速度前进。你会体验到比你学到的更多的东西。在每个概念结束时，我们将为您分配家庭作业/作业/活动/测验以及解决方案。他们将根据之前的数据抓取和数据挖掘概念和方法评估/（进一步构建）您的学习。大多数这些活动旨在帮助您启动并运行实现。
本课程包含的 4 个动手项目是本课程最重要的部分。这些项目允许您通过反复试验进行自己的试验。你将从你的错误中吸取教训。重要的是，您将了解理论与实践之间可能存在的潜在差距。
数据抓取无疑是一项有益的职业，它可以让您解决一些最有趣的现实世界问题。您也将获得丰厚的薪酬待遇。凭借对数据抓取的核心理解，您可以微调您的工作技能并确保新兴的职业发展。
四、MongoDB
在本课程中，我们将介绍 MongoDB 的基础知识。我们将使用 MongoDB 来加深对 NoSQL 数据库的理解。我们将探索 MongoDB 中的基本创建、读取、更新和删除操作。我们将详细探讨 MongoDB 查询运算符和项目运算符。接下来我们将了解 MongoDB 更新操作符。最后，我们将使用 Node 和 Python 探索 MongoDB。我们将以两个项目结束本课程，其中包括 MongoDB 和 Djagno，其中我们将使用 Django 和 MongoDB 开发基于 CRUD 的应用程序，然后我们将使用 PySpark 实现 ETL 管道以将数据转储到 MongoDB 中。
本课程专为初学者设计。我们将花足够的时间为新手打下坚实的基础，他们将通过许多实际实现逐步深入，其中每一步都会被详细解释。
由于本课程汇集了所有基础知识，因此它将鼓励您继续前进并体验比您所学更多的东西。在每个概念结束时，我们将为您分配家庭作业/任务/活动/测验以及将根据先前的概念和方法评估/（进一步构建）您的学习的解决方案。其中一些活动将基于编码，以帮助您启动和运行实现。
随着数据的增加，需要对其进行管理，不仅要对其进行管理，还要从中获取有用的数据和见解，用于业务分析和正确的决策制定，为此，公司正在积极寻找大数据工程师。大数据的主要问题是它非常庞大，以至于无法使用常规的数据分析技术对其进行分析。同样由于不断增加的数据源，如物联网、SQL 数据库、NoSQL 数据库、社交媒体平台、销售点和流数据，甚至很难通过传统方法管理所有这些数据并对其进行分析，正如我刚才提到的，远不止于此。因此，我们需要新的技术和平台来管理这些数据，还需要对其进行分析，而 MongoDB 支持所有这些。我们’ 将理解和学习使用 MongoDB，简而言之，它是一个 NoSQL 数据库。所有这些技能都非常需要..
本课程适用于：
● 绝对初学者。
● 想要制定智能解决方案的人。
● 想用真实数据学习的人。
● 喜欢学习理论然后付诸实践的人。
● 数据科学家、机器学习专家和托运人。
