GSP104

概览

Cloud Dataproc 是一项快捷易用的全托管式云服务，让您能以更简单、更经济实惠的方式来运行 Apache Spark 和 Apache Hadoop 集群。有了这项服务，过去需要数小时乃至数天才能完成的操作，现在几秒钟或几分钟就可以完成。您可以快速创建 Cloud Dataproc 集群并随时调整其规模，而不必担心不断增长的数据流水线负载超过集群处理能力。

本实验向您介绍如何使用 Google Cloud 的 gcloud 创建 Google Cloud Dataproc 集群，在该集群中运行简单的 Apache Spark 作业，以及修改该集群中的工作器数量。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。我们会为您提供新的临时凭据，让您可以在实验规定的时间内用来登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：如果您已有自己的个人 Google Cloud 账号或项目，请不要在此实验中使用，以避免您的账号产生额外的费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板，其中包含以下各项：

   • 打开 Google 控制台按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google 控制台。 该实验会启动资源并打开另一个标签页，显示登录页面。

   提示：请将这些标签页安排在不同的窗口中，并将它们并排显示。

   注意：如果您看见选择帐号对话框，请点击使用其他帐号。

3. 如有必要，请从实验详细信息面板复制用户名，然后将其粘贴到登录对话框中。点击下一步。

4. 请从实验详细信息面板复制密码，然后将其粘贴到欢迎对话框中。点击下一步。

   重要提示：您必须使用左侧面板中的凭据。请勿使用您的 Google Cloud Skills Boost 凭据。 注意：在本次实验中使用您自己的 Google Cloud 帐号可能会产生额外费用。

5. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于该帐号为临时帐号，请勿添加帐号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Cloud 控制台。

注意：您可以点击左上角的导航菜单来查看列有 Google Cloud 产品和服务的菜单。

激活 Cloud Shell

Cloud Shell 是一种装有开发者工具的虚拟机。它提供了一个永久性的 5GB 主目录，并且在 Google Cloud 上运行。Cloud Shell 提供可用于访问您的 Google Cloud 资源的命令行工具。

1. 点击 Google Cloud 控制台顶部的激活 Cloud Shell 。

如果您连接成功，即表示您已通过身份验证，且当前项目会被设为您的 PROJECT_ID 环境变量所指的项目。输出内容中有一行说明了此会话的 PROJECT_ID：

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud 是 Google Cloud 的命令行工具。它已预先安装在 Cloud Shell 上，且支持 Tab 自动补全功能。

2. （可选）您可以通过此命令列出活跃账号名称：

gcloud auth list

3. 点击授权。

4. 现在，输出的内容应如下所示：

输出：

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. （可选）您可以通过此命令列出项目 ID：

gcloud config list project

输出：

[core] project = <project_ID>

输出示例：

[core] project = qwiklabs-gcp-44776a13dea667a6 Note: For full documentation of gcloud, in Google Cloud, refer to the gcloud CLI overview guide.

任务 1. 创建集群

1. 在 Cloud Shell 中，运行以下命令设置区域：

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Dataproc 会创建在同一区域中的集群之间共享的暂存存储桶和临时存储桶。由于我们没有指定 Dataproc 使用的账号，因此它将使用 Compute Engine 默认服务账号，该账号默认情况下没有存储桶权限。我们来添加这些权限。

• 首先，运行以下命令来获取 PROJECT_ID 和 PROJECT_NUMBER：

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• 现在运行以下命令，为 Compute Engine 默认服务账号授予 Storage Admin 角色：

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin

3. 运行以下命令，使用 e2-standard-4 虚拟机和默认 Cloud Dataproc 设置创建一个名为 example-cluster 的集群：

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

4. 如果系统要求确认该集群的可用区，请输入 Y。

您的集群将在几分钟内创建完毕。

Waiting for cluster creation operation...done. Created [... example-cluster]

当您看到“Created”消息后，就可以继续操作了。

验证您已完成的任务

点击检查我的进度可验证您已完成的任务。如果您已成功创建 Dataproc 集群，系统就会显示一个评估分数。

创建 Dataproc 集群

任务 2. 提交作业

• 运行以下命令，提交一个用于计算 pi 粗略值的 Spark 示例作业：

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

该命令指定了：

• 您希望在 example-cluster 集群上运行 spark 作业
• 包含该作业的 pi 计算应用主方法的类
• 包含该作业代码的 jar 文件的位置
• 要传递给该作业的参数，本例中的参数是任务数量，即 1000

注意：传递给该作业的参数前面必须带一个双短划线 (--)。详情请参阅 gcloud 文档。

该作业的运行过程和最终输出会显示在终端窗口中：

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

验证您已完成的任务

点击检查我的进度可验证您已完成的任务。如果您成功提交了作业，系统将会显示一个评估分数。

提交作业

任务 3. 更新集群

1. 要将集群中的工作器数量改为 4 个，请运行以下命令：

gcloud dataproc clusters update example-cluster --num-workers 4

该集群更新后的详细信息将显示在此命令的输出结果中：

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. 您也可以使用此命令来减少工作器节点的数量：

gcloud dataproc clusters update example-cluster --num-workers 2

现在，您已经学会了如何使用 Google Cloud 的 gcloud 命令行来创建 Dataproc 集群以及调整工作器数量。

任务 4. 检验您的掌握情况

我们在下方准备了一些单选题，以加强您对本实验所涉概念的理解。请尽您所能回答。

恭喜！

您通过创建 Google Cloud Dataproc 集群探索了如何使用 Google Cloud 的 gcloud。

完成挑战任务

本自学实验已纳入基准：数据、机器学习和 AI 挑战任务中。一项挑战任务就是一系列相关的实验，学习时按部就班地完成这些实验即可。完成挑战任务即可赢得一枚徽章，以表彰您取得的成就。您可以公开展示徽章，还可以在您的在线简历或社交媒体账号中加入指向徽章的链接。欢迎注册参加此挑战任务，完成后就能立即获得相应的积分。请参阅 Google Cloud Skills Boost 目录，查看所有可参加的挑战任务。

后续步骤/了解详情

本实验是 Qwik Starts 系列实验的其中一项。通过这些实验，您可以一窥 Google Cloud 的诸多功能。请在实验目录中搜索“Qwik Starts”，找到您要参与的下一项实验！

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2023 年 10 月 23 日

上次测试实验的时间：2023 年 10 月 23 日

版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。