检查点
Create a Cloud Storage bucket
/ 50
Run an Example Pipeline Remotely
/ 50
Dataflow:Qwik Start - Python
GSP207
概览
在本实验中,您将设置自己的 Python 开发环境,获取 Python 版 Cloud Dataflow SDK,并使用 Cloud 控制台运行示例流水线。
设置和要求
点击“开始实验”按钮前的注意事项
请阅读以下说明。实验是计时的,并且您无法暂停实验。计时器在您点击开始实验后即开始计时,显示 Google Cloud 资源可供您使用多长时间。
此实操实验可让您在真实的云环境中开展实验活动,免受模拟或演示环境的局限。我们会为您提供新的临时凭据,让您可以在实验规定的时间内用来登录和访问 Google Cloud。
为完成此实验,您需要:
- 能够使用标准的互联网浏览器(建议使用 Chrome 浏览器)。
- 完成实验的时间 - 请注意,实验开始后无法暂停。
如何开始实验并登录 Google Cloud 控制台
-
点击开始实验按钮。如果该实验需要付费,系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板,其中包含以下各项:
- 打开 Google 控制台按钮
- 剩余时间
- 进行该实验时必须使用的临时凭据
- 帮助您逐步完成本实验所需的其他信息(如果需要)
-
点击打开 Google 控制台。 该实验会启动资源并打开另一个标签页,显示登录页面。
提示:请将这些标签页安排在不同的窗口中,并将它们并排显示。
注意:如果您看见选择帐号对话框,请点击使用其他帐号。 -
如有必要,请从实验详细信息面板复制用户名,然后将其粘贴到登录对话框中。点击下一步。
-
请从实验详细信息面板复制密码,然后将其粘贴到欢迎对话框中。点击下一步。
重要提示:您必须使用左侧面板中的凭据。请勿使用您的 Google Cloud Skills Boost 凭据。 注意:在本次实验中使用您自己的 Google Cloud 帐号可能会产生额外费用。 -
继续在后续页面中点击以完成相应操作:
- 接受条款及条件。
- 由于该帐号为临时帐号,请勿添加帐号恢复选项或双重验证。
- 请勿注册免费试用。
片刻之后,系统会在此标签页中打开 Cloud 控制台。
激活 Cloud Shell
Cloud Shell 是一种装有开发者工具的虚拟机。它提供了一个永久性的 5GB 主目录,并且在 Google Cloud 上运行。Cloud Shell 提供可用于访问您的 Google Cloud 资源的命令行工具。
- 点击 Google Cloud 控制台顶部的激活 Cloud Shell 。
如果您连接成功,即表示您已通过身份验证,且当前项目会被设为您的 PROJECT_ID 环境变量所指的项目。输出内容中有一行说明了此会话的 PROJECT_ID:
gcloud
是 Google Cloud 的命令行工具。它已预先安装在 Cloud Shell 上,且支持 Tab 自动补全功能。
- (可选)您可以通过此命令列出活跃账号名称:
-
点击授权。
-
现在,输出的内容应如下所示:
输出:
- (可选)您可以通过此命令列出项目 ID:
输出:
输出示例:
gcloud
, in Google Cloud, refer to the gcloud CLI overview guide.
设置区域
- 在 Cloud Shell 中,运行以下命令为此实验设置项目区域:
确保 Dataflow API 已成功启用
为了确保能访问这个必要的 API,请重新启动与 Dataflow API 的连接。
-
在 Cloud 控制台顶部的搜索栏中输入“Dataflow API”。点击 Dataflow API 的搜索结果。
-
点击管理。
-
点击停用 API。
如果系统要求您确认,请点击停用。
- 点击启用。
该 API 再次启用后,页面将显示停用选项。
任务 1. 创建 Cloud Storage 存储桶
- 在导航菜单 () 中,依次点击 Cloud Storage > 存储桶。
- 点击创建存储桶。
- 在创建存储桶对话框中,指定以下属性:
-
名称:为了确保存储桶名称唯一,请使用以下名称:
-bucket。请勿在存储桶名称中包含敏感信息,因为存储桶命名空间会在全球公开显示。 - 位置类型:多区域
-
位置:
us
- 存储桶数据的存储位置。
-
点击创建。
-
如果出现“系统将禁止公开访问”的提示,点击确认。
验证您已完成的任务
点击检查我的进度可验证您已完成的任务。如果您成功完成了任务,系统会给出评分。
任务 2. 安装 pip 和 Cloud Dataflow SDK
- 最新的 Python 版 Cloud Dataflow SDK 要求 Python 版本不低于 3.7。
为确保使用正确的版本运行进程,请运行 Python3.9
Docker 映像:
此命令会提取包含 Python 3.9 最新稳定版本的 Docker 容器,然后打开一个命令 shell,供您在自己的容器内运行以下命令。
- 容器运行之后,在虚拟环境中运行以下命令,安装最新版本的 Apache Beam for Python。
系统会返回一些关于依赖项的警告。在本实验中,您可以忽略这些警告。
- 运行以下命令,以在本地运行
wordcount.py
示例:
您可能会看到类似如下内容的消息:
您可以忽略此消息。
- 您现在可以列出本地云环境中的文件,以获取
OUTPUT_FILE
的名称:
- 复制
OUTPUT_FILE
的名称,然后对该文件执行cat
命令:
命令结果会显示文件中的每个字词,以及每个字词出现的次数。
任务 3. 远程运行示例流水线
- 将 BUCKET 环境变量设为您之前创建的存储桶:
- 现在您可以远程运行
wordcount.py
示例了:
等待命令输出中显示以下消息:
然后继续完成实验。
任务 4. 检查您的作业是否成功运行
- 打开导航菜单,点击所列服务中的 Dataflow:
您会发现,您的 wordcount 作业开始的状态是正在运行。
- 点击作业名称查看该进程。所有复选框都已勾选后,您可以在 Cloud Shell 中查看日志。
当状态变为成功时,表示进程完成。
验证您已完成的任务
点击检查我的进度可验证您已完成的任务。如果您成功完成了任务,系统会给出评分。
-
在 Cloud 控制台中依次点击导航菜单 > Cloud Storage。
-
点击您的存储桶的名称。在该存储桶中,您应该会看到 results 和 staging 目录。
-
点击 results 文件夹,您应该会看到您的作业所创建的输出文件:
-
点击某一文件,查看其中包含的字数。
任务 5. 检验您的掌握情况
下面的选择题可加强您对此实验所涉概念的理解。请尽您所能回答。
恭喜!
完成挑战任务
本自学实验已纳入基准:数据、机器学习和 AI 挑战任务中。一项挑战任务就是一系列相关的实验,学习时按部就班地完成这些实验即可。完成挑战任务即可赢得一枚徽章,以表彰您取得的成就。您可以公开展示徽章,还可以在您的在线简历或社交媒体账号中加入指向徽章的链接。欢迎注册参加此挑战任务或任何包含此实验的挑战任务,完成后就能立即获得相应的积分。请参阅 Google Cloud Skills Boost 目录,查看提供的所有挑战任务。
后续步骤/了解详情
本实验是 Qwik Starts 系列实验的其中一项。通过这些实验,您可以一窥 Google Cloud 的诸多功能。请在 Google Cloud Skills Boost 目录中搜索“Qwik Starts”,找到您要参与的下一项实验!
本实验根据以下书籍的内容打造:Data Science on the Google Cloud Platform(Google Cloud Platform 的数据科学,出版商:O'Reilly Media, Inc)。
Google Cloud 培训和认证
…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践,可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训,并有点播、直播和虚拟三种方式选择,让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。
上次更新手册的时间:2023 年 5 月 4 日
上次测试实验的时间:2023 年 5 月 4 日
版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。