Test and share your knowledge with our community!

done

Get access to over 700 hands-on labs, skill badges, and courses

Dataflow: Qwik Start - テンプレート

Lab 45分 universal_currency_alt クレジット: 1 show_chart 入門

GSP192
概要
設定
タスク 1. Cloud Shell を使用して Cloud BigQuery データセットとテーブルを作成する
タスク 2. Cloud コンソールを使用して Cloud BigQuery データセットとテーブルを作成する
タスク 3. パイプラインを実行する
タスク 4. クエリを送信する
タスク 5. 理解度を確認する
お疲れさまでした

Test and share your knowledge with our community!

done

Get access to over 700 hands-on labs, skill badges, and courses

GSP192

Google Cloud セルフペースラボ

概要

このラボでは、Google の Cloud Dataflow テンプレートの 1 つを使用してストリーミングパイプラインを作成する方法を学習します。具体的には、Cloud Pub/Sub to BigQuery テンプレートを使用して、Pub/Sub トピックから JSON 形式のメッセージを読み取り、BigQuery テーブルに push します。このテンプレートに関するドキュメントは、「Google 提供のテンプレートを使ってみる」でご確認いただけます。

BigQuery でデータセットとテーブルを作成するには、Cloud Shell コマンドラインまたは Cloud コンソールを使用します。いずれかの方法を選択して、ラボの作業を進めてください。両方の方法を試したい場合は、このラボを 2 回行ってください。

設定

[ラボを開始] ボタンをクリックする前に

こちらの手順をお読みください。ラボの時間は記録されており、一時停止することはできません。[ラボを開始] をクリックするとスタートするタイマーは、Google Cloud のリソースを利用できる時間を示しています。

このハンズオンラボでは、シミュレーションやデモ環境ではなく、実際のクラウド環境を使ってご自身でラボのアクティビティを行うことができます。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

標準的なインターネットブラウザ（Chrome を推奨）

注: このラボの実行には、シークレットモードまたはシークレットブラウジングウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生することを防ぎます。

ラボを完了するために十分な時間を確保してください。ラボをいったん開始すると一時停止することはできません。

注: すでに個人の Google Cloud アカウントやプロジェクトをお持ちの場合でも、このラボでは使用しないでください。アカウントへの追加料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

[ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるポップアップでお支払い方法を選択してください。左側の [ラボの詳細] パネルには、以下が表示されます。
- [Google コンソールを開く] ボタン
- 残り時間
- このラボで使用する必要がある一時的な認証情報
- このラボを行うために必要なその他の情報（ある場合）
[Google コンソールを開く] をクリックします。ラボでリソースが起動し、別のタブで [ログイン] ページが表示されます。

ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。
注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。
必要に応じて、[ラボの詳細] パネルから [ユーザー名] をコピーして [ログイン] ダイアログに貼り付けます。[次へ] をクリックします。
[ラボの詳細] パネルから [パスワード] をコピーして [ようこそ] ダイアログに貼り付けます。[次へ] をクリックします。
重要: 認証情報は左側のパネルに表示されたものを使用してください。Google Cloud Skills Boost の認証情報は使用しないでください。注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。
その後次のように進みます。
- 利用規約に同意してください。
- 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
- 無料トライアルには登録しないでください。

その後このタブで Cloud Console が開きます。

注: 左上にある [ナビゲーションメニュー] をクリックすると、Google Cloud のプロダクトやサービスのリストが含まれるメニューが表示されます。ナビゲーションメニューアイコン

Cloud Shell をアクティブにする

Cloud Shell は、開発ツールと一緒に読み込まれる仮想マシンです。5 GB の永続ホームディレクトリが用意されており、Google Cloud で稼働します。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。

Google Cloud コンソールの上部にある「Cloud Shell をアクティブにする」アイコンをクリックします。

接続した時点で認証が完了しており、プロジェクトに各自の PROJECT_ID が設定されます。出力には、このセッションの PROJECT_ID を宣言する次の行が含まれています。

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud は Google Cloud のコマンドラインツールです。このツールは、Cloud Shell にプリインストールされており、タブ補完がサポートされています。

（省略可）次のコマンドを使用すると、有効なアカウント名を一覧表示できます。

gcloud auth list

[承認] をクリックします。
出力は次のようになります。

出力:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

（省略可）次のコマンドを使用すると、プロジェクト ID を一覧表示できます。

gcloud config list project

出力:

[core] project = <project_ID>

出力例:

[core] project = qwiklabs-gcp-44776a13dea667a6

注: Google Cloud における gcloud ドキュメントの全文については、gcloud CLI の概要ガイドをご覧ください。

Dataflow API が再度有効になったことを確認する

必要な API にアクセスできることを確認するには、Dataflow API への接続をリセットします。

Cloud コンソールの上部の検索バーに「Dataflow API」と入力します。検索結果の「Dataflow API」をクリックします。
[管理] をクリックします。
[API を無効にする] をクリックします。

確認を求められたら、[無効にする] をクリックします。

[有効にする] をクリックします。

API が再度有効になると、ページに無効にするオプションが表示されます。

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。

Dataflow API を無効にし、再度有効にする

タスク 1. Cloud Shell を使用して Cloud BigQuery データセットとテーブルを作成する

まず BigQuery のデータセットとテーブルを作成します。

注: このセクションでは bq コマンドラインツールを使用します。Cloud コンソールを使ってこのラボを行う場合は、スキップしてください。

次のコマンドを実行して、taxirides というデータセットを作成します。

bq mk taxirides

出力は次のようになります。

Dataset '' successfully created

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。BigQuery データセットが正常に作成されている場合は、評価スコアが表示されます。

BigQuery データセット（名前: taxirides）を作成する

これでデータセットが作成されました。次のステップでこれを使用して、BigQuery テーブルをインスタンス化します。

以下のコマンドを実行します。

bq mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

出力は次のようになります。

Table 'myprojectid:taxirides.realtime' successfully created

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。BigQuery データセットにテーブルが正常に作成されている場合は、評価スコアが表示されます。

BigQuery データセットにテーブルを作成する

一見すると、bq mk コマンドは少し複雑に見えますが、BigQuery コマンドラインのドキュメントを参照するとその内容を理解できます。たとえば、スキーマについては次のような説明が記載されています。

ローカルの JSON スキーマファイルへのパス、または [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE] 形式の列定義のカンマ区切りリスト。

この例では、後者のカンマ区切りのリストを使用します。

Cloud Storage バケットを作成する

テーブルをインスタンス化できたら、次はバケットを作成します。

プロジェクト ID をバケット名として使用し、グローバルに一意の名前を確保します。

作成するには、次のコマンドを実行します。

export BUCKET_NAME={{{project_0.project_id | "Bucket Name"}}}

gsutil mb gs://$BUCKET_NAME/

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。Cloud Storage バケットが正常に作成されている場合は、評価スコアが表示されます。

Cloud Storage バケットを作成する

バケットを作成したら、「パイプラインを実行する」セクションまで下にスクロールします。

タスク 2. Cloud コンソールを使用して Cloud BigQuery データセットとテーブルを作成する

注: コマンドラインでの設定が完了している場合は、このセクションの手順を実行しないでください。

左側のメニューの [ビッグデータ] セクションで [BigQuery] をクリックします。
次に [完了] をクリックします。
[エクスプローラ] でプロジェクト名の横にあるその他アイコンをクリックし、[データセットを作成] をクリックします。
データセット ID として「taxirides」を入力します。
[データのロケーション] で、[us（米国の複数のリージョン）] を選択します。
その他のデフォルト設定はすべてそのままにし、[データセットを作成] をクリックします。

完了したタスクをテストする

BigQuery データセット（名前: taxirides）を作成する

コンソールの左側にあるプロジェクト ID の下に taxirides データセットが表示されます。
taxirides データセットの横にあるその他アイコンをクリックし、[開く] を選択します。
コンソールの右側にある [テーブルを作成] を選択します。
[送信先] > [テーブル] に「realtime」と入力します。
[スキーマ] で、[テキストとして編集] スライダーを切り替えて次のように入力します。

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

コンソールは次のようになります。

[テーブルを作成] ページ

次に、[テーブルを作成] をクリックします。

完了したタスクをテストする

BigQuery データセットにテーブルを作成する

Cloud Storage バケットを作成する

Cloud コンソールに戻り、[Cloud Storage] > [バケット] > [作成] に移動します。
プロジェクト ID をバケット名として使用し、グローバルに一意の名前を確保します。
その他のデフォルト設定はそのままにして、[作成] をクリックします。

完了したタスクをテストする

Cloud Storage バケットを作成する

タスク 3. パイプラインを実行する

Dataflow テンプレートをデプロイします。

gcloud dataflow jobs run iotflow \ --gcs-location gs://dataflow-templates-{{{project_0.default_region | "Region"}}}/latest/PubSub_to_BigQuery \ --region {{{project_0.default_region | "Region"}}} \ --worker-machine-type e2-medium \ --staging-location gs://{{{project_0.project_id | "Bucket Name"}}}/temp \ --parameters inputTopic=projects/pubsub-public-data/topics/taxirides-realtime,outputTableSpec={{{project_0.project_id | "Table Name"}}}:taxirides.realtime

Google Cloud コンソールのナビゲーションメニューで [Dataflow] > [ジョブ] をクリックすると Dataflow ジョブが表示されます。

詳しくは、ドキュメントをご覧ください。

注: アクティビティ追跡には 1 分ほどかかる場合があります。

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。Dataflow パイプラインが正常に実行されている場合は、評価スコアが表示されます。

パイプラインを実行する

リソースがビルドされ、使用できる状態になります。

それでは、ナビゲーションメニューにある [BigQuery] をクリックして、BigQuery に書き込まれたデータを見てみましょう。

BigQuery UI が開くと、プロジェクト名の下に taxirides データセット、その下に realtime テーブルが表示されます。

注: BigQuery テーブルにデータが表示されるまでに数分かかる場合があります。

タスク 4. クエリを送信する

クエリは、標準 SQL を使用して送信できます。

BigQuery エディタに以下を追加し、プロジェクト内のデータにクエリを実行します。

SELECT * FROM `{{{project_0.project_id | "Bucket Name"}}}.taxirides.realtime` LIMIT 1000

[実行] をクリックします。

問題やエラーが発生した場合は、クエリを再実行してください（パイプラインの起動には数分かかります）。

クエリが正常に実行されると、次のように [クエリ結果] パネルに出力が表示されます。

[クエリ結果] ページ

これで Pub/Sub トピックから 1,000 件のタクシー乗車データが pull され、BigQuery テーブルに push されました。実際に確認したように、テンプレートは Dataflow ジョブを実行するための実用的で使いやすい方法です。Dataflow ドキュメントの「Google 提供のテンプレートを使ってみる」で、他の Google テンプレートについてもぜひご確認ください。

タスク 5. 理解度を確認する

今回のラボで学習した内容の理解を深めていただくため、以下の選択式問題を用意しました。正解を目指して頑張ってください。

お疲れさまでした

クエストを完了する

このセルフペースラボは、「Baseline: Data, ML, AI」クエストの一部です。クエストとは学習プログラムを構成する一連のラボのことで、完了すると成果が認められて上のようなバッジが贈られます。バッジは公開して、オンラインレジュメやソーシャルメディアアカウントにリンクできます。このラボの修了後、こちらのクエストまたはこのラボが含まれるクエストに登録すれば、すぐにクレジットを受け取ることができます。受講可能なすべてのクエストについては、Google Cloud Skills Boost カタログをご覧ください。

次のステップと詳細情報

このラボは Qwik Start と呼ばれるラボシリーズの一部です。これらのラボでは、Google Cloud で利用できる多くの機能を体験できます。Google Cloud Skills Boost カタログで「Qwik Start」を検索し、興味のあるラボを探してみてください。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベストプラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2023 年 11 月 10 日

ラボの最終テスト日: 2023 年 11 月 10 日