GSP192

Présentation

Dans cet atelier, vous allez apprendre à créer un pipeline de flux de données à l'aide d'un des modèles Cloud Dataflow de Google. Plus spécifiquement, vous allez utiliser le modèle Cloud Pub/Sub vers BigQuery, qui permet de transférer dans une table BigQuery les messages au format JSON extraits d'un sujet Pub/Sub. La documentation concernant ce modèle est disponible dans le guide Premiers pas avec les modèles fournis par Google.

Pour créer l'ensemble de données et la table BigQuery, vous pouvez utiliser la ligne de commande Cloud Shell ou la console Cloud. Choisissez une seule méthode et continuez ainsi jusqu'à la fin de l'atelier. Si vous souhaitez essayer les deux méthodes, réalisez cet atelier une seconde fois.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

1. Cliquez sur Activer Cloud Shell  en haut de la console Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Le résultat contient une ligne qui déclare YOUR_PROJECT_ID (VOTRE_ID_PROJET) pour cette session :

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

2. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

3. Cliquez sur Autoriser.

4. Vous devez à présent obtenir le résultat suivant :

Résultat :

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :

gcloud config list project

Résultat :

[core] project = <ID_Projet>

Exemple de résultat :

[core] project = qwiklabs-gcp-44776a13dea667a6 Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Vérifier que l'API Dataflow est réactivée

Pour vous assurer que vous avez bien accès à l'API requise, redémarrez la connexion à l'API Dataflow.

1. Dans la console Cloud, en haut, saisissez "API Dataflow" dans la barre de recherche. Cliquez sur API Dataflow dans les résultats.

2. Cliquez sur Gérer.

3. Cliquez sur Désactiver l'API.

Si vous êtes invité à confirmer votre choix, cliquez sur Désactiver.

4. Cliquez sur Activer.

Une fois l'API réactivée, l'option permettant de la désactiver s'affiche sur la page.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée.

Désactiver et réactiver l'API Dataflow

Tâche 1 : Créer un ensemble de données et une table Cloud BigQuery à l'aide de Cloud Shell

Commencez par créer la table et l'ensemble de données BigQuery.

Remarque : Cette section utilise l'outil de ligne de commande bq. Ignorez-la si vous préférez réaliser cet atelier avec la console.

1. Exécutez la commande suivante pour créer un ensemble de données nommé taxirides :

bq mk taxirides

Le résultat doit être semblable à ceci :

Dataset '' successfully created

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si l'ensemble de données BigQuery a été correctement créé, vous recevez une note d'évaluation.

Créer un ensemble de données BigQuery (nom : taxirides)

Maintenant que vous avez créé votre ensemble de données, servez-vous-en pour instancier une table BigQuery dans l'étape suivante.

2. Pour ce faire, exécutez la commande suivante :

bq mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

Le résultat doit être semblable à ceci :

Table 'myprojectid:taxirides.realtime' successfully created

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si la table a été correctement créée dans l'ensemble de données BigQuery, vous recevez une note d'évaluation.

Créer une table dans l'ensemble de données BigQuery

Au premier abord, la commande bq mk semble un peu compliquée, mais pour bien comprendre son fonctionnement, nous pouvons consulter la documentation sur la ligne de commande BigQuery. Elle nous éclaire par exemple sur ce qu'est un schéma :

• Il s'agit soit du chemin d'accès à un fichier de schéma JSON local, soit d'une liste de définitions de colonnes séparées par une virgule au format [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE].

Dans le cas présent, il s'agit d'une liste de définitions séparées par une virgule.

Créer un bucket Cloud Storage

Maintenant que vous avez instancié la table, vous allez créer un bucket.

Utilisez l'ID de projet en tant que nom du bucket pour vous assurer qu'il s'agit d'un nom unique :

• Pour ce faire, exécutez les commandes suivantes :

export BUCKET_NAME={{{project_0.project_id | "Bucket Name"}}} gsutil mb gs://$BUCKET_NAME/

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si le bucket Cloud Storage a correctement été créé, vous recevez une note d'évaluation.

Créer un bucket Cloud Storage

Une fois votre bucket créé, accédez à la section Exécuter le pipeline qui se trouve plus bas.

Tâche 2 : Créer un ensemble de données et une table Cloud BigQuery dans la console Cloud

Remarque : Vous pouvez ignorer cette section si vous avez effectué la configuration via la ligne de commande.

1. Dans la section "Big Data" du menu de gauche, cliquez sur BigQuery.

2. Cliquez ensuite sur OK.

3. Dans la section Explorateur, cliquez sur les trois points à côté du nom de votre projet, puis sur Créer un ensemble de données.

4. Saisissez l'ID taxirides pour votre ensemble de données :

5. Pour "Emplacement des données", sélectionnez us (plusieurs régions aux États-Unis).

6. Conservez les autres paramètres par défaut et cliquez sur CRÉER L'ENSEMBLE DE DONNÉES.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si l'ensemble de données BigQuery a été correctement créé, vous recevez une note d'évaluation.

Créer un ensemble de données BigQuery (nom : taxirides)

7. L'ensemble de données taxirides devrait maintenant s'afficher sous l'ID de votre projet dans la partie gauche de la console.

8. Cliquez sur les trois points à côté de taxirides, puis sélectionnez Ouvrir.

9. Ensuite, sélectionnez CRÉER UNE TABLE dans la partie droite de la console.

10. Dans la section Destination > Nom de la table, saisissez realtime.

11. Sous "Schéma", cliquez sur le bouton Modifier sous forme de texte, puis saisissez la commande suivante :

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

Votre console doit se présenter comme suit :

12. Cliquez maintenant sur Créer une table.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si la table a été correctement créée dans l'ensemble de données BigQuery, vous recevez une note d'évaluation.

Créer une table dans l'ensemble de données BigQuery

Créer un bucket Cloud Storage

1. Revenez dans la console Cloud, puis accédez à Cloud Storage > Buckets > Créer un bucket.

2. Utilisez l'ID de projet en tant que nom du bucket pour vous assurer qu'il s'agit d'un nom unique :

3. Ne modifiez aucun autre paramètre par défaut. Enfin, cliquez sur Créer.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si le bucket Cloud Storage a correctement été créé, vous recevez une note d'évaluation.

Créer un bucket Cloud Storage

Tâche 3 : Exécuter le pipeline

Déployez le modèle Dataflow :

gcloud dataflow jobs run iotflow \ --gcs-location gs://dataflow-templates-{{{project_0.default_region | "Region"}}}/latest/PubSub_to_BigQuery \ --region {{{project_0.default_region | "Region"}}} \ --worker-machine-type e2-medium \ --staging-location gs://{{{project_0.project_id | "Bucket Name"}}}/temp \ --parameters inputTopic=projects/pubsub-public-data/topics/taxirides-realtime,outputTableSpec={{{project_0.project_id | "Table Name"}}}:taxirides.realtime

Dans le menu de navigation de la console Google Cloud, cliquez sur Dataflow > Jobs. Vous devriez voir votre job Dataflow.

Pour plus d'informations, consultez la documentation.

Remarque : Vous devrez peut-être attendre une minute pour que le suivi des activités se mette à jour.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si le pipeline Dataflow a correctement été exécuté, vous recevez une note d'évaluation.

Exécuter le pipeline

Vos ressources sont créées et prêtes à être utilisées.

Cliquez maintenant sur BigQuery dans le menu de navigation pour examiner les données qui y ont été écrites.

• À l'ouverture de l'UI BigQuery, l'ensemble de données taxirides apparaît sous le nom de votre projet, suivi de la table realtime.

Remarque : Vous devrez peut-être attendre quelques minutes avant que les données soient intégrées à la table BigQuery.

Tâche 4 : Envoyer une requête

Vous pouvez envoyer des requêtes à l'aide du langage SQL standard.

1. Dans l'éditeur BigQuery, ajoutez les éléments suivants pour interroger les données de votre projet :

SELECT * FROM `{{{project_0.project_id | "Bucket Name"}}}.taxirides.realtime` LIMIT 1000

2. Cliquez à présent sur EXÉCUTER.

Si vous rencontrez des problèmes ou que des messages d'erreur s'affichent, exécutez à nouveau la requête (le démarrage du pipeline prend une minute).

3. Le résultat s'affiche ensuite dans le panneau Résultats de la requête, comme suit :

Bravo ! Vous venez de transférer dans une table BigQuery 1 000 courses de taxi extraites d'un sujet Pub/Sub. Comme vous avez pu le constater, les modèles constituent un moyen simple et pratique d'exécuter des jobs Dataflow. D'autres modèles Google sont disponibles dans le guide Premiers pas avec les modèles fournis par Google de la documentation Dataflow.

Tâche 5 : Tester vos connaissances

Voici quelques questions à choix multiples qui vous permettront de mieux maîtriser les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.

Félicitations !

Terminer votre quête

Cet atelier d'auto-formation fait partie de la quête Baseline: Data, ML, AI. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez cette quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête ou à une autre quête contenant cet atelier pour obtenir immédiatement les crédits associés. Découvrez toutes les quêtes disponibles dans le catalogue Google Cloud Skills Boost.

Étapes suivantes et informations supplémentaires

Cet atelier fait partie d'une série appelée "Qwik Starts". Les ateliers de cette série sont conçus pour vous présenter brièvement les nombreuses fonctionnalités proposées par Google Cloud. Pour suivre un autre atelier, recherchez "Qwik Starts" dans le catalogue Google Cloud Skills Boost.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 10 novembre 2023

Dernier test de l'atelier : 10 novembre 2023

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.