Optimiser ses coûts dans Google Big Query

Google Big Query est le "data warehouse" de Google Cloud. Chez UnNest, nous l'utilisons tous les jours pour des dizaines de clients.

Les coûts sont en général très raisonnables (parfois moins de 10€ / mois !). Mais pour des organisations conséquentes, avec beaucoup de donnée et beaucoup d'utilisateurs, il n'est pas rare de voir les coûts exploser.

Il arrive aussi que les data analystes fassent tout simplement des erreurs, qui génèrent des surcoûts très élevés (plusieurs milliers d'euros, voire dizaines de milliers d'euros).

Nous avons identifié un certain nombre de bonnes pratiques, que nous allons parcourir ensemble lors de ce wébinaire sous la forme d'une checklist et d'exemples concrets.

Programme du webinaire

Introduction (5 minutes) : rappel de la problématique

Limiter les erreurs (10 minutes)

• Setup des limites par produit / service
• Setup des alertes
• Configurer un compte en quelques clics avec Terraform

Monitorer ses coûts finement (10 minutes)

• Mettre en place un tableau de bord Looker Studio de suivi des coûts
• Comment aller dans le détail (par service, par compte, par utilisateur...) pour identifier les requêtes couteuses

Optimiser (15 minutes)

• Bonnes pratiques d'optimisation des requêtes
• Bonnes pratiques d'optimisations de tables (Partitionning, sharding, etc...)
• Vues vs Tables vs Materialized views : comment choisir ?

Maîtriser les prix (10 minutes)

• Passer par un revendeur ou en direct ?
• Quel modèle de pricing choisir ?

Conclusions et questions / réponses (10 minutes)