Dans cet épisode, on revient sur l’évolution de la data-ingénierie à travers deux outils : DBT et SQLMesh.
Comment ces outils ont émergé avec la montée en puissance du SQL dans les architectures modernes ?
Comment ils répondent aux enjeux de modélisation, d’industrialisation et de gouvernance de la donnée ?
L’épisode est aussi l’occasion d’aborder l’évolution des métiers de la data, notamment l’émergence du rôle d’analytic engineer, à la croisée des chemins entre data engineering et data analytics.
- La révolution du SQL modulaire
→ Retour sur l’historique du SQL dans l’analytique moderne, l’explosion du SQL dans les moteurs cloud et les limites des requêtes monolithiques.
- DBT
→ Origine de DBT, philosophie “analyst-friendly”, séparation entre DBT Core et DBT Cloud, gestion du versioning, testing, documentation, templating avec Jinja.
- Le rôle d’Analytic Engineer
→ Mutation des équipes BI vers plus d’autonomie technique, convergence entre modélisation métier et industrialisation.
- Pourquoi SQLMesh ?
→ Introduction à SQLMesh comme alternative à DBT, positionnement technique, différences d’usage, réflexion sur les cas d’adoption.
▶️ Noubliez pas la version Youtube de ce podcast
Meetup !
Pour venir à Devoxx Paris c’est ici que ça se passe : Tickets Devoxx Fr
Animateurs
- Vincent : Linkedin, Carnet Data et IA et DataTask
- Nicolas: @nsteinmetz, CerenIT, Time Series France
Sponsors
Cette publication est sponsorisée par DataTask et CerenIT.
CerenIT vous accompagne pour concevoir, industrialiser ou automatiser vos plateformes mais aussi pour faire parler vos données temporelles. Ecrivez nous à contact@cerenit.fr et retrouvez-nous aussi au Time Series France.
Affini-Tech vous accompagne dans tous vos projets Cloud et Data, pour Imaginer, Expérimenter et Executer vos services ! Datatask)
Le générique a été composé et réalisé par Maxence Lecointe