Architecture data moderne
Concevoir data warehouses, lakes, lakehouses, data mesh, pipelines et une modern data stack
Toute stratégie data vit ou meurt avec son architecture. Vous pouvez recruter les meilleurs data scientists du marché, mais si votre stockage, vos pipelines et vos couches de transformation forment un enchevêtrement de compromis hérités, vos équipes passent leurs journées à éteindre des incendies au lieu de livrer. Ce bloc remet les décisions d'architecture là où elles doivent être : sur votre bureau.
Vous commencez par les fondations dont tout le monde débat et que peu maîtrisent. Data Warehouse, Lake ou Lakehouse, et comment choisir sans suivre le vendor du mois. L'infrastructure cloud avec de vrais calculs de coûts, pas des brochures marketing. Des pipelines qui tiennent vraiment, de l'ETL et l'ELT au batch, au streaming et à l'architecture Medallion qui garde vos données fiables à chaque étape.
Ensuite vous allez là où regardent les CDO les plus affûtés. Le Data Mesh, ses principes réels, les conditions qu'il exige et les critiques honnêtes que les consultants passent sous silence. Les Data Products traités comme des produits, avec design, ownership et gestion du cycle de vie. Le streaming avec Apache Kafka pour les moments où la donnée d'hier ne vaut rien.
Enfin vous industrialisez. dbt fait passer la transformation SQL de l'artisanat à l'usine. La Data Observability détecte les problèmes avant que vos utilisateurs n'ouvrent un ticket. Le travail sur la performance et la scalabilité, partitioning, clustering et optimisation des coûts, garantit que votre plateforme grandit sans que votre facture grandisse plus vite.
Ce n'est pas un cours pour ingénieurs. C'est la fluidité en architecture qui vous permet de challenger vos équipes, d'enterrer tôt les mauvaises propositions et de financer les bonnes. Vous n'écrirez pas les pipelines. Vous saurez exactement pourquoi un design l'emporte et un autre saigne du cash et de la crédibilité. C'est la différence entre un CDO qui approuve une architecture et un CDO qui la porte.
Ce que vous allez maîtriser
- Choisir entre Warehouse, Lake et Lakehouse en fonction de vos workloads et de vos coûts réels
- Évaluer une infrastructure data cloud avec une vision claire des services, du risque de migration et du coût total
- Concevoir des pipelines en batch et en streaming avec l'architecture Medallion
- Déterminer si le Data Mesh convient à votre organisation ou la condamne à l'échec
- Traiter les données comme des produits avec un vrai ownership, un design et une gouvernance du cycle de vie
- Déployer dbt et l'observability pour que les problèmes de qualité remontent avant vos utilisateurs
- Optimiser performance et coûts via partitioning, clustering et scaling intelligent
Modules
Comparez les architectures de stockage, les services cloud et les types de data pipelines
Maîtrisez les principes du data mesh, la conception de data products et le streaming en temps réel
Industrialisez les transformations avec dbt, surveillez la qualité des données et optimisez performance et coûts
Compare les paradigmes batch et streaming, les plateformes event-driven et les architectures lakehouse qui unifient analytics et machine learning sur des données partagées.
Montre comment cataloguer les data assets, tracer le lineage pour l'analyse d'impact et maîtriser les coûts du cloud data grâce aux pratiques FinOps.
Questions fréquentes
À qui s'adresse le bloc Architecture data moderne ?
Aux CDO, responsables data et dirigeants qui valident des décisions d'architecture sans écrire le code. Les 5 modules et 15 leçons traitent warehouses, lakes, lakehouses, pipelines, Data Mesh, dbt et observabilité au niveau de la décision, pas de l'implémentation. Si vous devez challenger une proposition d'éditeur ou le design d'une équipe, c'est le bon niveau.
Faut-il un profil technique pour suivre ce bloc ?
Non. Architecture data moderne part du principe que vous ne construirez jamais les pipelines vous-même. L'objectif est la maîtrise des arbitrages d'architecture : comprendre pourquoi un design tient et pourquoi un autre coûte cher, pour écarter tôt les mauvaises propositions et financer les bonnes. Une familiarité avec le SQL et le vocabulaire cloud aide, sans être indispensable.
Quelle différence entre data warehouse, data lake et lakehouse ?
Le warehouse stocke des données structurées et modélisées pour l'analytique, le lake stocke des données brutes de tout format à faible coût, le lakehouse combine le stockage du lake avec les couches de requêtage et de gouvernance du warehouse. La première leçon du bloc traite ce choix à partir de vos workloads et de vos coûts réels, pas de l'éditeur du moment ; une leçon ultérieure montre comment le lakehouse réunit analytique et machine learning sur les mêmes données.
Par quoi commencer si ma plateforme data est un empilement de pipelines legacy ?
Par le module sur les architectures de stockage et le cloud : warehouse, lake ou lakehouse, services cloud avec le vrai calcul de coût et le risque de migration, puis les pipelines de l'ETL/ELT au batch, au streaming et à l'architecture Medallion. Assainir le stockage et la transformation d'abord, c'est ce qui sort les équipes du mode pompier. Data Mesh et streaming viennent ensuite, quand les fondations tiennent.
Le bloc prend-il position sur le Data Mesh ?
Oui, de façon nuancée. La leçon sur le Data Mesh couvre ses principes, les conditions organisationnelles qu'il exige et les critiques que les consultants passent sous silence, pour juger s'il convient à votre organisation ou s'il la met en échec. Une leçon complémentaire traite les data products avec un vrai design, une ownership claire et une gestion de cycle de vie, précisément là où la plupart des tentatives échouent.
Comment le bloc traite-t-il les coûts cloud liés aux données ?
De deux manières. La leçon performance et scalabilité couvre partitioning, clustering et optimisation des coûts pour qu'une plateforme qui grandit ne fasse pas grandir la facture plus vite, et une leçon dédiée au Data FinOps porte sur le pilotage de la dépense data cloud. La leçon sur l'infrastructure cloud aborde par ailleurs services et migration en coût total, pas en prix catalogue.