Professional Certificate Program in Data Engineering (En collaboration avec Purdue University, AWS et Microsoft Azure)

Professional Certificate Program in Data Engineering

En collaboration avec l'université Purdue, AWS et Microsoft Azure

• Programme d'une durée de 7 mois (cours en direct et e-learning)
• Cours en direct (5 à 8 heures par semaine, cours le week-end)
• Demandez-nous les détails concernant la prochaine promotion et le calendrier !

Accélérez votre carrière grâce au programme de certificat professionnel en ingénierie des données de l'université Purdue Online. Ce programme combine théorie, études de cas et nombreuses mises en pratique pour offrir une formation complète en ingénierie des données.

Aligné sur les certifications DP-203 Azure Data Engineer Associate, AWS Certified Data Engineer – Associate et SnowPro® Core, il vous permet d'acquérir les compétences nécessaires pour obtenir ces certifications reconnues par l'industrie.

Vous maîtriserez des compétences telles que le traitement distribué avec Hadoop, le traitement de données à grande échelle avec Spark, la création de pipelines de données avec Kafka et la gestion de bases de données sur des infrastructures sur site, AWS et Azure.

Conçu pour les professionnels expérimentés, le programme combine un apprentissage à votre rythme, des cours virtuels en direct, des projets pratiques et des laboratoires intégrés, garantissant une expérience très engageante et axée sur la pratique.

Caractéristiques principales

• Cours et matériel en anglais
• en collaboration avec Purdue University Online
• Niveau débutant à avancé
• 7 mois de cours en direct dispensés par des experts du secteur (5 à 8 heures par semaine, cours le week-end)
• Plus de 150 heures de cours en direct et d'accompagnement de projets par des mentors
• Plus de 20 heures de contenu vidéo e-learning
• Plus de 250 heures d'étude et de pratique recommandées
• Apprentissage flexible avec enregistrement des sessions et accès 24h/24 et 7j/7
• Aligné sur Microsoft DP-203, AWS Certified Data Engineer – Associate et SnowPro® Core.
• Capstone à partir de 3 domaines et plus de 14 projets avec des ensembles de données industrielles provenant de YouTube, Glassdoor, Facebook, etc.
• Avantages du réseautage via l'association des anciens élèves de Purdue
• Certificat de fin de programme délivré par Purdue University Online.
• Badge/certificat officiel hébergé sur le portail Microsoft Learn.

Une expérience d'apprentissage engageante

• Interaction entre pairs
• Profitez d'un véritable environnement de classe en entrant en contact avec d'autres apprenants et en interagissant avec des mentors en temps réel via Slack.
• Apprentissage flexible
• Ne prenez jamais de retard : accédez à tout moment aux sessions enregistrées pour rattraper votre retard et rester en phase avec votre groupe.
• Sessions de mentorat
• Bénéficiez du soutien d'experts pour dissiper vos doutes, obtenir des conseils sur vos projets et améliorer votre parcours d'apprentissage.
• Assistance dédiée
• Bénéficiez de l'aide d'un responsable de promotion qui vous apporte une assistance personnalisée et veille à ce que vous restiez sur la voie de la réussite.

À propos de l'université Purdue

L'université Purdue est une université publique de recherche de premier plan, réputée pour ses solutions pratiques à certains des problèmes les plus urgents de notre époque. Reconnue par U.S. News & World Report comme l'une des 10 universités les plus innovantes des États-Unis pendant quatre années consécutives, Purdue est à la pointe de la recherche et de l'innovation.

Quelle valeur ajoutée l'université Purdue apporte-t-elle au programme ?

Le programme est conçu et révisé avec l'aide de l'université, ce qui lui confère une légitimité en termes de qualité et un certificat de fin de formation co-brandé. Veuillez noter que les cours en direct ne sont pas dispensés par le personnel enseignant de l'université, mais par de nombreux experts du secteur expérimentés et compétents dans chaque domaine.

Objectif d'apprentissage

• Collecter, traiter et stocker des données provenant de plusieurs sources sur des plateformes cloud et sur site.
• Ingérer, transformer et orchestrer des pipelines de données à l'aide des services AWS tout en garantissant la qualité des données.
• Traiter efficacement les mégadonnées afin d'améliorer la productivité de l'entreprise en termes de volume, de vitesse, de variété et de véracité.
• Utiliser Amazon Kinesis pour le traitement des mégadonnées en temps réel et QuickSight pour la visualisation et les requêtes.
• Acquérir des connaissances Foundation sur Scala et ses outils de développement pour les applications de mégadonnées.
• Maîtriser l'écosystème Hadoop (Yarn, MapReduce, Pig, Hive, HBase, ZooKeeper, Oozie, Sqoop, Flume).
• Mettez en œuvre des solutions de données pratiques dans diverses applications commerciales.
• Concevez et gérez des solutions de stockage et de traitement des données Azure à l'aide de Cosmos DB, SQL Database, Synapse Analytics, Data Lake, Data Factory, Stream Analytics, Databricks et Blob Storage.
• Créez des solutions Snowflake sécurisées et évolutives pour atteindre vos objectifs commerciaux.
• Appliquez vos connaissances en programmation pour créer des produits d'ingénierie des données prêts à l'emploi à l'aide d'AWS EMR et d'autres outils.

Plus de 12 compétences abordées

• Traitement des données en temps réel
• Pipeline de données
• Analyse de mégadonnées
• Visualisation des données
• Provisionnement des services de stockage de données
• Apache Hadoop
• Ingestion de données en continu et par lots
• Transformation des données
• Mise en œuvre des exigences de sécurité
• Techniques de protection et de chiffrement des données
• Gouvernance des données et contrôles de conformité

Public cible :

Un ingénieur de données crée et maintient des architectures de données pour l'ingestion, le traitement et le déploiement dans des applications à grande échelle et à forte intensité de données. Cette carrière est idéale pour les professionnels passionnés par les données, incluant :

• Professionnels de l'informatique
• Administrateurs de bases de données
• Débutants entrant dans le domaine de l'ingénierie des données
• Développeurs BI
• Data scientists cherchant à élargir leurs compétences

Prérequis :

• Expérience : de préférence 2 ans ou plus d'expérience professionnelle.
• Formation : diplôme d'études secondaires, licence ou équivalent.
• Compétences : compréhension de base des concepts de programmation et des mathématiques.

Parcours d'apprentissage

1. Notions de base sur Python pour l'ingénierie des données
2. Gestion de bases de données à l'aide de SQL
3. Maîtrise de NoSQL avec MongoDB
4. Big Data avec Hadoop et Spark
5. AWS Tech Essentials
6. Ingénieur de données certifié AWS - Associé
7. Principes fondamentaux d'Azure
8. Ingénieur de données Azure
9. Capstone en ingénierie des données

Cours optionnels

• Certification Snowflake SnowPro Core
• Contrôle de version à l'aide de Git
• Principes fondamentaux de Google Cloud Platform
• Masterclass sur l'IA générative

DÉTAILS DU CONTENU DU COURS

Cours 1 : Notions de base de Python pour l'ingénierie des données

Acquérez les compétences Foundation en Python indispensables pour progresser dans le programme.

Résultats d'apprentissage

• Maîtrisez la programmation procédurale et orientée objet.
• Maîtrisez les boucles, les instructions conditionnelles, les types de données, les opérateurs et les fonctions de chaîne.
• Comprenez la portée des variables, les méthodes, les attributs, les modificateurs d'accès, les identifiants, les indentations et les commentaires.
• Apprenez à installer Python, à utiliser les IDE et à travailler avec Jupyter Notebook.
• Acquérez des connaissances sur le multithreading et ses applications dans le traitement des données.

Programme du cours

• Introduction à la programmation Python
• Principes fondamentaux de la programmation et fonctions Python
• Concepts de programmation orientée objet
• Types de données et opérateurs Python
• Instructions conditionnelles et boucles
• Threading en Python

Cours 2 : Gestion de bases de données à l'aide de SQL

Acquérez les compétences SQL essentielles pour gérer efficacement les bases de données et les intégrer dans des applications. Apprenez les instructions SQL, les commandes, les jointures, les sous-requêtes, la logique conditionnelle et les fonctions pour prendre en charge des solutions de données évolutives.

Résultats d'apprentissage

• Comprendre les structures et les relations des bases de données.
• Maîtriser les requêtes SQL, qui incluent le filtrage, le tri, les alias, les fonctions d'agrégation, le regroupement, les jointures, les sous-requêtes, les vues et l'indexation.
• Travailler avec des outils de requête courants et des commandes SQL.
• Appliquer des fonctions de chaîne, mathématiques, de date/heure et de correspondance de motifs.
• Maîtriser les transactions, la création de tables et les vues pour une gestion efficace des bases de données.
• Mettre en œuvre des contrôles d'accès utilisateur pour garantir la sécurité des bases de données.
• Exécuter des procédures stockées pour les opérations complexes.

Programme du cours

• Instructions SQL et commandes de sélection (filtrage et tri)
• Commandes d'agrégation et regroupement
• Instructions conditionnelles
• Jointures
• Fonctions de chaîne, mathématiques et de date/heure
• Correspondance de motifs (chaîne)
• Fonctions de contrôle d'accès utilisateur
• Restauration et sauvegarde

Cours 3 : Maîtrise de NoSQL avec MongoDB

Maîtrisez les bases de données MongoDB et NoSQL grâce à ce cours complet. Apprenez la modélisation des données, l'indexation, l'évolutivité, la sécurité et l'intégration avec les pipelines d'ingénierie des données à travers des laboratoires pratiques et des projets concrets. Acquérez les compétences nécessaires pour stocker, récupérer et traiter efficacement les données dans des scénarios pratiques.

Résultats d'apprentissage

• Maîtrisez les principes fondamentaux de MongoDB pour les projets d'ingénierie des données.
• Construisez des pipelines de données efficaces et effectuez le stockage, la récupération et l'analyse.
• Appliquez les solutions MongoDB à des défis réels d'ingénierie des données.
• Apprenez les techniques de modélisation des données pour les collections MongoDB.
• Acquérez une expérience pratique de la requête, de la manipulation et de l'optimisation des données MongoDB.

Sujets abordés

• Sécurité et contrôle d'accès MongoDB
• Structure des documents et conception de schémas
• Gestion, traitement et modélisation des données pour l'évolutivité
• Opérations CRUD et requêtes
• Indexation et optimisation des performances
• Intégration et évolutivité dans les pipelines
• Développement et surveillance des pipelines de données

Cours 4 : Big Data avec Hadoop et Spark

Après avoir maîtrisé l'automatisation des flux de travail, ce module applique l'IA générative aux fonctions commerciales essentielles, en commençant par les ventes et le marketing. Grâce à un apprentissage pratique et à des études de cas, les participants découvriront comment déployer efficacement l'IA tout en surmontant les défis courants afin de maximiser l'impact commercial.

Résultats d'apprentissage

• Naviguer et optimiser l'écosystème Hadoop pour le traitement des données.
• Ingérer et traiter les données à l'aide de Sqoop, Flume, Kafka et du streaming en temps réel.
• Mettre en œuvre le partitionnement, le bucketing et l'indexation dans Hive.
• Travailler avec les RDD, UDF et UDAF dans Apache Spark.
• Appliquer les concepts du Big Data à des scénarios de traitement réels.

Sujets abordés

• Introduction au Big Data et à l'écosystème Hadoop
• Système de fichiers distribués Hadoop (HDFS)
• Principes fondamentaux, programmation et concepts avancés de MapReduce
• Cache distribué, chaînage de tâches et planificateur Hadoop
• Apache Hive : architecture, types de données, sérialisation, optimisation, UDF/UDAF
• Pig pour l'analyse des données
• Ingestion de données, lac de données vs entrepôt de données
• Apache Kafka et Flume pour le streaming de données
• YARN : infrastructure et architecture
• Apache Spark : RDD, PySpark Shell, framework et apprentissage automatique (Spark ML)
• Traitement en temps réel : DStreams, API de streaming structuré
• Spark GraphX : GraphFrames, API Pregel et algorithmes
• Python pour le Big Data : fonctions, OOP et modules

Cours 5 : AWS Tech Essentials

Apprenez à naviguer dans la console de gestion AWS, à comprendre les options de sécurité, de stockage et de base de données AWS, et à maîtriser les principaux services web tels que RDS et EBS. Ce cours vous permettra d'identifier et d'utiliser efficacement les services AWS.

Résultats d'apprentissage

• Comprendre les concepts fondamentaux d'AWS et du cloud computing.
• Identifier les options de déploiement, de mise en réseau et de service dans AWS.
• Apprendre la terminologie AWS, les avantages et comment aligner les services sur les besoins de l'entreprise.

Sujets abordés

• Introduction au cloud computing et à AWS
• Équilibrage de charge, mise à l'échelle automatique et DNS/livraison de contenu
• Services gérés AWS, bases de données et Lambda
• Gestion des identités et des accès (IAM)
• Réseaux : VPC et clouds privés virtuels
• Elastic Compute Cloud (EC2) et solutions de stockage
• Déploiement, gestion, tarification et facturation

Cours 6 : Ingénieur de données certifié AWS - Associé

Apprenez à concevoir, développer et gérer des pipelines de données sur AWS, afin de vous préparer à l'examen AWS Certified Data Engineer—Associate et à une carrière dans l'ingénierie des données cloud.

Résultats d'apprentissage

• Comprendre les principes fondamentaux de l'ingénierie des données et les systèmes de stockage modernes.
• Maîtriser Amazon DynamoDB, RDS, Redshift et les techniques de modélisation des données.
• Maîtriser les outils d'analyse tels que Amazon Athena, Apache Spark et AWS Glue.
• Apprendre la gestion financière du cloud et l'optimisation des coûts AWS.
• Acquérir des compétences en services informatiques : EC2, Lambda et AWS Batch.
• Travailler avec les technologies de conteneurs : Docker, ECS et EKS.
• Développer une expertise dans les outils de développement, les concepts de ML et les principes de gouvernance.
• Comprendre la migration, la mise en réseau, la diffusion de contenu, la sécurité et la conformité dans AWS.
• Acquérir des compétences dans les solutions de stockage : S3, EBS et EFS.
• Garantir la qualité des données et mettre en œuvre les meilleures pratiques pour les pipelines de données.

Sujets abordés

• Principes fondamentaux de l'ingénierie des données et gestion financière du cloud
• Outils d'analyse : Amazon Athena, Apache Spark
• Services informatiques : EC2, Lambda
• Modélisation des données et gestion des bases de données (DynamoDB, Redshift)
• Outils de développement (AWS CLI, CDK) et gestion/gouvernance (CloudFormation, CloudTrail)
• Réseautage et diffusion de contenu (VPC, Route 53)
• Sécurité, identité, conformité et services de migration/transfert
• Conteneurs et orchestration (Docker, ECS)
• Solutions de stockage (S3, EBS)
• Concepts d'apprentissage automatique (SageMaker) et traitement avancé des données (Kinesis, Glue)

Cours 7 : Principes fondamentaux d'Azure

Apprenez les principes fondamentaux du cloud computing et leur mise en œuvre dans Microsoft Azure. Acquérir une expérience pratique des services Azure, qui incluent les machines virtuelles, les applications web, les bases de données SQL, Azure Active Directory, la sécurité, la conformité, la tarification et l'intégration sur site.

Résultats d'apprentissage

• Comprendre les principes fondamentaux du cloud computing et leur mise en œuvre dans Azure.
• Travailler avec les services Azure, incluant les machines virtuelles, les applications web, les bases de données SQL et Azure Active Directory.
• Apprendre la sécurité, la confidentialité, la conformité, la tarification et l'assistance Azure.
• Déployer et gérer le stockage et les bases de données Azure.
• Intégrer les services Azure aux environnements sur site.

Sujets abordés

• Introduction au cloud computing et à l'IaaS
• Services Azure de base et SaaS
• Modèles de cloud public, privé et hybride
• Sécurité, confidentialité, conformité et confiance
• Tarification, assistance et économies d'échelle Azure
• Création et configuration de machines virtuelles dans Azure

Cours 8 : Ingénieur de données Azure (DP 203)

Dans le prolongement des applications d'IA générative dans les fonctions techniques, ce module se concentre sur la manière dont les équipes de R&D produit peuvent tirer parti de l'IA pour accélérer l'innovation. Les participants découvriront comment l'IA automatise les études de marché, prédit les besoins des clients, optimise la conception des produits et aligne la stratégie produit sur les valeurs de la marque. L'objectif est de permettre un développement de produits axé sur les données, centré sur le client et prêt pour l'avenir, tout en répondant aux préoccupations éthiques et de confidentialité.

Résultats d'apprentissage

• Mettre en œuvre et gérer des solutions de stockage de données à l'aide d'Azure SQL Database, Synapse Analytics, Data Lake Storage, Data Factory, Stream Analytics et Databricks.
• Ingérer, transformer et traiter des données par lots et en continu.
• Appliquer des politiques de sécurité et de conservation et optimiser les performances.
• Surveiller et accéder efficacement aux sources de données externes.

Sujets abordés

• Microsoft Azure Data Orchestration & Storage Accounts
• Azure Key Vault, SQL Pool et Data Masking
• Azure Databricks, Synapse Notebooks et Apache Spark
• Azure Data Factory & Event Hubs
• Streaming structuré et non structuré
• Traitement des données par lots et en temps réel
• Configuration de Synapse Link avec Cosmos DB
• Système de fichiers Databricks et exploration des données

Cours 9 : Capstone en ingénierie des données

Appliquez vos compétences dans le cadre d'un projet concret, en phase avec le monde professionnel, couvrant l'ETL, le streaming de données, l'analyse et la visualisation. Bénéficiez d'un accompagnement tout en relevant des défis pratiques et montrez votre expertise à des employeurs potentiels. Les projets peuvent être sélectionnés parmi des domaines industriels pertinents afin d'optimiser leur applicabilité.

Études de cas et projets industriels

• Projet 1 – Analyse du panier d'achat (Instacart) : analysez les habitudes d'achat en ligne de produits alimentaires à l'aide d'un vaste ensemble de données afin de découvrir les tendances d'achat.

• Projet 2 – Analyse des vidéos YouTube : classez les vidéos tendance en fonction des interactions des utilisateurs et extrayez des informations exploitables.

• Projet 3 – Visualisation des données avec Azure Synapse : créez des tableaux de bord pour les données de vente afin d'orienter les décisions d'expansion dans le secteur de la vente au détail.

• Projet 4 – Pipeline d'ingestion de données de bout en bout : téléchargez et gérez de grands ensembles de données dans Azure Data Lake et Delta Lake pour faciliter l'accès et le traitement.

• Projet 5 – Surveillance des serveurs sur AWS : suivez les performances EC2, déboguez les pannes et optimisez les opérations des serveurs.

• Projet 6 – Analyse du commerce électronique : analysez les données de vente pour générer des informations par région et des mesures d'évaluation des produits.

Cours optionnels :

Option 1 : Certification Snowflake SnowPro Core

Apprenez les principes fondamentaux de Snowflake, incluant l'architecture, la sécurité, la prise en charge SQL, la mise en cache, l'optimisation des requêtes, le chargement des données et le traitement des données semi-structurées. Acquérir une expérience pratique de la connexion à Snowflake, de la gestion des données, de la mise à l'échelle des entrepôts virtuels, du contrôle des accès et de l'optimisation des coûts pour une gestion et une analyse efficaces des données.

Option 2 : Principes fondamentaux de Google Cloud Platform

Apprenez à analyser et à déployer l'infrastructure GCP, incluant les réseaux, le stockage et les services d'application. Acquérir des connaissances pratiques sur l'IAM, la mise en réseau et le stockage dans le cloud, et explorez l'infrastructure flexible et les services de plateforme offerts par Google Cloud.

Cours optionnel 3 : Contrôle de version avec Git

Apprenez la gestion du code source (SCM) avec Git et GitHub. Acquérir une expérience pratique des commandes Git, des fonctionnalités GitHub et des workflows tels que le fork, le branching et le merging. Développez les compétences nécessaires pour gérer efficacement et collaborer sur des référentiels de code dans le cadre de projets concrets.

Option 4 : Masterclass sur l'IA générative

Acquérez une compréhension approfondie des modèles d'IA générative, en mettant l'accent sur ChatGPT. Apprenez l'ingénierie des invites, l'IA explicable, l'IA conversationnelle et les applications pratiques des grands modèles linguistiques (LLM).

QUESTIONS FRÉQUEMMENT POSÉES

Comment le programme est-il dispensé ?

Le cours est dispensé entièrement en ligne sous forme de cours virtuels en direct, offrant un mélange 80/20 de formation expérientielle et d'apprentissage théorique. Vous participerez à des projets pratiques, des études de cas et des sessions interactives animées par des experts du secteur.

À quoi ressemble l'emploi du temps ? Y a-t-il des enregistrements ?

Le cours s'étend généralement sur environ 7 mois, avec environ 5 à 8 heures de sessions en direct le week-end, selon différents emplois du temps. Entre les cours, vous aurez de nombreux projets pratiques à réaliser. Veuillez nous envoyer un e-mail pour obtenir les détails du programme. Si vous manquez un cours, vous pouvez toujours regarder l'enregistrement.

REMARQUE :

La simple visualisation des enregistrements des sessions ne permet pas de valider votre présence. La présence n'est enregistrée que lorsque l'apprenant participe à la session en direct. Comme il s'agit de programmes affiliés à des universités, les critères sont plus stricts, car ils sont fixés par les universités elles-mêmes. Cependant, les enregistrements seront disponibles. Les apprenants peuvent consulter les critères spécifiques d'obtention du certificat pour chaque cours directement sur leur LMS.

Puis-je travailler à temps plein tout en étant inscrit à ce programme ?

Oui, c'est possible ! Le calendrier du programme est conçu pour aider les professionnels très occupés qui travaillent à temps plein. Vous pouvez assister à des sessions en direct animées par un instructeur, qui ont lieu principalement le week-end à l'heure prévue, en fonction de votre emploi du temps, puis réaliser les devoirs/projets pendant votre temps libre.

Qu'est-ce que l'ingénierie des données ?

L'ingénierie des données se concentre sur l'aspect pratique de la Data Science, en concevant et en construisant des systèmes pour collecter, traiter et analyser des données brutes provenant de multiples sources. Les ingénieurs de données créent des entrepôts de données, des modèles et des pipelines, transformant les données brutes en informations exploitables pour soutenir de meilleures décisions commerciales.

Que fait un ingénieur de données ?

Les ingénieurs de données conçoivent et maintiennent des systèmes qui rendent les données organisationnelles accessibles et exploitables. Leurs principales responsabilités incluent :

• Collecter de grands ensembles de données provenant de diverses sources
• Nettoyer et valider les données pour garantir leur exactitude
• Supprimer les doublons et les incohérences
• Transformer les données en formats utilisables
• Analyser et interpréter les données pour aider à prendre des décisions commerciales éclairées

Avantages du cours de certification en ingénierie des données

Ce programme en ligne de l'université Purdue vous permet d'acquérir des compétences pratiques en ingénierie des données, couvrant le stockage, les lacs et les pipelines de données afin de créer des architectures évolutives. Les principaux avantages incluent :

• Certificat de l'université Purdue en ligne
• Programme aligné sur les certifications Microsoft, AWS et Snowflake
• Accès à l'adhésion à l'association des anciens élèves de Purdue
• Sessions en direct sur des sujets d'actualité liés à l'IA, notamment l'IA générative et l'IA explicable

Formateurs du programme de certification en ingénierie des données

Le programme est dispensé par des professionnels chevronnés du secteur qui possèdent une expertise approfondie en ingénierie des données. Les formateurs sont soigneusement sélectionnés en fonction de leurs connaissances, de leur expérience pédagogique, de leurs qualifications et de leur capacité avérée à fournir des informations pratiques et concrètes pour une expérience d'apprentissage efficace.

Parcours professionnels après avoir suivi le cours d'ingénierie des données

La réussite de ce programme ouvre de multiples opportunités dans le domaine des données :

• Ingénieur de données – Concevoir, créer et maintenir des pipelines et des applications de données évolutifs.
• Ingénieur Big Data – Travailler avec des technologies telles que Hadoop et Kafka pour gérer le traitement de données à grande échelle.
• Architecte de données – Concevoir et gérer l'architecture de données d'une organisation, en garantissant la sécurité et l'intégrité.
• Analyste de données – Analyser des ensembles de données complexes afin de fournir des informations commerciales exploitables.
• Développeur de Business Intelligence (BI) – Développer et gérer des solutions BI à l'aide de tableaux de bord et de rapports.

Les ingénieurs de données doivent-ils avoir une expérience préalable en codage ?

Oui, les ingénieurs de données doivent généralement avoir des connaissances de base en programmation dans des langages tels que Python, Java ou R afin de créer et de gérer efficacement des pipelines de données.