Big Data Engineer Bootcamp

Big Data Engineer Bootcamp

Ce programme de master Big Data Engineer, en collaboration avec IBM, offre une formation sur les compétences compétitives requises pour une carrière enrichissante dans l'ingénierie des données. Vous apprendrez à maîtriser le cadre de données étendu Hadoop, à tirer parti des fonctionnalités d'Apache Spark avec Python, à simplifier les lignes de données avec Apache Kafka et à utiliser l'outil de gestion de base de données open source MongoDB pour stocker des données dans des environnements Big Data.

Caractéristiques principales

• Cours et matériel en anglais
• Bootcamp en ligne de 6 mois et e-learning (à votre rythme) pouvant être suivis plus rapidement !
• Certificats reconnus par l'industrie délivrés par IBM (pour les cours IBM) et Simplilearn
• Projets concrets offrant une formation pratique dans le secteur
• Plus de 30 compétences recherchées
• Accès pendant 1 an à la plateforme d'apprentissage et aux enregistrements des cours
• 35 heures de formation à votre rythme
• 132 heures de formation dispensée par un instructeur
• Masterclasses, sessions de mentorat exclusives et hackathons organisés par IBM

Résultats du programme

À l'issue de ce PROGRAMME DE MASTER EN INGÉNIERIE BIG DATA, vous serez en mesure de :

• Acquérir une compréhension approfondie des frameworks flexibles et polyvalents de l'écosystème Hadoop, tels que Pig, Hive, Impala, HBase, Sqoop, Flume et Yarn
• Maîtriser des outils et des compétences tels que la création de modèles de données, les interfaces de bases de données, l'architecture avancée, Spark, Scala, RDD, SparkSQL, Spark Streaming, Spark ML, GraphX, Sqoop, Flume, Pig, Hive, Impala et l'architecture Kafka
• Comprendre comment modéliser des données, effectuer l'ingestion, répliquer et fragmenter des données à l'aide du système de gestion de base de données NoSQL MongoDB
• Acquérez une expertise dans la création et la maintenance d'une infrastructure analytique et maîtrisez le développement, le déploiement, la maintenance et la surveillance des composants de l'architecture
• Obtenez des informations sur la manière d'améliorer la productivité de l'entreprise en traitant le Big Data sur des plateformes capables de gérer son volume, sa vitesse, sa variété et sa véracité
• Découvrez comment Kafka est utilisé dans le monde réel, y compris son architecture et ses composants, acquérez une expérience pratique de la connexion de Kafka à Spark et travaillez avec Kafka Connect
• Comprenez comment utiliser Amazon EMR pour traiter des données à l'aide des outils de l'écosystème Hadoop.

À qui s'adresse ce programme ?

Un ingénieur de données de premier plan construit et maintient des structures et des architectures de données pour l'ingestion, le traitement et le déploiement de données pour des applications à grande échelle et à forte intensité de données. Il s'agit d'une carrière prometteuse pour les professionnels débutants et expérimentés passionnés par les données, notamment :

• Professionnels de l'informatique
• Professionnels de la banque et de la finance
• Administrateurs de bases de données
• Débutants dans le domaine de l'ingénierie des données
• Étudiants en licence ou master

Parcours d'apprentissage - Ingénieur Big Data

1. Le Big Data pour l'ingénierie des données (1 heure)

Ce cours d'introduction proposé par IBM vous enseignera les concepts et la terminologie de base du Big Data et ses applications concrètes dans plusieurs secteurs. Vous découvrirez comment améliorer la productivité de votre entreprise en traitant de grands volumes de données et en extrayant des informations précieuses.

Objectifs clés

• Comprendre ce qu'est le Big Data, ses sources et des exemples concrets
• Apprendre la différence fondamentale entre le Big Data et la science des données
• Maîtriser l'utilisation du Big Data pour l'analyse opérationnelle et un meilleur service client
• Acquérir des connaissances sur l'écosystème du Big Data et le framework Hadoop

Programme du cours

• Leçon 1 - Qu'est-ce que le Big Data ?
• Leçon 2 - Le Big Data : au-delà du battage médiatique
• Leçon 3 - Le Big Data et la science des données
• Leçon 4 - Cas d'utilisation
• Leçon 5 - Traitement du Big Data

2. Développeur Big Data Hadoop et Spark

La formation Big Data Hadoop d'AVC vous aide à maîtriser le Big Data et les outils de l'écosystème Hadoop tels que HDFS, YARN, MapReduce, Hive, Impala, Pig, HBase, Spark, Flume, Sqoop et les frameworks Hadoop, y compris les concepts supplémentaires du cycle de vie du traitement du Big Data.

Tout au long de cette formation Hadoop en ligne dispensée par un instructeur, vous travaillerez sur des projets en temps réel dans les domaines de la vente au détail, du tourisme, de la finance et autres. Cette formation complète sur les données vous prépare à la certification CCA175 Big Data de Cloudera.

Objectifs clés de la formation

• Apprendre à naviguer dans l'écosystème Hadoop et comprendre comment optimiser son utilisation
• Ingérer des données à l'aide de Sqoop, Flume et Kafka
• Mettre en œuvre le partitionnement, le bucketing et l'indexation dans Hive
• Travailler avec RDD dans Apache Spark
• Traiter des données en streaming en temps réel
• Effectuer des opérations DataFrame dans Spark à l'aide de requêtes SQL
• Mettre en œuvre des fonctions définies par l'utilisateur (UDF) et des fonctions d'attribut définies par l'utilisateur (UDAF) dans Spark

Programme du cours

• Leçon 1 - Introduction au Big Data et à Hadoop
• Leçon 2 - Architecture Hadoop Stockage distribué (HDFS) et YARN
• Leçon 3 - Ingestion de données dans les systèmes Big Data et ETL
• Leçon 4 - Traitement distribué Cadre MapReduce et Pig
• Leçon 5 - Apache Hive
• Leçon 6 - Bases de données NoSQL HBase
• Leçon 7 - Notions de base de la programmation fonctionnelle et Scala
• Leçon 8 - Apache Spark, le framework Big Data de nouvelle génération
• Leçon 9 - Traitement Spark Core RDD
• Leçon 10 - Traitement Spark SQL DataFrames
• Leçon 11 - Spark MLLib, modélisation du Big Data avec Spark
• Leçon 12 - Cadres de traitement de flux et Spark Streaming
• Leçon 13 - Spark GraphX

3. Formation Pyspark

La formation Pyspark vous fournira une présentation approfondie d'Apache Spark, le moteur de requête open source pour le traitement de grands ensembles de données, et vous apprendra à l'intégrer à Python à l'aide de l'interface PySpark. Ce cours vous montrera comment créer et mettre en œuvre des applications gourmandes en données tout en vous plongeant dans l'apprentissage automatique haute performance. Vous apprendrez à tirer parti de Spark RDD, Spark SQL, Spark MLlib, Spark Streaming, HDFS, Sqoop, Flume, Spark GraphX et Kafka.

Principaux objectifs d'apprentissage

• Comprendre comment tirer parti des fonctionnalités de Python lors de son déploiement dans l'écosystème Spark
• Maîtriser l'architecture Apache Spark et la configuration d'un environnement Python pour Spark
• Découvrir diverses techniques de collecte de données, comprendre les RDD et les différences avec les DataFrames, lire des données à partir de fichiers et HDFS, et travailler avec des schémas
• Acquérir une connaissance approfondie des différents outils de l'écosystème Spark, tels que Spark SQL, Spark MlLib, Sqoop, Kafka, Flume et Spark Streaming
• Créer et explorer diverses API pour travailler avec Spark DataFrames et apprendre à agréger, transformer, filtrer et trier des données avec DataFrames

Programme du cours

• Leçon 01 - Introduction à Pyspark
• Leçon 02 - Ensembles de données distribués résilients
• Leçon 03 - Ensembles de données distribués résilients et actions
• Leçon 04 - DataFrames et transformations
• Leçon 05 - Traitement des données avec Spark DataFrames

4. Apache Kafka

Dans ce cours de certification Apache Kafka, vous maîtriserez l'architecture, l'installation, la configuration et les interfaces du système de messagerie open source Kafka. Grâce à cette formation Kafka, vous apprendrez les bases d'Apache ZooKeeper en tant que service centralisé et développerez les compétences nécessaires pour déployer Kafka pour la messagerie en temps réel. Ce cours fait partie du programme de master Big Data Hadoop Architect et est recommandé aux développeurs et aux professionnels de l'analyse qui souhaitent approfondir leurs connaissances.

Objectifs

• Décrire l'importance du Big Data
• Décrire les concepts fondamentaux de Kafka
• Décrire l'architecture de Kafka
• Expliquer comment installer et configurer Kafka
• Expliquer comment utiliser Kafka pour la messagerie en temps réel.

Programme

• Leçon 1 - Introduction au Big Data et à Apache Kafka
• Leçon 2 - Producteur Kafka
• Leçon 3 - Consommateur Kafka
• Leçon 4 - Opérations et optimisation des performances de Kafka
• Leçon 5 - Architecture de cluster Kafka et administration de Kafka
• Leçon 6 - Surveillance et registre de schémas Kafka
• Leçon 7 - Flux Kafka et connecteurs Kafka
• Leçon 8 - Intégration de Kafka avec Storm
• Leçon 9 - Intégration de Kafka avec Spark et Flume
• Leçon 10 - Client d'administration et sécurisation de Kafka

5. Développeur et administrateur MongoDB

Devenez un développeur et administrateur MongoDB expert en acquérant une connaissance approfondie de NoSQL et en maîtrisant les compétences en matière de modélisation, d'ingestion, de requête, de partitionnement et de réplication des données. Ce cours inclut des projets industriels dans les domaines de l'apprentissage en ligne et des télécommunications. Il convient particulièrement aux administrateurs de bases de données, aux développeurs de logiciels, aux administrateurs système et aux professionnels de l'analyse.

Objectifs d'apprentissage clés

• Développer une expertise dans l'écriture d'applications Java et NodeJS à l'aide de MongoDB
• Maîtriser les compétences en matière de réplication et de partitionnement des données dans MongoDB afin d'optimiser les performances de lecture/écriture
• Effectuer l'installation, la configuration et la maintenance de l'environnement MongoDB
• Acquérir une expérience pratique de la création et de la gestion de différents types d'index dans MongoDB pour l'exécution de requêtes
• Stocker de manière efficace des données non structurées dans MongoDB
• Développer des compétences pour le traitement de grandes quantités de données à l'aide des outils MongoDB
• Maîtriser la configuration, les méthodes de sauvegarde, la surveillance et les stratégies opérationnelles de MongoDB
• Acquérir une compréhension approfondie de la gestion des notes de base de données, des ensembles de réplicas et des concepts maître-esclave.

Programme du cours

• Leçon 1 - Introduction aux bases de données NoSQL
• Leçon 2 - MongoDB : une base de données pour le Web moderne
• Leçon 3 - Opérations CRUD dans MongoDB
• Leçon 4 - Indexation et agrégation
• Leçon 5 - Réplication et partitionnement
• Leçon 6 - Développement d'applications Java et Node JS avec MongoDB
• Leçon 7 - Administration des opérations du cluster MongoDB

6. AWS Technical Essentials

Ce cours AWS Technical Essentials vous apprend à naviguer dans la console de gestion AWS, à comprendre les mesures de sécurité, le stockage et les options de base de données AWS, et à acquérir une expertise dans les services Web tels que RDS et EBS. Ce cours, préparé conformément au dernier programme AWS, vous aidera à identifier et à utiliser efficacement les services AWS.

Objectifs d'apprentissage clés

• Comprendre les concepts fondamentaux de la plateforme AWS et du cloud computing
• Identifier les concepts, la terminologie, les avantages et les options de déploiement AWS pour répondre aux besoins de l'entreprise
• Identifier les options de déploiement et de réseau dans AWS

Programme du cours

• Leçon 01 - Introduction au cloud computing
• Leçon 02 - Introduction à AWS
• Leçon 03 - Stockage et diffusion de contenu
• Leçon 04 - Services de calcul et mise en réseau
• Leçon 05 - Services gérés et bases de données AWS
• Leçon 06 - Déploiement et gestion

7. Formation à la certification AWS Big Data

Dans ce cours de certification AWS Big Data, vous vous familiariserez avec les concepts du cloud computing et ses modèles de déploiement, la plateforme cloud Amazon Web Services, Kinesis Analytics, les services AWS de stockage, de traitement, d'analyse, de visualisation et de sécurité des mégadonnées, EMR, AWS Lambda et Glue, les algorithmes d'apprentissage automatique, et bien plus encore.

Objectifs clés

• Comprendre comment utiliser Amazon EMR pour traiter les données à l'aide des outils de l'écosystème Hadoop
• Comprendre comment utiliser Amazon Kinesis pour le traitement du Big Data en temps réel
• Analyser et transformer le Big Data à l'aide de Kinesis Streams
• Visualiser les données et effectuer des requêtes à l'aide d'Amazon QuickSight

Programme

• Leçon 01 - Introduction à AWS dans le Big Data
• Leçon 02 - Collecte
• Leçon 03 - Stockage
• Leçon 04 - Traitement I
• Leçon 05 - Traitement II
• Leçon 06 - Analyse I
• Leçon 7 - Analyse II
• Leçon 8 - Visualisation
• Leçon 9 - Sécurité

Big Data Capstone

Ce projet Capstone Big Data vous donnera l'occasion de mettre en pratique les compétences acquises tout au long de ce programme. Vous apprendrez à résoudre un problème Big Data réel et adapté à l'industrie grâce à des sessions de mentorat dédiées. Ce projet constitue la dernière étape du parcours d'apprentissage et vous permettra de mettre en valeur votre expertise en matière de Big Data auprès de futurs employeurs.

Cours optionnel

• AWS Technical Essentials

Ce cours AWS Technical Essentials vous apprend à naviguer dans la console de gestion AWS, à comprendre les mesures de sécurité, les options de stockage et les bases de données AWS, et à acquérir une expertise dans les services web tels que RDS et EBS. Ce cours, préparé conformément au dernier programme AWS, vous aidera à identifier et à utiliser efficacement les services AWS.

• Formation à la certification Java

Cette formation avancée à la certification Java est conçue pour vous guider à travers les concepts de Java, des techniques d'introduction aux compétences de programmation avancées. Ce cours Java vous enseignera également les bases de Java 8, les opérateurs, les tableaux, les boucles, les méthodes et les constructeurs, tout en vous offrant une expérience pratique du framework JDBC et JUnit.

• Master class sur l'industrie – Ingénierie des données

Participez à une master class interactive en ligne et découvrez les secrets de l'ingénierie des données.

• SQL

Ce cours vous donne toutes les informations dont vous avez besoin pour commencer à travailler avec des bases de données SQL et utiliser la base de données dans vos applications. Apprenez à structurer correctement votre base de données, à rédiger des instructions et des clauses SQL efficaces, et à gérer votre base de données SQL pour une croissance évolutive.

• Master class sur l'industrie – Data Science

Participez à cette master class interactive en ligne pour découvrir les avancées en matière de Data Science et les techniques d'IA.