ARCHITECTURE DISTRIBUÉE ET BIG DATA

Description

Le passage vers le Web 2.0 a considérablement transformé l'utilisation des données, ouvrant de nouvelles perspectives à une échelle mondiale. Cette évolution a entraîné l'émergence de nouvelles architectures et solutions technologiques, permettant à certaines organisations de se positionner en tant que leaders de cette ère moderne.

Cependant, les défis auxquels font face les organisations ne sont plus les mêmes, et il est crucial de pouvoir identifier la solution appropriée en fonction des besoins spécifiques. Il est essentiel de comprendre quand et pourquoi utiliser chaque solution.

Nous aborderons les concepts du stockage Big Data, ainsi que les principes des systèmes distribués. De plus, nous vous présenterons les traitements de données en mode Batch et Streaming, afin de vous donner une vue d'ensemble complète des différentes approches.

Objectifs

• Comprendre les enjeux du Big Data
• Approfondir le stockage relationnel & NoSQL : leurs garanties et leurs limitations
• Parcourir les caractéristiques des systèmes distribués
• Maîtriser les bases du traitement batch : MapReduce, Data Flow Engines(Spark…)
• Analyser la donnée temps réel avec du Streaming

Public Cible

• Développeur
• Architecte

Prérequis

• Une expérience dans la contribution ou la gestion d'un projet informatique

Le programme

Module 1 : Fondamentaux et Implications Business

• Introduction au big data
• Architecture distribuée
• Implications business du big data et de l'architecture distribuée

Module 2 : Stockage

• Système de Gestion de Bases de Données
• NoSql
• Hadoop

Module 3 : Traitement Batch

• Mapreduce
• Dataflow engines
• Spark
• Rdd
• Rdd transformations et actions
• Spark architecture
• Spark, api de haut niveau
• Optimisation spark
• Spark sql, dataframes et datasets
• Choix de l’api

Module 4 : Traitement Streaming

• Streaming
• Spark streaming
• Spark structured streaming

Besoin d'aide pour trouver votre formation ?