Projet Big Data

Objectif

Réalisation d'un système de traitement de données de type "Big Data" sur un cluster « mobile »

Matériel

16 Odroids
16 disques SSD 220G
Switch réseau, 1Gb/s par Odroid
5V-60A par Odroid

La ferme est hébergée dans des cubes en plexiglass transparent pour être visible de l'extérieur. Des ventilateurs la refroidissent en permanence.

Contraintes

Données distribuées
Calculs distribués
Resistance aux pannes
Calculs rapides

Mise en oeuvre technique

Les Odroids

Modèle: HC1
8 coeurs à 2 GHz
Processeur ARM
Ventilation externe et contrôle de la température
Linux + JVM pour Spark et Cassandra

Supervision

Les données sont remontées du cluster via SSH et JMX, puis affichées sur une console de supervision.

Données utilisées

Les données utilisées pour la démonstration sont les informations concernant les positions de satellites au cours du temps fournies par le NORAD.

Elles sont importées brutes dans un lac primaire de données Cassandra, puis transformées pour être rangées en tables métiers suivant les besoins. Les calculs sont réalisés dessus par Spark au bout de la chaîne de traitement.

Stockage

Base de données Cassandra
Stockage clé-valeur
La clé détermine la machine de stockage
Pas de noeud "master"
Réplication automatique des données

Calculs distribués

Avec Spark:

Un master et N workers
Les opérations classiques sont effecutées: filter, map, reduce

Phirio

01 55 33 52 10
info@phirio.fr

Calendrier

Nos promotions
30% de remise sur le tarif catalogue

Developpement Web avec Bootstrap	du 22 au 23 avril
Zabbix administration	du 22 au 24 avril
Elasticsearch : indexation de contenu	du 23 au 24 avril
Elastic Stack pour administrateurs	du 25 au 26 avril
Neo4J : graphes et analyses	du 29 au 30 avril
Les architectures et infrastructures pour le BigData	du 14 au 15 mai
Utilisation de Kibana	le 16 mai
Architecture cloud d'entreprise	du 22 au 24 mai
Dataiku DSS	du 27 au 28 mai
Python avancé pour data-scientists	du 10 au 13 juin
BigData supervision:Grafana Kibana Graphite Prometheus	du 12 au 14 juin
Développement web avec Django	du 18 au 20 juin
Spark, développer des applications pour le Big Data	du 19 au 21 juin
Supervision avec prometheus et Grafana	du 26 au 28 juin

Intelligence artificielle
Intelligence artificielle : Etat de l'art (OpenAI ChatGpt, Google Gemini, AWS Lex)	22/04-23/04 30/05-31/05 03/07-04/07 26/08-27/08 25/11-26/11
IA - Deep Learning : tensorflow, Caffe, Pytorch	02/04-04/04 19/06-21/06 21/10-23/10 04/11-06/11 19/12-20/12
IA - langage : NLP, traduction, analyse	21/05-22/05 12/09-13/09 12/12-13/12
IA - traitement images : Keras, Pytorch, OpenCV	03/06-05/06 14/10-16/10 16/12-18/12
IA - conversationnel : Chatbot, ChatGPT, Google Gemini, AWS Lex	03/07-04/07 24/10-25/10 07/11-08/11 04/12-05/12
IA - analyse, génération de sons : WaveNet, AWS Transcribe	29/05-30/05 09/09-10/09 20/11-21/11
IA - analyse et production de code informatique	23/05-24/05 17/10-18/10 02/12-03/12
TensorFlow avancé	06/06-07/06 24/09-25/09 12/11-13/11
Data-science
Machine learning, l'état de l'art	08/04-09/04 01/07-02/07 07/10-08/10 09/12-10/12
Machine Learning avec scikit-learn	08/04-09/04 17/06-18/06 16/09-17/09 14/11-15/11
Python avancé pour data-scientists	22/04-25/04 10/06-13/06 07/10-10/10 09/12-12/12
Spark ML	10/04-11/04 24/06-25/06 23/09-24/09 18/11-19/11
Dataiku DSS	27/05-28/05 04/09-05/09 12/11-13/11
Dataiku DSS avancé : labs	29/05-29/05 06/09-06/09 14/11-14/11
Neo4J : graphes et analyses	29/04-30/04 26/08-27/08 14/11-15/11
Les fondamentaux de l'analyse statistique avec R	08/04-09/04 24/06-25/06 21/10-22/10
Data-engineering
Spark, développer des applications pour le Big Data	24/04-26/04 19/06-21/06 28/08-30/08 27/11-29/11
Dask, mise en oeuvre et programmation	13/05-15/05 08/07-10/07 30/09-02/10 16/12-18/12
Talend : intégration de données	26/06-28/06 23/10-25/10 16/12-18/12
Apache Kafka	13/05-15/05 26/08-28/08 02/12-04/12
Flux de données avec Storm
Hadoop : développement	11/07-12/07 03/10-04/10 19/12-20/12
ElasticStack : présentation	22/04-22/04 08/07-08/07 21/10-21/10 16/12-16/12
Elasticsearch : indexation de contenu	23/04-24/04 09/07-10/07 22/10-23/10 17/12-18/12
BigData:intégration SQL avec Hive, Impala, Phoenix, Spark	04/07-05/07 07/10-08/10 12/12-13/12
Big Data
Etat de l'art du Big Data	13/05-13/05 02/09-02/09 25/11-25/11
Les architectures et infrastructures pour le BigData	14/05-15/05 03/09-04/09 26/11-27/11
Hadoop : l'écosystème	13/05-13/05 02/09-02/09 25/11-25/11
NoSQL : les fondamentaux	30/05-31/05 05/09-06/09 28/11-29/11
NoSQL : Apache Cassandra, mise en oeuvre et administration	03/06-05/06 16/09-18/09 09/12-11/12
NoSQL : MongoDB, mise en oeuvre et administration	21/05-23/05 09/09-11/09 18/11-20/11
Hadoop : HBase, mise en oeuvre et administration	06/05-07/05 19/09-20/09 05/12-06/12
Hadoop Cloudera : administration	02/04-04/04 19/06-21/06 14/10-16/10
Elastic Stack pour administrateurs	25/04-26/04 11/07-12/07 24/10-25/10 19/12-20/12
SQL
SQL pour non informaticiens	13/05-15/05 01/07-03/07 25/11-27/11
SQL : les fondamentaux	21/05-23/05 28/08-30/08 02/12-04/12
MySQL : prise en main et administration	22/04-24/04 03/07-05/07 23/09-25/09 16/12-18/12
PostgreSQL : Administration	08/07-10/07 21/10-23/10 16/12-18/12
PostgreSQL : administration avancée	11/07-12/07 24/10-25/10 19/12-20/12
MariaDB : Administration	13/05-15/05 01/07-03/07 16/10-18/10 09/12-11/12
Infrastructures techniques/Cloud
Cloud : technologies et enjeux	21/05-21/05 02/09-02/09 02/12-02/12
Architecture cloud d'entreprise	22/05-24/05 03/09-05/09 03/12-05/12
OpenStack : installation et administration	27/05-29/05 09/09-11/09 09/12-11/12
Stockage distribué avec Ceph	10/06-11/06 12/11-13/11
Infrastructures techniques/Orchestration
Etat de l'art des solutions d'orchestration	27/05-29/05 09/09-11/09 09/12-11/12
Ansible, automatiser la gestion des serveurs	22/04-23/04 17/06-18/06 16/09-17/09 02/12-03/12
Puppet : automatiser la gestion de ses configurations	02/05-03/05 02/09-03/09 09/12-10/12
Chef, automatiser la gestion des serveurs	29/04-30/04 09/07-10/07 03/10-04/10 19/12-20/12
Terraform, orchestrer la configuration de votre infrastructure	29/04-30/04 24/06-25/06 29/08-30/08 12/12-13/12
Infrastructures techniques/Virtualisation
Virtualisation avec KVM
Virtualisation avec lxc
Docker, créer et administrer des conteneurs virtuels d'applications	27/05-29/05 02/09-04/09 02/12-04/12
Kubernetes : optimisation des conteneurs	30/05-31/05 05/09-06/09 05/12-06/12
Réseaux virtuels avec OpenvSwitch
Infrastructures techniques
Serveur WEB : apache	24/04-26/04 19/06-21/06 18/09-20/09 04/12-06/12
Serveur Nginx	08/04-10/04 26/06-28/06 07/10-09/10 11/12-13/12
Linux/unix introduction	24/06-26/06 07/10-09/10 02/12-04/12
Le Shell	02/04-03/04 27/06-28/06 10/10-11/10 05/12-06/12
Administration Linux	08/04-12/04 01/07-05/07 14/10-18/10 09/12-13/12
Administration avancée Linux	22/04-26/04 08/07-12/07 21/10-25/10 16/12-20/12
Haute disponibilité Linux
Blockchain : mise en pratique	27/05-28/05 23/09-24/09 02/12-03/12
Gestion de Parc avec GLPI	24/04-26/04 19/06-21/06 18/09-20/09 04/12-06/12
Supervision infrastructures
Zabbix administration	22/04-24/04 08/07-10/07 30/09-02/10 16/12-18/12
Supervision avec prometheus et Grafana	02/04-04/04 26/06-28/06 02/09-04/09 20/11-22/11
BigData supervision:Grafana Kibana Graphite Prometheus	12/06-14/06 25/09-27/09 06/11-08/11
Mise en oeuvre SNMP
Développement
Les bases de la programmation
Git : Gestion du contrôle de versions	13/05-14/05 02/09-03/09 12/11-13/11
Programmation Python	13/05-16/05 08/07-11/07 30/09-03/10 02/12-05/12
Python avancé : programmation scientifique
Jupyter Notebook	02/04-02/04 17/06-17/06 22/09-22/09 18/11-18/11
Le langage Go	22/04-25/04 08/07-11/07 30/09-03/10 09/12-12/12
Programmation Scala	24/04-26/04 26/06-28/06 09/10-11/10 16/12-18/12
Langage C++ initiation
Visualisation de données
Concevoir une interface graphique en Python	21/05-23/05 02/09-04/09 27/11-29/11
Visualisation avancée de données avec Python	03/04-05/04 03/06-05/06 15/09-17/09 12/11-14/11
Qlik Sense - create visualizations	13/05-14/05 11/07-12/07 14/10-15/10 09/12-10/12
Tableau Desktop - Exploitation de données	22/04-23/04 08/07-09/07 07/10-08/10 19/12-20/12
Utilisation de Kibana	16/05-16/05 03/07-03/07 09/10-09/10 21/11-21/11
Développement web avec Django	08/04-10/04 18/06-20/06 23/09-25/09 16/12-18/12
Developpement Web avec Bootstrap	22/04-23/04 04/07-05/07 07/10-08/10 09/12-10/12
Angular JS développement	24/04-25/04 08/07-09/07 07/10-08/10 02/12-03/12
Embarqué et robotique
Initiation au langage C
Perfectionnement en langage C
Programmation système en langage C
Programmation noyau drivers C
IoT - Etat de l'art de l'internet des objets connectés	03/06-04/06 09/09-10/09 02/12-03/12
Conception robotique avec ROS	05/06-07/06 11/09-13/09 04/12-06/12
Computer Vision : OpenCV, Jetson	10/06-12/06 16/09-18/09 09/12-11/12
Simulation avec Gazebo	13/06-14/06 19/09-20/09 12/12-13/12
Cycles certifiants métiers
Cycle certifiant Architecte BigData
Cycle certifiant Développeur BigData
Cycle certifiant Administrateur BigData
Cycle certifiant Data scientist
Cycle certifiant Développeur robotique
Serious Games
Serious Game : architecture BigData	06/06-06/06 17/10-17/10
Serious Game : supervision infrastructure BigData	02/05-03/05 01/07-02/07 04/11-05/11
Serious Game : implémentation réseau de neurones	24/04-25/04 01/07-02/07 07/10-08/10 16/12-17/12
Serious Game : création d'un assistant IA	26/04-26/04 05/07-05/07 10/10-10/10 15/11-15/11 19/12-19/12
Serious Game Data Engineer