DataScience-et-IA
Analyse de données
Analyse de données
En local
Lorsque le volume de données est faible et que le temps de traitement n'est pas une contrainte forte, l'analyse peut se faire facilement à partir du couple python/pandas.pandas permet de manipuler facilement des données : recherches, tris, jointures, ...pyarrow est un autre produit de manipulation de données. Plus rapide que pandas mais moins intuitif.
Au delà de la manipulation de données, le produit scikit-learn permet d'exploiter des algorithmes d'apprentissage automatiques en python : forêts aléatoires, régressions logistiques, k-moyennes, ...
- l'apprentissage basé sur des réseaux de neuronespytorch/caffe, tensorflow/keras
Distribution et clusters
Pour passer à de gros traitements, il est efficace de distribuer la donnée et de géolocaliser le calcul par rapport à la données.
Systèmes de stockage distribués :Hadoop, Cassandra, HBase, ...
Systèmes de calculs distribués :Spark, Dask, Storm, ...
Ces produits sont généralement exploitables en python.Scala et python sont parmi les langages les plus adaptés à ce type d'applications. Scala en tant que langage fonctionnel et Python par sa bibliothèque existante.
Visualisation
matplotlib, seaborn, bokeh, plotly, ...
Sujets connexes :
- IA - analyse et production de code informatique
- Programmation Scala
- IA - langage : NLP, traduction, analyse
- IA - conversationnel : Chatbot, ChatGPT, Google Gemini, AWS Lex
- Cycle certifiant Data scientist
- Flux de données avec Storm
- Spark, développer des applications pour le Big Data
- NoSQL : Apache Cassandra, mise en oeuvre et administration
- Cycle certifiant Développeur BigData
- IA - analyse, génération de sons : WaveNet, AWS Transcribe
- IA - Deep Learning : tensorflow, Caffe, Pytorch
- IA - traitement images : Keras, Pytorch, OpenCV
- Spark ML
- Machine Learning avec scikit-learn
- Python avancé : programmation scientifique
- Visualisation avancée de données avec Python
- BigData supervision:Grafana Kibana Graphite Prometheus
- NoSQL : les fondamentaux
- Les architectures et infrastructures pour le BigData
- BigData:intégration SQL avec Hive, Impala, Phoenix, Spark
- Etat de l'art du Big Data
- Dask, mise en oeuvre et programmation
- Apache Kafka
- Python avancé pour data-scientists
- Talend : intégration de données
- Cycle certifiant Développeur robotique