Le 29 Octobre 2014 Microsoft annonçait, lors des TechEd Europe 2014, la sortie en Preview de deux nouveaux services autour de la donnée : Stream Analytics et Data Factory.
Overview
- Event Hubs
Service en ligne (désormais en GA) permettant de collecter et de diffuser en temps réel des millions d’évènements.
A l’heure du Big Data les données proviennent de nombreuses sources, telles que les voitures connectées, les compteurs de performances d’applications, les capteurs (Internet of Things, IoT) ou encore les applications mobiles qui capturent des données à chaque action d’un utilisateur.
La configuration des partitions lui permet de recevoir jusqu’à 1 million d’évènements par seconde.
L’envoi d’événements peut se faire soit en utilisant un HTTP POST ou via le protocole AMQP 1.0 (Advanced Message Queuing Protocol).
- Stream Analytics
Stream Analytics est un service en ligne permettant le traitement d’évènement complexe en temps réel.
Il est possible d’agréger à la voler, de corréler les évènements avec d’autres sources de données (Reference data).
Stream Analytics tire parti du Cloud Azure : simplicité de commissionnement, garantie de disponibilité (SLA 99,9 %), élasticité, scalabilité, …
Stream Analytics permet de gagner du temps en apportant une couche d’abstraction proche du langage SQL (Query).
Les évènements peuvent aussi être archivés pour une utilisation future (traitement dans HDInsight).
- Data Factory
Les prémices d’un ETL dans le Cloud ! Orchestration et gestion de diverses sources données :
Azure Stream Analytics
Voici où se situe Stream Analytics :
Mais pourquoi l’analyse en temps réel ?
Le monitoring en temps réel permet de prévenir et d’optimiser dans le but d’être réactif.
De prévenir :
- Voiture connectée : Eviter les bouchons
- Smart Grid : Création d’une alerte si par exemple la température d’un bâtiment augmente de 10%
- Gestion des stocks : Supply chain
- Détection de fraudes
D’optimiser :
- Suivi en temps réel des ventes : Création d’offres promotionnelles
- Analyse de Click Stream : Etudier le comportement des internautes grâce à l’analyse des chemins empruntés sur le site en temps réel
- Alertes de portefeuille financier en temps réel : cours des actions en live
Avec l’arrivée de l’analyse des réseaux sociaux, des objets connectés, … l’usage de l’analyse en temps réel sur des volumétries de plus en plus grosses permet d’accroître le business tout en étant réactif.
Le service n’est pas compliqué à appréhender, après avoir créé le Namespace, le ou les Event Hubs, configurer les Inputs, l’Output et la Query, Azure Stream permet de filtrer, analyser et agréger des données à la volée. Et parce que la notion de temps est fondamentale pour les systèmes de traitement d’événements complexes, Stream Analytics possède des fonctions permettant d’agréger aux files de l’eau les données.
En 2009, je me rappelle avoir rédigé un compte rendu sur une présentation faite par Philippe Nieuwbourg « Séminaire en ligne de présentation des tendances de la Business Intelligence pour 2015 » et l’une des tendances était le temps réel. Je vous laisse voir/revoir les slides du webcast, la plupart des tendances en 2009 sont aujourd’hui et plus que jamais d’actualité ! (slide).
L’onglet Scale permet d’augmenter ou de diminuer dynamiquement la capacité des traitements.
Le service a cependant certaines limites, pour moi la plus importante est le fait d’avoir qu’une seule sortie possible, j’aimerais pouvoir enregistrer les données dans un Azure Blob Storage tout en faisant transiter les données dans un autre Event Hubs pour pouvoir les analyser à la volée et ainsi se rapprocher d’une architecture Lambda.
Je ne vais pas en dire plus dans cet article, je vous invite à venir voir notre session lors des Journées SQL Server 2014 🙂
Journées SQL Server 2014
Lors des #JSS2014 nous présenteront avec Benjamin Guinebertière l’analyse en temps réel d’évènements fréquents:
– Des scénarios d’usage
– Comment utiliser Storm et HBase pour analyser de grandes volumétries de données en temps réel
– Comment utiliser le service Azure Stream Analytics pour analyser en temps réel des évènements complexes
– Des démos 🙂
Pour vous inscrire à la session : Big Data & Real Time
Pour rappel, l’évènement est gratuit et se déroulera le Lundi 1er Décembre et le Mardi 2 Décembre 2014 au Centre de Conférences Microsoft 41 quai du Président Roosevelt, Issy-les-Moulineaux.
Pour vous inscrire à l’évènement : http://guss.pro/2014/12/01/journees-sql-server-2014/
Compléments
- Vidéo d’introduction à Azure Stream Analytics : Channel9
- Introduction to Azure Stream Analytics
- Get started with Stream Analytics
- Limits in the Stream Analytics preview release
- Developer guide for Stream Analytics
- Query language reference for Stream Analytics
- REST API reference for Stream Analytics
- Scale Stream Analytics jobs
Comments are closed.