Consultant Big Data & Business Intelligence

Social Network analysis

Dans une équipe de 5 personnes pour un projet au forfait, j’ai eu la responsabilité des développements Big Data et j’ai été en charge de réaliser l’architecture BigData d’une plateforme de collecte et d’analyse de données issues des Réseaux Sociaux.

La plateforme devait collecter les données sur Twitter, Facebook et Youtube quotidiennement en fonction de critères dynamiques stockés en base de données, puis les mettre à disposition de la plateforme de traitement Big Data (HDInsight) et enfin les présenter dans les outils de Self Service BI de Microsoft.

Les tâches qui m’étaient confiées :
• Définition de l’architecture BigData
• Développement des traitements HDInsight (UDF)
• Automatisation du déploiement de Cluster HDInsight dans Azure