Cohabitation BI et Big Data

Technologies Business Intelligence, de quoi parle-t-on ?

Les technologies de stockage dites “traditionnelles” ou “Business Intelligence”, sont représentées principalement par les systèmes de gestion de bases de données relationnelles (SGBDR) distribués ou non.

Leurs principales caractéristiques sont les suivantes :

• Les données stockées doivent respecter la structure et le format que l’on définit au tout départ, lors de la création de la base de données. On est ainsi sûr de ce que l’on a dans les bases car c’est ce que l’on a défini en amont. La cohérence en tout temps des informations dans la base de données est garantie.
• Le principal langage de manipulation est le SQL qui est “assez simple” et très bien connu dans le monde du décisionnel.

La principale force des SGBDR est leur robustesse. Dans le cadre du Big Data, c’est également leur principale faiblesse, car cette robustesse implique un allongement des temps de traitement des données, et complexifie l’analyse des données dites non-structurées (vidéos, textes, etc.), or Vitesse et Variété des données sont deux des 3 piliers du Big Data.

Et que sont les technologies dites de “Big data” ?

 Il existe beaucoup de nouvelles technologies classées dans la catégorie “Big Data”. Elles peuvent être très différentes les unes des autres, mais globalement elles ont toutes les caractéristiques suivantes :

• Elles permettent d’avoir des schémas de stockage dynamiques (la donnée en entrée impose son format, celui-ci ne lui est pas imposé comme dans un SGBDR).
• Leurs langages d’interrogation permettent nativement des analyses plus fines de tous types de données mais peuvent s’avérer plus compliqués que le SQL.

Certaines bases NoSQL et certains modules de l’écosystème Hadoop (technologie phare du Big Data) permettent tout de même de retrouver une logique proche de celle des systèmes relationnels mais pas encore de manière optimale (comme Hive dont nous reparlerons ! ).

Pour en savoir plus sur les technologies Big data et Bi cf. article : Technologies Bi et Big Data

Peut-on combiner toutes ces technologies ?

Ces technologies peuvent s’avérer complémentaires :  les SGBDR pour la robustesse et les nouvelles technologies ‘Big Data’ pour la flexibilité.

De plus, nombreuses sont les sociétés ayant déjà un système “classique” dans lequel elles ont déjà beaucoup investi.

De ce fait, les entreprises qui choisissent de se tourner vers le Big Data ont souvent deux voir plus de systèmes de stockage :

• Un SGBDR, qui est souvent la plateforme historique
• Une ou plusieurs plateformes NoSQL ou Hadoop qui vont servir dans un premier temps comme plateforme “d’Analytics” ou de R&D, pour les données difficilement analysables sur l’autre plateforme, du fait de leur volumétrie, de leur format, de la nécessité du temps réel, etc.

Cela donne souvent les architectures suivantes :

Les données pas forcement volumineuses et qui sont structurées telles que les référentiels, données clients, transactions, etc. continues à être pousser dans un système relationnel.

Les données volumineuses et inexploitables sous forme brute telles que les logs machine accompagnées parfois par des données Open (Open Data) ou issues du web, sont poussées dans des plateformes Big data. Une fois ces données travaillées, agrégées, analysées, elles ne représentent souvent pas forcement une grosse volumétrie et sont structurées. Elles peuvent être ainsi rapatriées dans le système relationnel afin de pouvoir réaliser des analyses complémentaires.

Dans certains systèmes va être mis en place une couche de virtualisation qui va contenir un model de données, mais celles-ci peuvent être stockées sur plusieurs systèmes. Cela permet d’éviter le transfère de données et la redondance de stockage :

Ce genre d’architecture est vrai à l’heure actuelle car il n’existe pas encore de plateforme permettant de regrouper toutes les caractéristiques de stockage existantes. Et de ce fait de répondre à toutes les problématiques (relationnelle, graphe, fichier, colonne). Même si l’écosystème Hadoop tend de plus en plus dans cette direction.

Article écrit par Anne-Sophie LAUGIER et Louis-Baptiste FRANCE