Etude et prototypage de solutions autour des stream processing

Depuis une vingtaine d’années, les données générées n’ont fait que s’accroître. Actuellement nous produisons annuellement une masse de données très importante estimée à près de 3 trillions (3.1018) d’octets de données. On estimait ainsi en 2016 que 90 % des données dans le monde avaient été créées au cours des deux années précédentes. Selon le rapport IDC1 2014, en 2013, il y avait presque autant de bits dans l’univers numérique qu’il n’y a d’étoiles dans l’univers physique soit 4,4 ZETABYTES2. A cause de la croissance exponentielle observée, surtout dans les objets connectés, la prévision pour 2020 est de 40 ZETABYTES. Il apparait évident que les données deviennent de plus en plus difficiles à maîtriser avec les systèmes traditionnels de gestion de données à cause de leur volumétrie, de leur variété et de leur vélocité. Les enjeux de la maîtrise des données massives concernent tous les secteurs aussi bien sur le plan scientifique, politique, social qu’économique. Nous aborderons dans ce livre des solutions et outils pour traiter massivement des données en temps réel.