X

News Partenaire

Le modèle 1/1/1 vecteur de solidarité interne et externe

L'ensemble des collaborateurs de Salesforce donnent de leur temps dans le cadre du modèle 1/1/1 et ces actions sont de nature à renforcer la cohésion dans l'entreprise et contribuent au fait que très régulièrement Salesforce soit citée comme "Best Place to Work".


BIGDATA#4 : Des technologies en évolution constante

Les technologies pour mettre en œuvre le big data n’ont plus rien à voir  avec celles qui l’ont porté sur les fonts baptismaux il y a une dizaine d’années. Retour sur ces évolutions et description de l’état de l’art aujourd’hui.

Certains annonçaient la mort d’Hadoop et du Big Data. En réalité, c’est bien l’inverse dont il s’agit avec une évolution constante et une adaptation de la plate-forme aux besoins des utilisateurs. Mohamed Mahdi Benaissa le résume ainsi : « Hadoop a simplement changé d’identité. » Des traitements Map/Reduce de ses débuts, Hadoop a adapté sa plate-forme pour d’abord rendre les données plus interactives. C’est l’apparition des moteurs de requêtes comme Impala, qui réalisait la même chose que Hive (autre moteur de requête sur Hadoop), mais avec plus de réactivité. Dans la même veine, il existe AtScale (OLAP sur Hadoop) et LLAP (Live Long And Process). Les outils ajoutaient cet aspect interactif des données sur Hive. Maintenant les entreprises recherchent des traitements en temps réel. Ces traitements sont issus des applications qui se fondent sur l’Internet des Objets ou sur des cas où le facteur temps est essentiel comme la détection de la fraude. Le deuxième besoin vient de la possibilité d’analyser des données en flux. Streaming et temps réel ont donc fait évoluer l’écosystème d’Hadoop pour l’adapter à ces nouveaux besoins. On entend donc plus parler aujourd’hui de Spark, de Kafka ou même de Storm ou de NiFi – dont une version est devenue Hortonworks Data Flow – pour les plates-formes actuelles.

L’évolution touche l’ensemble de la plate-forme. Les entreprises ont tout d’abord refondu les entrepôts de données qui étaient en place pour des « data lakes », puis se sont tournées ensuite vers des stockages peu onéreux dans le Cloud comme Glacier ou des stockages objets de type S3 ou analogues. Certains ont choisi des NAS évolutifs horizontalement comme Qumulo. Plus récemment, du fait des coûts qu’engendrent le stockage sur ces plates-formes, les entreprises reviennent vers une approche hybride combinant un Cloud privé et les opportunités du Cloud public. La couche supérieure de l’orchestrateur a aussi connu quelques chamboulements. À l’origine, Yarn, le gestionnaire des ressources sur la plate-forme Hadoop, n’était pas conçu pour supporter les traitements en temps réel ou en streaming. Les développeurs se sont donc tournés vers les containers et Kubernetes pour exécuter ce type de tâches. Les dernières versions d’Hadoop (3.1 et 3.2, encore en Beta) apportent quelques aménagements avec la possibilité de modifier et d’optimiser par l’ajout d’attributs sur les nœuds de gestion (node manager) pour gérer une exécution sur des machines spécifiques. D’autre part le projet Hadoop Submarine, présent dans la 3.2, permet d’exécuter des traitements d’apprentissage machine ou d’apprentissage (Tensorflow) profond directement sur Yarn. Son slogan est « du Edge au Cloud ».

Quel que soit le moyen employé, les différents moteurs de traitement sur Hadoop correspondent chacun à des cas d’usage précis selon les besoins en temps de traitement, de latence, ou de volume des données à traiter. Une analyse précise est donc nécessaire pour bien choisir la plate-forme adéquate à l’adaptation des besoins du projet.

D’autres possibilités

Évidemment, il n’y a pas que Hadoop pour réaliser des projets de Big Data et nous avons commencé à l’évoquer lors des choix des plates-formes de stockage des données dans le Cloud. À la place de la plate-forme à l’Éléphant jaune, il est tout à fait possible d’utiliser un backend de stockage objet ou de scale-out NAS et d’y réaliser des traitements parallélisés sur les données pour obtenir des traitements analytiques. Microsoft, Google, AWS, IBM, Snowflake et bien d’autres l’autorisent aujourd’hui. Là encore les contraintes de latence, de temps de traitement et de coûts de la plateforme sont à prendre en compte avant de lancer le projet.

Ce que les utilisateurs attendent

Plus que les technologies, les utilisateurs de Big Data attendent certains choses de la plate-forme comme la possibilité d’intégrer les résultats des traitements dans d’autres applications. La plateforme doit de plus prendre en compte de nombreuses sources de données et des types de données différents. Des outils ou des plug-ins doivent simplifier les étapes de découverte ou d’exploration des données. Elle doit pouvoir supporter différents types de méthodes d’analyses. La plate-forme doit pouvoir s’adapter rapidement et suivre l’augmentation du volume des données tout en restant véloce et s’étendre en prenant en compte des données variables d’une source de données à l’autre. Ce dernier critère de variabilité devient d’ailleurs aujourd’hui plus important que le volume qui décrit la technologie. Cela doit permettre aussi à l’utilisateur de n’avoir à utiliser qu’une seule plate-forme pour son travail. Elle doit donc pouvoir s’intégrer facilement avec le reste du système d’information. Elle doit ainsi permettre de bien gérer les données tout en respectant les contraintes réglementaires ou de conformité à la loi comme le RGPD ou autres. La plate-forme doit être sécurisée en ce sens.

Des freins largement identifiés

Les principaux freins sont connus et restent cependant toujours présents. Le manque de ressources humaines et de spécialistes est toujours là et les data scientists ne se forment pas en un jour. Corp, dans son iconographie de présentation du Salon Big Data, parle d’un besoin de 130 000 emplois d’ici à 2020 pour des postes dont les salaires iraient de 45 000 à 65 000 € par an. Pas si mal aujourd’hui ! L’autre point noir – nous l’avons mis en exergue – porte sur la difficulté à convertir en bénéfice l’utilisation d’une plate-forme de Big Data. Les entreprises ont beaucoup de mal à identifier des retours sur investissements précis sur ces projets malgré les investissements lourds demandés. Un autre élément doit être pris en compte : l’impossibilité parfois d’expliquer les résultats des analyses en particulier dans l’utilisation de l’Intelligence artificielle créant ainsi une vision « boîte noire » qui fait reculer beaucoup de gens ou, tout du moins, renforce la résistance au changement face à ses technologies.

À l’analyse, les données vont toujours continuer à grossir et si on ne parle plus de Big Data, c’est parce qu’il est devenu la normalité dans les entreprises. En dix ans, celles-ci le maîtrise de mieux en mieux même si tout n’est pas encore parfait.

Cet article est paru dans le dossier Big Data de L'Informaticien n°175.



Inscription gratuite à la newsletter de L'Informaticien.


Noter cet article (de 1 = Nul à 5 = Excellent) Valider
Autres infos Big Data







Offres d'emploi informatique avec  Emploi en France
jooble

Vient de paraître

Aujourd'hui, les Directeurs Comptables et Financiers ont envie de dématérialiser leurs factures fournisseurs. C'est plutôt l'idée de devoir s'intégrer à un environnement multi-ERP déjà existant qui les freine. Mais est-ce réellement une barrière ? Dans son nouveau Livre Blanc, Esker explore ce sujet. En le téléchargeant, vous découvrirez comment la dématérialisation peut être une aubaine plutôt qu'un fardeau.


Actuellement, il existe un gouffre entre les environnements informatiques traditionnels des entreprises et le cloud public. Tout diffère : les modèles de gestion, de consommation, les architectures applicatives, le stockage, les services de données.


Les avantages de l’architecture hyperconvergée étant de plus en plus reconnus, de nombreuses entreprises souhaitent l’utiliser pour des types d’applications variés. Cependant, son manque de souplesse pour une mise à niveau des ressources de calcul indépendantes de celles de stockage ne lui permet pas d’être utilisée plus largement.

Au cours de l’événement HPE Discover qui s’est tenu en juin 2019, HPE a répondu à cette préoccupation en présentant la plateforme HPE Nimble Storage dHCI.

Ce Livre Blanc IDC se penche sur les exigences du marché ayant stimulé le besoin de solutions HCI plus flexibles, puis il examine brièvement la solution HPE Nimble Storage dHCI en expliquant pourquoi elle répond à ce besoin.


Découvrez dans ce livre blanc, les avantages des toutes nouvelles solutions NETGEAR, pour simplifier et rentabiliser vos déploiements, et gérer votre réseau à distance, où que vous soyez, au bureau ou en télé-travail.


Tous les Livres Blancs
Apple préfère ARM

Apple préfère ARM

La rumeur courait depuis plusieurs années. Elle a été confirmée à l’occasion de la Conférence développeurs WWDC 2020 : Apple divorce d’avec Intel. Les futurs ordinateurs de la marque...

Culture & Numérique

Culture & Numérique

Si la culture a pu être aussi avidement consommée lors du confinement, c’est avant tout parce que le secteur n’a pas attendu la Covid-19 pour faire sa transformation numérique. Une transformation qui s’est...

Project Reunion

Project Reunion

Microsoft a dévoilé à l’occasion de sa conférence annuelle Build, dédiée aux développeurs, les tout premiers contours de Project Reunion. L’objectif recherché est de faciliter le...

Télétravail & VPN

Télétravail & VPN

Alors que toutes les entreprises françaises ont été tenues de se tourner vers le télétravail lors de la période de confinement, le recours au Virtual Private Network s’est largement imposé...

Power over Ethernet

Power over Ethernet

Faciliter l’installation et la gestion d’un parc réseau tout en profitant de performances et de services innovants, voici les promesses de la technologie PoE (Power over Ethernet) ou Alimentation électrique par...

RSS
hardcore black fuck malay hijab fuck big black dick
Afficher tous les dossiers

POSTMORTEM cyberattaque région Grand Est - OUTILS : Endpoint Detection & Response, quel rôle doit jouer l'EDR pour protéger un parc informatique ? - Appliances firewall, l'essor de la virtualisation - CONFORMITÉ : Quelles conséquences pour les entreprises après l'annulation du Privacy Shield ? TECHNO : ORC, outil open source de collecte de données forensiques - TRIBUNE : Comment protéger les données à caractère personnel de ses collaborateurs tout en favorisant le télétravail ? - PROJETS : Campus Cyber, ça se précise !...

 

QUELLE IT POUR DEMAIN ? SaaS, Hybride, Shadow IT, Green IT... - Collaboration dans le Cloud : quelles alternatives à Office 365 ? - Intégration continue : les meilleurs outils et pratiques CI/CD - École 42 : le peer to peer learning ça fonctionne ! - Startups : les bonnes recettes de Yuka - 2010-2019 : la décennie qui changea l’information géographique...

 

IT DU MONDE D'APRÈS, IT DE DEMAIN (1) : automatisation, gestion de l'info, mobilité, sécurité - Health Data Hub - Le VPN meilleure solution pour le télétravail ? - Project Reunion Microsoft : retour des apps universelles - Power Over Ethernet, une avancée discrète - Pourquoi Apple choisit ARM plutôt qu'Intel ? - La Silicon Valley dans tous ses états - Produits high tech de loisirs du moment...

 

Afficher tous les derniers numéros
Derniers commentaires
Une supérette Amazon Go à Seattle, dans l'Etat de Washington, le 26 février 2020La paume à la place de la carte bancaire: Amazon a dévoilé mardi une technologie biométrique sans contact pour permettre aux clients de payer en magasin d'un simple mouvement de la main. [Lire la dépêche...]

Une technicienne vérifie les résultats d'un test en utilisant le Flash 20, une machine conçue par l'entreprise chinoise de biotechnologie Coyote pour réaliser des
dépistages rapides au nouveau coronavirus, le 27 septembre 2020 à PékinDépister le nouveau coronavirus en seulement 30 minutes: une entreprise chinoise produit la machine "la plus rapide du monde" pour les tests virologiques PCR et compte conquérir l'Europe et l'Amérique.  [Lire la dépêche...]

La France lance l'attribution des premières fréquences 5G, qui devrait rapporter plusieurs milliards d'euros à l'EtatAprès le faux départ, le début d'une course de fond dans un contexte électrique: la France, "en retard" dans le déploiement de la 5G selon le gouvernement, lance mardi l'attribution des premières fréquences, qui devrait rapporter plusieurs milliards d'euros à l'Etat. [Lire la dépêche...]

Une femme montre l'application Uber sur son smartphone à Londres le 22 septembre 2017  La société de réservation de voitures avec chauffeur Uber conserve le droit d'exercer à Londres pour 18 mois, selon une décision de justice bienvenue pour la plateforme dont l'activité est mise à mal par la pandémie. [Lire la dépêche...]

La France, Malgré le climat de défiance, le coup d'envoi des enchères 5G va enfin avoir lieu: la France, "en retard" dans le déploiement du futur réseau mobile au grand dam du gouvernement, lance mardi l'attribution des premières fréquences, qui devrait rapporter plusieurs milliards d'euros à l'Etat. [Lire la dépêche...]

Un juge américain a accordé un répit à TikTok dimanche soir, à quelques heures de l'entrée en vigueur d'une suspension de la populaire appli des platformes de téléchargement aux Etats-UnisUn juge américain a accordé un répit à TikTok dimanche soir, à quelques heures de l'entrée en vigueur d'une suspension de la populaire appli des platformes de téléchargement aux Etats-Unis, mais la saga politico-technologique continue. [Lire la dépêche...]

La directrice financière de Huawei Meng Wanzhou quitte son domicile à Vancouver pour rejoindre la Cour suprême de la Colombie-Britannique, le 28 septembre 2020 à VancouverLa procédure d'extradition vers les Etats-Unis d'une cadre de Huawei a repris lundi devant un tribunal canadien, ses avocats accusant la justice américaine d'avoir "trompé de façon flagrante" le Canada sur ses crimes présumés dans le but d'obtenir son arrestation. [Lire la dépêche...]

Epic Games, l'éditeur du jeu Fortnite, va tenter lundi de convaincre un juge californien qu'Apple doit immédiatement remettre ses jeux sur l'App StoreEpic Games, l'éditeur du jeu Fortnite, va tenter lundi de convaincre un juge californien qu'Apple doit immédiatement remettre ses jeux sur l'App Store, bien que l'éditeur contourne depuis plusieurs semaines les commissions du fabricant de l'iPhone, qu'il juge "tyranniques". [Lire la dépêche...]

Toutes les dépêches AFP
AgendaIT

SSI SANTÉ

Le 8ème Congrès National de la Sécurité des SI de Santé a lieu du 29 septembre au 1er octobre 2020 au Mans. Organisé par l'Apssis (Association Pour la Sécurité des Systèmes d'Information de Santé).

LES ASSISES

Grand rendez-vous annuel des RSSI, les Assises de la cybersécurité se tiennent à Monaco (Grimaldi Forum) du 14 au 17 octobre 2020. Organisées par DG Consultants / Comexposium.

READY FOR IT

La nouvelle édition de Ready For IT se déroule du 17 au 19 novembre 2020 à Monaco (Grimaldi Forum) : conférences, keynotes, ateliers et rendez-vous one-to-one. Organisé par DG Consultants.

RSS
hardcore black fuck malay hijab fuck big black dick
Voir tout l'AgendaIT