X

Uber fait confiance à Kafka

Le spécialiste du VTC a développé une architecture particulièrement performante en s’appuyant sur le projet Open Source Kafka de l’Apache Software Foundation.

Initialement développé par LinkedIn et mis en open source à partir de 2011, Kafka est un système de distribution de messages à faible latence. Si plusieurs grandes entreprises de technologie s’appuient sur cet outil développé en Scala (Salesforce, Netflix, Spotify), c’est certainement Uber aujourd’hui qui pousse le projet le plus loin compte tenu du volume de données qui transitent sur ses plates-formes. A l’occasion de l’Apache Big Data Conference qui se tient actuellement à Séville, Ankur Bulsal, l’un des tops développeurs d’Uber, a expliqué le fonctionnement de la plate-forme au sein de l’entreprise de VTC.

Une appli stratégique

En premier lieu, Kafka est utilisé pour un ensemble très important de décisions qui sont prises par Uber. La plus stratégique est sans doute le calcul du prix de la course en fonction de l’offre et de la demande de chauffeurs dans une zone déterminée ou encore le calcul de délais de livraison pour le service UberEats en fonction du trafic, de la nature de la commande. Pour ne pas se tromper ce sont des millions de messages qui sont échangés en temps réel entre les applications des clients, celles des chauffeurs et les centres de données de l’entreprise.

Pour assurer une latence minimale et une fiabilité maximale, Uber a donc fait le choix de la plate-forme Kafka laquelle a été sensiblement améliorée pour répondre aux demandes. En effet, Kafka gère plus de 100 milliards de messages par jour pour un volume quotidien supérieur à 100 To dans les différents centres de données du groupe. La plate-forme doit pouvoir encaisser 1000 milliards de messages, ce qui pourrait être une situation quotidienne d’ici quelques mois. Il faut également que chaque message soit délivré en moins de 5 millisecondes avec un taux de fiabilité de 99,9% ; le tout dans un environnement multi-langue, avec des dizaines de milliers de clients en même temps et des données stockées et redondées dans différents datacenters.

Des projets maison dispos en open source

Pour répondre à ces impératifs, le vtciste a donc poussé à bout la machine en utilisant non seulement l’architecture de base mais en la complétant avec un Proxy Rest, de nombreux clusters, de nouvelles bibliothèques dans les applications clientes, des agents locaux conçus en interne baptisés ureplicator, un système d’audit et de contrôle nommé Chaperone ainsi que des options nouvelles de partitionnement.

Nous reviendrons en détail sur les différents composants de cette architecture dans le numéro 153 de notre magazine disponible début décembre. D’ici là, il est possible de retrouve le projet ureplicator sur Github.


Inscription gratuite à la newsletter de L'Informaticien.


Noter cet article (de 1 = Nul à 5 = Excellent) Valider

Dossier L'1FO

RGPD : serez-vous prêt ? (2)

Comment s'attaquer à cet énorme projet de mise en conformité RGPD autrement qu'en commençant par dresser une cartographie des processus de l'entreprise ? Une première étape indispensable avant de s'astreindre à tenir à jour un registre des traitements des données.  Fin de l'article paru dans le n°157 de L’Informaticien.

Afficher tous les dossiers
Offres d'emploi
RSS
12

Lancez votre recherche sur la rubrique Emploi avec notre partenaire

News Mag-Securs
12345

Retrouvez actualités, dossiers et communiqués sur la sécurité du système d'information sur le portail Mag-Securs

LIVRES BLANCS

Une étude Ponemon sur les coûts liés aux failles de sécurité en France, un Livre Blanc 3M France

IBM et Ponemon Institute ont réalisé une étude en 2016 sur les coûts liés aux brèches de sécurité. L'étude a été accomplie dans de nombreux pays dont la France. Il ressort de cette étude que les coûts ont augmenté en passant de 134 € à 141 € par personne. Et, en moyenne, le coût pour une entreprise s'élève désormais à 3,4 millions d'euros. 


Les nouvelles possibilités du Service Management, un Livre Blanc easyvista.

La transformation numérique des entreprises offre de nouveaux champs d’actions en matière de services rendus aux utilisateurs et ce afin d’améliorer leur vie quotidienne et leur productivité. 


Infrastructure IT gérée dans le cloud, un Livre Blanc Cisco Meraki et Inmac-WStore.

Ce Livre Blanc traite des tendances informatiques modernes et explique comment les produits Cisco Meraki fonctionnent en synergie pour fournir une solution informatique globale, fiable et complète pour les entreprises.


Comment choisir la solution de surveillance réseau adéquate ?  Un Livre Blanc Paessler.

Pour que son infrastructure informatique lui donne entière satisfaction, toute entreprise doit pouvoir compter sur un réseau haute performance. Pour maintenir la fluidité des procédures, tous les processus doivent fonctionner de manière fluide, y compris les communications internes et externes entre sites de l’entreprise, ainsi qu’avec les clients et partenaires. Les dysfonctionnements et pannes des processus opérationnels provoquent facilement des pertes de temps et surtout d’argent.


Stockage Flash : 1 000 utilisateurs témoignent, un Livre Blanc HPE.

1 000 responsables informatiques ont été interrogés à l'initiative d'HPE afin de relater les "surprises", bonnes et mauvaises qu'ils ont rencontré lors du déploiement puis l'utilisation de solutions de stockage Flash. L'essentiel des configurations et des utilisations ont été passées en revue pour ce qui constitue la plus grande enquête jamais réalisée sur ce thème et qui permet à chacun de préparer au mieux sa propre voie d'évolution, ceci en évitant les écueils qu'ont pu rencontrer les professionnels interrogés. 


Tous les Livres Blancs
Le Kiosque

SMART CITY : de l'IT pour piloter les villes - Maîtrisez Windows 10 CREATORS UPDATE - Mettons les robots dans les nuages ! - Comment le BACKUP se réinvente - Créez un projet ARDUINO avec Circuito - Rencontre avec David Fayon : « Comment la France peut devenir la tête de pont du numérique en Europe »...

 

STOCKAGE CLOUD : un casse-tête pour la DSI ! - Règlement européen RGPD : la parole aux entreprises qui s'y mettent - Microsoft Build : toutes les annonces - Wanacrypt : récit d'une cyberattaque historique - French Tech Brest+ - Nginx, nouveau standard de serveur web - Chatbots : l'interface de demain ?...

 

Afficher tous les derniers numéros
Derniers commentaires
Fil AFP
Techno et Internet
Participants au Websummit 2016 à Lisbonne le 9 novembre 2016L'ancien président François Hollande prendra la parole à l'occasion du Web Summit, une conférence internationale sur l'innovation numérique organisée du 6 au 9 novembre à Lisbonne au Portugal, ont annoncé mardi les organisateurs dans un communiqué. [Sommaire]

Facebook a décidé lundi de rendre plus visible et accessible à tout moment sa fonction Facebook a décidé lundi de rendre plus visible et accessible à tout moment sa fonction "Safety Check", qui permet à ses utilisateurs d'indiquer à leurs proches qu'ils sont en sécurité après un événement dramatique, une annonce qui intervient après de nouveaux attentats en Europe. [Sommaire]

Le groupe technologique japonais Fujitsu est confronté depuis plus d'une décennie à une concurrence multiple Le groupe technologique japonais Fujitsu a indiqué mardi envisager de s'allier à un tiers pour son activité de mobiles, en réponse à une information de presse selon laquelle il cesserait le développement et la production de ses smartphones. [Sommaire]

La Ligue nationale de football américain signe un accord  de trois ans avec Tencent pour les droits de retransmission en streaming en ChineLa Ligue Nationale de Football américain (NFL) a annoncé lundi un accord de trois ans avec Tencent, mastodonte chinois du jeu vidéo et du web, pour lui concéder les droits de retransmission en streaming en Chine, où la plus riche des compétitions sportives au monde se développe.  [Sommaire]

Un manifestant à Charlottesville le 12 août 2017Après la fermeture par des géants d'internet de sites aux contenus racistes suite aux violences de Charlottesville, les Etats-Unis se posent avec une urgence renouvelée la question des menaces pesant sur la sacro-sainte liberté d'expression.       [Sommaire]

Elon Musk, président de SpaceX et Tesla, à Washington le 19 juillet 2017Une centaine de responsables d'entreprises de robotique ou spécialisées dans l'intelligence artificielle, dont le milliardaire Elon Musk, ont écrit une lettre ouverte aux Nations Unies pour mettre en garde contre les dangers des armes autonomes, surnommées "robots tueurs". [Sommaire]

Des iPhones Apple vendus à Singapour, le 27 mai 2017Apple et Samsung, qui vont prochainement dévoiler de nouveaux smartphones, sont toujours à la recherche de la formule magique pour préserver leur domination face à la concurrence chinoise, sur fond de ralentissement du marché. [Sommaire]

Antoine Blondeau, le co-fondateur de Sentient Technologies, plateforme spécialisée dans l'Intelligence artificielle à Hong Kong, le 12 juillet 2017 C'est l'année 2050 et vous êtes au centre du monde. Du contenu du frigo à la température du salon, des assistants numériques assurent la bonne marche de la maison. Les écrans diffusent les émissions que vous voulez voir dès que vous entrez dans la pièce. Votre voiture n'a pas de chauffeur et votre barman préféré est peut-être un androïde. [Sommaire]

Patron emblématique mais controversé, Travis Kalanick avait dû démissionner en juin sous la pression d'investisseurs soucieux de redorer l'image d'UberL'ex-patron d'Uber Travis Kalanick, poursuivi en justice par un important investisseur du groupe de réservation de voitures avec chauffeur, affirme être victime d'une attaque personnelle destinée à l'écarter complètement et demande l'arrêt de la procédure. [Sommaire]

L'action du géant informatique indien Infosys a plongé à la Bourse de Bombay après l'annonce de la démission de son PDG Vishal Sikka Le géant informatique indien Infosys a annoncé vendredi la démission de son PDG Vishal Sikka, sur fond de relations délétères avec certaines figures historiques de l'entreprise. [Sommaire]

Toutes les dépêches AFP

AgendaIT

IFA

Le plus grand salon professionnel européen de l'électronique grand public a lieu à Berlin du 3 au 6 septembre 2017. Organisé par Messe Berlin.

SALONS SOLUTIONS

Les Salons Solutions - ERP, CRM, BI et Big Data, E-Achats, Demat'Expo, Serveurs & Applications - se tiennent du 26 au 28 septembre 2017 à Paris, Porte de Versailles. Organisés par Infopromotions.
Conférence francophone sur la méthodologie "devops" en entreprise le 2 octobre 2017 à Paris (Grand Rex). Organisé par devopsdays.

MICROSOFT EXPERIENCES'17

Deux jours de conférences et 10000 m2 d'espaces d'échange pour s'immerger dans les innovations du numérique les 3 et 4 octobre 2017 à Paris, Palais des Congrès de la Porte Maillot. Organisé par Microsoft.

SMART CITY + SMART GRID

Exposition, contérences et ateliers, le salon de la ville et des territoires intelligents, durables et connectés Smart City + Smart Grig se tient les 4 et 5 octobre 2017 à Paris, Porte de Versailles (Pavillon 2.2). Organisé par Infopromotions.

HUBFORUM

Deux jours de conférences, de workshops et de networking pour tirer parti des meilleures pratiques du marché à Paris, Maison de la Mutualité les 10 et 11 octobre 2017. Organisé par Hub Institute.

LES ASSISES

Grand rendez-vous annuel des RSSI, les Assises de la sécurité des systèmes d'information se tiennent à Monaco (Grimaldi Forum) du 11 au 14 octobre 2017. Organisées par DG Consultants.
Voir tout l'AgendaIT