X
News Partenaire
Les solutions de surveillance réseau

Ce que vous devez savoir sur les solutions de surveillance des infrastructures informatiques des PME. [Lire l'article...]

Uber fait confiance à Kafka

Le spécialiste du VTC a développé une architecture particulièrement performante en s’appuyant sur le projet Open Source Kafka de l’Apache Software Foundation.

Initialement développé par LinkedIn et mis en open source à partir de 2011, Kafka est un système de distribution de messages à faible latence. Si plusieurs grandes entreprises de technologie s’appuient sur cet outil développé en Scala (Salesforce, Netflix, Spotify), c’est certainement Uber aujourd’hui qui pousse le projet le plus loin compte tenu du volume de données qui transitent sur ses plates-formes. A l’occasion de l’Apache Big Data Conference qui se tient actuellement à Séville, Ankur Bulsal, l’un des tops développeurs d’Uber, a expliqué le fonctionnement de la plate-forme au sein de l’entreprise de VTC.

Une appli stratégique

En premier lieu, Kafka est utilisé pour un ensemble très important de décisions qui sont prises par Uber. La plus stratégique est sans doute le calcul du prix de la course en fonction de l’offre et de la demande de chauffeurs dans une zone déterminée ou encore le calcul de délais de livraison pour le service UberEats en fonction du trafic, de la nature de la commande. Pour ne pas se tromper ce sont des millions de messages qui sont échangés en temps réel entre les applications des clients, celles des chauffeurs et les centres de données de l’entreprise.

Pour assurer une latence minimale et une fiabilité maximale, Uber a donc fait le choix de la plate-forme Kafka laquelle a été sensiblement améliorée pour répondre aux demandes. En effet, Kafka gère plus de 100 milliards de messages par jour pour un volume quotidien supérieur à 100 To dans les différents centres de données du groupe. La plate-forme doit pouvoir encaisser 1000 milliards de messages, ce qui pourrait être une situation quotidienne d’ici quelques mois. Il faut également que chaque message soit délivré en moins de 5 millisecondes avec un taux de fiabilité de 99,9% ; le tout dans un environnement multi-langue, avec des dizaines de milliers de clients en même temps et des données stockées et redondées dans différents datacenters.

Des projets maison dispos en open source

Pour répondre à ces impératifs, le vtciste a donc poussé à bout la machine en utilisant non seulement l’architecture de base mais en la complétant avec un Proxy Rest, de nombreux clusters, de nouvelles bibliothèques dans les applications clientes, des agents locaux conçus en interne baptisés ureplicator, un système d’audit et de contrôle nommé Chaperone ainsi que des options nouvelles de partitionnement.

Nous reviendrons en détail sur les différents composants de cette architecture dans le numéro 153 de notre magazine disponible début décembre. D’ici là, il est possible de retrouve le projet ureplicator sur Github.


Inscription gratuite à la newsletter de L'Informaticien.

Noter cet article (de 1 = Nul à 5 = Excellent) Valider

Actuellement à la Une...
Dossier L'1FO

Solutions analytiques : quels besoins pour quels métiers ?

Poussées par la recherche de la productivité et les meilleurs résultats financiers, les entreprises sont de plus en plus dans une approche « Data Driven ». Les managers veulent des tableaux de bord temps réel de l’activité. Une exigence qui a fait émerger une nouvelle race de logiciels : la BI Agile.

Afficher tous les dossiers
Offres d'emploi
RSS
12345678910Last

Lancez votre recherche sur la rubrique Emploi avec notre partenaire



LIVRES BLANCS

Stockage Flash : 1 000 utilisateurs témoignent, un Livre Blanc HPE.

1 000 responsables informatiques ont été interrogés à l'initiative d'HPE afin de relater les "surprises", bonnes et mauvaises qu'ils ont rencontré lors du déploiement puis l'utilisation de solutions de stockage Flash. L'essentiel des configurations et des utilisations ont été passées en revue pour ce qui constitue la plus grande enquête jamais réalisée sur ce thème et qui permet à chacun de préparer au mieux sa propre voie d'évolution, ceci en évitant les écueils qu'ont pu rencontrer les professionnels interrogés. 


Gouvernance des identités et des accès, un Livre Blanc Micro Focus.  

Sous le joug des menaces informatiques et des réglementations rigoureuses qui lui sont imposées, votre entreprise a plus que jamais besoin d’instaurer une gouvernance des identités et des accès afin de se prémunir contre tout risque. Vous devez savoir précisément quels utilisateurs ont accès à quelles ressources et si leurs niveaux d’autorisation sont adéquats. 


Guide des meilleures pratiques de DevOps mainframe, un Livre Blanc Micro Focus.  

Souhaitez-vous distribuer de nouveaux services via des périphériques mobiles et le Web ? Rationaliser des processus pour remporter de nouvelles parts de marché ? Ou renforcer votre présence à l'échelle internationale ? Ou encore améliorer l'efficacité et la qualité du mainframe pour augmenter vos marges ? Les priorités peuvent sembler diverger, mais elles sont toutes réalisables. 


Sécurisation du cloud public, un Livre Blanc Fortinet.  

Un déploiement rapide, une réduction des coûts et une utilisation efficace des ressources ne sont que quelques-unes des raisons pour lesquelles les entreprises et les services informatiques du monde entier portent autant d’intérêt à Amazon Web Services. Avec un offre riche en fonctionnalités et une myriade de formats et d’options informatiques, de plus en plus d’entreprises sont attirées par cet univers où les termes agilité et flexibilité revêtent une nouvelle signification. 


Le cloud d'entreprise pour les nuls, un ebook offert par Nutanix

Découvrez comment :

1- Préparer votre entreprise à la nouvelle ère des infrastructures IT.

2- Bénéficier des avantages incontestées des clouds publics sans pour autant perdre le contrôle sur l'infrastructure interne.

3 - Exploiter les nouvelles bonnes pratiques en matière de stockage d'entreprise, de virtualisation et de technologies du cloud. 


Tous les Livres Blancs
Le Kiosque

LES ENJEUX DE LA 5G - Présidentielle : le numérique pour séduire les indécis - Lille Is French Tech - Comment l'Automatisation as a Service simplifie le quotidien - Foundation : le framework web front-end de Zurb - Solutions de sécurité Nex-Gen - Messageries sécurisées - Rencontre avec Benoît Thieulin, co-fondateur de la Netscouade (groupe Open)...

 

GESTION DES SERVICES IT / ITSM : la DSI face à ses multiples défis - Cyberdéfense : la France renforce son arsenal - Nantes Tech : on y joue collectif ! - Solutions analytiques : quels besoins pour quels métiers ? - Le BASIC se découvre une nouvelle jeunesse - Quelles compétences recherchent les ESN en 2017 ? - Rencontre avec Laurent Leloup, auteur de «Blockchain : la révolution de la confiance»...

 

Afficher tous les derniers numéros
Derniers commentaires
Fil AFP
Techno et Internet
Entrée de la Cour de justice de l'UE à Luxembourg le 5 octobre 2015La Cour de justice de l'UE a jugé illégal mercredi un lecteur multimédia commercialisé aux Pays-Bas qui permet d'accéder depuis un téléviseur à une multitude de sites internet proposant frauduleusement des films en streaming. [Sommaire]

Netflix a conclu un accord avec une filiale du groupe internet chinois Baidu, ce qui pourrait lui permettre de percer enfin en ChineNetflix a conclu un accord avec une filiale du groupe internet chinois Baidu, a annoncé mercredi cette dernière, ce qui pourrait permettre au service américain de vidéo en ligne de percer enfin en Chine, un énorme marché potentiel. [Sommaire]

Google va s'attaquer aux fausses informations et aux contenus inappropriés en changeant la manière dont le moteur de recherche livre et classe les recherches sur internetGoogle va s'attaquer aux fausses informations et aux contenus inappropriés en changeant la manière dont le moteur de recherche livre et classe les recherches sur internet, a annoncé mardi le géant américain. [Sommaire]

Uber a annoncé mardi une série de partenariats grâce auxquels il espère réaliser d'ici 2020 de premières démonstrations d'un système futuriste de transport à la demande utilisant de petits appareils aériensLe service américain de réservation de voitures avec chauffeur Uber a annoncé mardi une série de partenariats pour réaliser d'ici 2020 de premières démonstrations d'un système futuriste de transport à la demande utilisant de petits appareils aériens. [Sommaire]

La petite voiture signée Google au salon Viva de Paris, le 30 juin 2016Le groupe américain Alphabet, maison mère de Google, a donné un nouveau coup d'accélérateur à son programme de voitures sans chauffeur en annonçant mardi qu'il a commencé à tester ses véhicules avec de vrais passagers. [Sommaire]

Emmanuel Macron prononce un discours à PAris après avoir remporté le premier tour de la présidentielle, le 23 avril 2017Le mouvement En Marche! d'Emmanuel Macron, arrivé en tête du premier tour de l'élection présidentielle française dimanche, a été la cible de tentatives de hameçonnage ("phishing") attribué à un groupe russe en mars, selon un rapport présenté mardi par l'entreprise japonaise de cybersécurité Trend Micro. [Sommaire]

Centre de recherches et développement Sanofi Pasteur de Marcy-l'Etoile, près de Lyon, le 7 juillet 2016 Le crédit d'impôt recherche (CIR) "a un effet positif" sur les dépenses en recherche et développement des entreprises et y dope le nombre de chercheurs, selon un rapport remis au ministre de l'Enseignement supérieur et de la Recherche. [Sommaire]

Un Samsung Galaxy S8 présenté à Séoul le 13 avril 2017Le géant sud-coréen Samsung a annoncé lundi une prochaine mise à jour de logiciel pour les acheteurs de son tout nouveau Galaxy S8 après des plaintes de consommateurs concernant des écrans qui seraient teintés de rouge. [Sommaire]

Toshiba, englué dans une situation financière catastrophique, cherche à rétablir la confianceLe conglomérat industriel japonais Toshiba a annoncé lundi le placement de ses différentes activités dans autant de sociétés séparées, une mesure présentée comme un gage de meilleure gestion donné aux actionnaires. [Sommaire]

Peter Levachov a pu contrôler jusqu'à 100.000 ordinateurs grâce à des programmes malveillantsLa justice américaine a émis vendredi un acte d'accusation contre le pirate informatique russe Peter Levachov, arrêté en Espagne début avril et soupçonné d'avoir orchestré un vaste réseau de vol de données personnelles, selon le parquet fédéral du Connecticut. [Sommaire]

Toutes les dépêches AFP

AgendaIT

ADOBE SUMMIT

La conférence du marketing digital d'Adobe pour la région Europe Moyen-orient et Afrique se tient à Londres (ICC ExCeL) les 10 et 11 mai 2017. Organisée par Adobe.
A l'occasion de l'assemblée générale du CRIP et de l'assemblée générale de l'IMA, Fête de l'IT et du Digital le 11 mai 2017 au Pavillon Royal dans le Bois de Boulogne à Paris. Organisé par Itiforums.

JOOMLADAY

La rencontre annuelle  de la communauté francophone des utilisateurs du système de gestion de contenu (CMS open source Joomla a lieu les 12 et 13 mai 2017 à Marseille (école de commerce et de management EMD). Organisée par l'AFUJ (Association Française des Utilisateurs de Joomla).

INNOROBO

Sommet européen de la robotique, Innorobo 2017 se tient du 16 au 18 mai 2017 à Paris sur 3 halls d'exposition (aux Docks de Paris à La Plaine-Saint-Denis). Organisé par Impact Consulting.

WWDC17

Conférence développeurs d'Apple, la WWDC17 se tiendra du 5 au 9 juin 2017 à San José (McEnery Convention Center) en Californie. Organisée par Apple.

DATACLOUD EUROPE

Le congrès et exposition Datacloud Europe a lieu à Monaco (Grimaldi Forum) du 6 au 8 juin 2017. Organisé par BroadGroup.

FUTUR EN SEINE

Festival international, gratuit et ouvert à tous, dédié aux innovations technologiques, Futur en Seine tient sa 8ème édition du 8 au 10 juin 2017 à la Grande Halle de La Villette à Paris sur le thème des nouvelles intelligences. Organisé par Cap Digital et soutenu par la région Ile de France.
Voir tout l'AgendaIT