Nous intégrons le machine learning (ML) dans de nombreux aspects de Snapchat, et l’exploration de l’innovation dans ce domaine est une priorité essentielle. Dès que nous avons entendu parler d'Inferentia, nous avons commencé à collaborer avec AWS pour adopter des instances Inf1/Inferentia afin de nous aider dans le déploiement du ML, notamment en termes de performance et de coût. Nous avons commencé par nos modèles de recommandation, et sommes impatients d’adopter d’autres modèles avec les instances Inf1 à l’avenir.

La plateforme de gestion unifiée de l’expérience client (Unified-CXM) de Sprinklr, basée sur l’IA, permet aux entreprises de recueillir et de traduire les commentaires des clients en temps réel sur plusieurs canaux en informations exploitables, ce qui se traduit par une résolution proactive des problèmes, un développement de produits plus performant, un marketing de contenu plus efficace, un meilleur service client, etc. Grâce aux instance Inf1 Amazon EC2, nous avons pu améliorer de manière significative les performances de l'un de nos modèles de traitement du langage naturel (NLP), ainsi que les performances de l'un de nos modèles de reconnaissance d'image. Nous sommes impatients de continuer à utiliser les instances Amazon EC2 Inf1, afin de mieux servir nos clients internationaux.

Notre produit de traitement du langage naturel (NLP) ultramoderne, Finch for Text, permet aux utilisateurs d’extraire, de désambiguïser et d’enrichir de nombreux types d’entités dans d’importants volumes de texte. Finch for Text nécessite des ressources informatiques considérables pour fournir à nos clients des enrichissements à faible latence sur les flux de données mondiaux. Nous utilisons désormais les instances Inf1 AWS dans nos modèles PyTorch NLP, de traduction ainsi que de désambiguïsation d'entités. Nous avons pu réduire de plus de 80 %nos coûts d'inférence (sur les instances basées sur le GPU) avec des optimisations minimales, tout en maintenant la vitesse et les performances des inférences. Grâce à cette amélioration permet, nos clients peuvent enrichir leur texte en français, en espagnol, en allemand et en néerlandais en temps réel sur des flux de streaming de données à l’échelle mondiale, une capacité essentielle pour nos services financiers, notre agrégateur de données et nos clients du secteur public.

Nous alertons sur de nombreux types d’événements dans le monde entier dans de nombreuses langues, sous différents formats (images, vidéo, audio, capteurs de texte, combinaisons de tous ces types) à partir de centaines de milliers de sources. L'optimisation de la vitesse et des coûts étant donné que l'échelle est absolument essentielle pour notre entreprise. Avec AWS Inferentia, nous avons réduit la latence des modèles et atteint un débit jusqu'à 9 fois supérieur par dollar. Cela nous a permis d’augmenter la précision des modèles et d’accroître les capacités de notre plateforme en déployant des modèles DL plus sophistiqués et en traitant cinq fois plus de volume de données tout en maîtrisant nos coûts.

Autodesk fait progresser la technologie cognitive de son assistant virtuel optimisé par l’IA, Autodesk Virtual Agent (AVA), en utilisant Inferentia. AVA répond à plus de 100 000 questions de clients par mois en appliquant la compréhension du langage naturel (NLU) et des techniques de deep learning pour extraire le contexte, l'intention et la signification des demandes de renseignements. En pilotant Inferentia, nous sommes en mesure d’obtenir un débit 4,9 fois supérieur à celui de G4dn pour nos modèles NLU, et nous sommes impatients d’exécuter d’autres charges de travail sur les instances Inf1 basées sur Inferentia.

L’utilisation d’un géoradar et la détection de défauts visuels sont généralement du domaine des géomètres-experts. L'architecture basée sur les microservices AWS nous permet de traiter les vidéos prises par les véhicules d'inspection automatisée ainsi que par les inspecteurs. La migration de nos modèles internes des instances basées sur GPU traditionnelles vers Inferentia nous a permis de réduire les coûts à hauteur de 50 %. De plus, nous avons pu noter des gains de performances en comparant les temps de traitement avec ceux des instances GPU G4dn. Notre équipe a hâte d’exécuter davantage de charges de travail sur les instances Inf1 basées sur Inferentia.

NTT PC a développé AnyMotion, un service de plateforme d’API d’analyse du mouvement basé sur des modèles avancés de machine learning d’estimation de la posture. Nous avons déployé notre plateforme AnyMotion sur des instances Amazon EC2 Inf1 à l'aide d'Amazon ECS pour un service d'orchestration de conteneurs entièrement géré. nous avons constaté une augmentation de 4,5 fois, une latence d'inférence réduite de 25 % et un coût réduit de 90 % par rapport aux instances EC2 basées sur le GPU de la génération actuelle. Ces meilleures performances permettront d’améliorer la qualité du service AnyMotion à grande échelle.

Le marché des plateformes numériques de santé croît à un rythme remarquable. Recueillir des informations sur ce marché est une tâche difficile en raison de la grande quantité de données sur les opinions des clients et de sa nature non structurée. Notre application automatise la génération d'informations exploitables à partir des opinions des clients via des modèles de langage naturel de deep learning (Transformateurs). Notre application recours intensivement au calcul et doit être déployée de manière très performante. Nous avons déployé de manière transparente notre charge de travail d'inférence de deep learning sur des instances Inf1 d'Amazon EC2 optimisées par le processeur AWS Inferentia. Les nouvelles instances Inf1 offrent un débit deux fois plus élevé que celui des instances basées sur les GPU et nous ont permis de rationaliser nos charges de travail d’inférence.

Le portefeuille mondial de Condé Nast détient plus de 20 grandes marques médiatiques, dont Wired, Vogue et Vanity Fair. En quelques semaines, notre équipe a réussi à intégrer notre moteur de recommandation aux puces d’AWS Inferentia. Cette alliance permet de multiples optimisations pour l'exécution de modèles de langue naturels de dernière génération sur les instances Inf1 de SageMaker. En conséquence, nous avons réduit les coûts de 72 % par rapport aux instances GPU précédemment déployées.

Ciao fait évoluer les caméras de sécurité conventionnelles et en fait des caméras d’analyse haute performance, dont les capacités équivalent à celles de l’œil humain. Notre application permet d’améliorer la prévention des catastrophes, puisqu’elle offre un suivi des conditions environnementales grâce à des solutions de caméras IA basées sur le Cloud qui lancent un signal d’alerte avant qu’une situation ne dégénère jusqu’à devenir une catastrophe. Ces alertes permettent de réagir avant qu’il ne soit trop tard. En nous basant sur la détection d’objet, nous pouvons également fournir des informations en estimant, sans impliquer le personnel, le nombre de clients qui entrent, à partir de vidéos dans des magasins physiques. Sur le plan commercial, Ciao Camera a adopté des instances Inf1 basées sur AWS Inferentia, qui offrent un rapport qualité/prix 40 % plus intéressant que G4dn avec YOLOv4. Nous nous réjouissons de pouvoir proposer davantage de services avec les instances Inf1 en tirant parti de leur grande rentabilité.

Asahi Shimbun est l’un des quotidiens les plus populaires du Japon. Media Lab, qui s'est établi comme l'un des départements de notre entreprise, a pour missions d'étudier les dernières technologies, en particulier l'IA, ainsi que de relier les technologies de pointe pour les nouvelles entreprises. Suite au lancement des instances Amazon EC2 Inf1, basées sur AWS Inferentia, à Tokyo, nous avons testé notre application d'IA de synthèse de texte, basée sur PyTorch, sur ces instances. Cette application traite une quantité importante de texte et génère des titres ainsi que des phrases de résumé inspirées d'articles de ces 30 dernières années. À l'aide d'Inferentia, nous avons considérablement réduit les coûts liés aux instances basées sur les processeurs. Cette réduction spectaculaire des coûts nous permettra de déployer nos modèles les plus complexes à grande échelle, ce qui, selon nous, n'était pas économiquement faisable ».

CS Disco réinvente les technologies juridiques en tant que principal fournisseur de solutions d’IA pour la découverte électronique, développées par des avocats, pour les avocats. Disco AI accélère la tâche ingrate qui consiste à passer au peigne fin des téraoctets de données, à accélérer les délais d'examen et à améliorer la précision de l'examen en tirant parti de modèles complexes de traitement du langage naturel NLP, qui sont onéreux en termes de calcul et de coûts. Disco a découvert que les instances Inf1 basées sur AWS Inferentia permettaient de réduire les coûts d'inférence dans Disco AI d'au moins 35 % par rapport aux instances GPU actuelles. Sur la base de cette expérience positive avec les instances Inf1, CS Disco va explorer les possibilités de migration vers Inferentia.

Chez Talroo, nous offrons à nos clients une plateforme guidée par les données qui leur permet d’attirer et de recruter des candidats uniques. Nous recherchons sans cesse de nouvelles technologies pour nous assurer que nous offrons les meilleurs produits et services à nos clients. À l'aide d'Inferentia, nous extrayons des informations à partir d'un corpus de données de texte, afin d'améliorer notre technologie de recherche et de correspondance alimentée par l'IA. Talroo utilise les instances Inf1 Amazon EC2 pour créer des modèles NLU à haut débit avec SageMaker. Les premiers essais réalisés par Talroo montrent que les instances Inf1 Amazon EC2 offrent une latence d'inférence 40 % inférieure et un débit deux fois supérieur par rapport aux instances GPU G4dn. Sur la base de ces résultats, Talroo est impatient d’utiliser les instances Amazon EC2 Inf1 dans le cadre de son infrastructure AWS.

Digital Media Professionals (DMP) visualise l’avenir avec une plateforme ZIA™ basée sur l’IA (intelligence artificielle). Les technologies efficaces de classification par vision artificielle de DMP sont utilisées pour comprendre de grandes quantités de données d'images en temps réel, telles que l'observation des conditions, la prévention de la criminalité et la prévention des accidents. Nous avons constaté que nos modèles de segmentation d'images s'exécutent quatre fois plus vite sur les instances Inf1 basées sur AWS Inferentia que sur les instances G4 basées sur GPU. Grâce à ce débit plus élevé et à ce coût plus faible, Inferentia nous permet de déployer à grande échelle nos charges de travail d’IA, telles que les applications pour les caméras embarquées de voiture à grande échelle.

Le machine learning étant au cœur de notre stratégie, nous étions ravis d’essayer les instances AWS Inferentia Inf1. Nous avons trouvé les instances Inf1 faciles à intégrer dans notre pipeline de recherche et développement. Mais surtout, nous avons observé des gains de performance impressionnants par rapport aux instances basées sur le GPU G4dn. Avec notre premier modèle, les instances Inf1 ont permis d'augmenter le débit d'environ 45 % et de réduire le coût par inférence de près de 50 %. Nous avons l’intention de travailler en étroite collaboration avec l’équipe AWS pour porter d’autres modèles et transférer la majeure partie de notre infrastructure d’inférence ML vers AWS Inferentia.

SkyWatch traite des centaines de milliards de pixels de données d’observation de la Terre qui sont capturées quotidiennement dans l’espace. L'adoption des nouvelles instances Inf1 AWS Inferentia qui utilisent Amazon SageMaker pour la détection des nuages et la notation de la qualité des images en temps réel a été simple et rapide. Il nous a suffi de modifier le type d'instance dans notre configuration de déploiement. En passant aux instances Inferentia Inf1, nous avons amélioré les performances de 40 % et réduit les coûts de 23 %. C'est un véritable exploit. Nous avons pu réduire les coûts opérationnels tout en continuant à fournir des images satellite d'excellente qualité à nos clients, le tout sans coûts d'ingénierie exorbitants. Nous sommes impatients d’effectuer la transition de tous nos points de terminaison d’inférence et de nos processus de ML par lots pour utiliser les instances Inf1, afin d’améliorer encore la fiabilité de nos données et l’expérience client.

La migration de notre service de discussion par IA vers les instances Amazon EC2 Inf1 a été on ne peut plus simple. Nous avons effectué la migration en deux mois et lancé un service à grande échelle sur les instances Inf1 à l'aide d'Amazon ECS. Nous avons pu réduire notre latence d'inférence de 97 % et nos coûts d'inférence de plus de 50 % (par rapport à des instances semblables basées sur GPU) en hébergeant plusieurs modèles par instance Inf1. Nous avons hâte d’exécuter davantage de charges de travail sur les instances Inf1 basées sur Inferentia.

Pour le traitement de nos annonces textuelles, nous déployons des modèles BERT basés sur PyTorch dans le monde entier sur des instances Inf1 basées sur AWS Inferentia. En passant des GPU à Inferentia, nous avons pu réduire nos coûts de 69 % en maintenant des performances comparables. La compilation et les tests de nos modèles pour AWS Inferentia ont duré moins de trois semaines. L'utilisation d'Amazon SageMaker pour déployer nos modèles sur des instances Inf1 a garanti que notre déploiement était évolutif et facile à gérer. Lorsque j'ai analysé pour la première fois les modèles compilés, les performances avec AWS Inferentia étaient si impressionnantes que j'ai dû exécuter à nouveau les tests de performance pour m'assurer qu'ils étaient corrects ! À l'avenir, nous prévoyons de migrer nos modèles de traitement d'annonces illustrées vers Inferentia. Nous avons déjà évalué une latence inférieure de 30 % et des économies de coûts de 71 % par rapport à des instances comparables basées sur GPU pour ces modèles.

L’intelligence d’Amazon Alexa, basée sur l’IA et le ML et alimentée par Amazon Web Services, est disponible sur plus de 100 millions d’appareils aujourd’hui, et nous promettons à nos clients qu’Alexa deviendra toujours plus intelligente, plus conversationnelle, plus proactive et encore plus agréable. Pour tenir cette promesse, nous devons continuer à réduire les temps de réponse et les coûts d'infrastructure de machine learning. Nous sommes donc extrêmement impatients d'utiliser les instances Inf1 Amazon EC2 pour réduire la latence d'inférence et le coût par inférence de la synthèse vocale Alexa. Avec l’instance Amazon EC2 Inf1, nous pourrons perfectionner le service rendu aux dizaines de millions de clients qui utilisent Alexa chaque mois.

Amazon Prime Video s’appuie sur les modèles ML de vision par ordinateur pour analyser la qualité vidéo des événements en direct afin de garantir une expérience utilisateur optimale pour les membres de Prime Video. Nous avons déployé nos modèles ML de classification d'images sur les instances Inf1 EC2 et avons pu noter un quadruplement des performances et jusqu'à 40 % d'économies de coûts. Nous entendons maintenant utiliser ces économies de coûts pour innover et créer des modèles avancés capables de détecter des défauts plus complexes, par exemple les lacunes de synchronisation entre les fichiers audio et les fichiers vidéo, afin d’améliorer davantage l’expérience de visionnement pour les membres Prime Video.

Amazon Rekognition est une application simple et facile d’analyse d’images et de vidéos qui aide les clients à identifier des objets, des personnes, du texte et des activités. Amazon Rekognition nécessite une infrastructure de deep learning hautement performante, capable d'analyser quotidiennement des milliards d'images et de vidéos pour nos clients. Avec les instances Inf1 basées sur AWS Inferentia, l'exécution de modèles Amazon Rekognition tels que la classification d'objets, a permis de réduire de 8 fois la latence et de 2 fois le débit par rapport à l'exécution de ces modèles sur les GPU. Compte tenu de ces résultats, nous basculons Amazon Rekognition vers Inf1, ce qui permettra à nos clients d’obtenir des résultats précis, plus rapidement.