Malgré les discussions croissantes sur un avenir où une grande partie du travail humain sera automatisée par l’IA, l’une des ironies de ce boom technologique actuel est à quel point il reste obstinément dépendant des êtres humains, en particulier le processus de formation de modèles d’IA à l’aide de l’apprentissage par renforcement à partir de la rétroaction humaine (RLHF).

Dans sa forme la plus simple, le RLHF est un système de tutorat : une fois entraînée sur des données organisées, une IA fait toujours des erreurs ou semble robotique. Des entrepreneurs humains sont ensuite embauchés en masse par les laboratoires d’IA pour évaluer et classer les résultats d’un nouveau modèle pendant son entraînement, et le modèle apprend de leurs évaluations, ajustant son comportement pour offrir des résultats mieux notés. Ce processus est d’autant plus important que l’IA se développe pour produire des sorties multimédias telles que la vidéo, l’audio et les images qui peuvent avoir des mesures de qualité plus nuancées et subjectives.

Historiquement, ce processus de tutorat a été un énorme casse-tête logistique et un cauchemar de relations publiques pour les entreprises d’IA, s’appuyant sur des réseaux fragmentés d’entrepreneurs étrangers et des pools d’étiquetage statiques dans des pôles géographiques spécifiques à faible revenu, présentés par les médias comme de bas salaires, voire d’exploitation. C’est également inefficace : obliger les laboratoires d’IA à attendre des semaines ou des mois pour un seul lot de commentaires, ce qui retarde la progression du modèle.

Aujourd’hui, une nouvelle startup a vu le jour pour rendre le processus beaucoup plus efficace : la plateforme Rapidata "gamifie" RLHF en proposant ces tâches d’évaluation dans le monde entier à près de 20 millions d’utilisateurs d’applications populaires, notamment Duolingo ou Candy Crush, sous la forme de courtes tâches d’évaluation facultatives qu’ils peuvent choisir d’effectuer au lieu de regarder des publicités mobiles, avec des données renvoyées instantanément à un laboratoire d’IA en service.

Comme partagé avec VentureBeat dans un communiqué de presse, cette plateforme permet aux laboratoires d’IA de "itérer sur les modèles en temps quasi réel," raccourcissant considérablement les délais de développement par rapport aux méthodes traditionnelles.

Le PDG et fondateur Jason Corkill a déclaré dans le même communiqué que Rapidata publie "le jugement humain est disponible à l’échelle mondiale et en temps quasi réel, ouvrant la voie à un avenir dans lequel les équipes d’IA peuvent exécuter des boucles de rétroaction constantes et créer des systèmes qui évoluent chaque jour plutôt qu’à chaque cycle de publication.""

Rapidata considère le RLHF comme une infrastructure à grande vitesse plutôt que comme un problème de travail manuel. Aujourd’hui, la société nous a annoncé en exclusivité à VentureBeat son émergence avec un tour de table de 8,5 millions de dollars codirigé par Canaan Partners et IA Ventures, avec la participation d’Acequia Capital et BlueYard, pour étendre son approche unique des données humaines à la demande.

La conversation de pub qui a construit un cloud humain

La genèse de Rapidata n’est pas née dans une salle de réunion, mais autour d’une table autour de quelques bières. Lorsque Corkill était étudiant à l’ETH Zurich, où il travaillait en robotique et en vision par ordinateur, il s’est heurté au mur auquel tout ingénieur en IA est confronté : le goulot d’étranglement de l’annotation des données.

"Plus précisément, je travaille dans la robotique, l’IA et la vision par ordinateur depuis plusieurs années maintenant, j’ai étudié à l’ETH ici à Zurich et j’ai toujours été frustré par l’annotation des données," Corkill l’a rappelé dans une récente interview. "Toujours lorsque vous aviez besoin d’humains ou d’annotations de données humaines, c’est un peu à ce moment-là que votre projet était stoppé net, car jusque-là, vous pouviez le faire avancer en poussant simplement des nuits plus longues. Mais lorsque vous aviez besoin d’une annotation humaine à grande échelle, vous deviez vous adresser à quelqu’un et attendre quelques semaines.".

Frustrés par ce retard, Corkill et ses cofondateurs ont réalisé que le modèle de travail existant pour l’IA était fondamentalement brisé pour un monde évoluant au rythme du calcul moderne. Même si le calcul évolue de façon exponentielle, ce n’est pas le cas de la main-d’œuvre humaine traditionnelle, limitée par l’intégration manuelle, l’embauche régionale et la lenteur des cycles de paiement. Rapidata est née de l’idée que le jugement humain pouvait être délivré sous la forme d’un service quasi instantané distribué à l’échelle mondiale.

Technologie : transformer les empreintes numériques en données de formation

L’innovation centrale de Rapidata réside dans son mode de distribution. Plutôt que d’embaucher des annotateurs à temps plein dans des régions spécifiques, Rapidata exploite l’économie d’attention existante du monde des applications mobiles. En s’associant à des applications tierces comme Candy Crush ou Duolingo, Rapidata offre aux utilisateurs le choix : regarder une publicité traditionnelle ou passer quelques secondes à fournir des commentaires pour un modèle d’IA.

"On demande aux utilisateurs : « Hé, préféreriez-vous, au lieu de regarder des publicités et que, vous savez, les entreprises vous achètent les yeux comme ça, préféreriez-vous annoter certaines données, donner votre avis ? »" Corkill a expliqué. Selon Corkill, entre 50 % et 60 % des utilisateurs optent pour la tâche de feedback plutôt que pour une publicité vidéo traditionnelle.

Ce "intelligence des foules" Cette approche permet aux équipes d’IA d’exploiter une démographie mondiale diversifiée à une échelle sans précédent.

• Le réseau mondial : Rapidata touche actuellement entre 15 et 20 millions de personnes.

• Parallélisme massif : La plateforme peut traiter 1,5 million d’annotations humaines en une seule heure.

• Vitesse: Les cycles de rétroaction qui prenaient auparavant des semaines ou des mois sont réduits à des heures, voire des minutes.

• Contrôle de qualité: La plateforme crée des profils de confiance et d’expertise pour les répondants au fil du temps, garantissant que les questions complexes sont mises en correspondance avec les juges humains les plus pertinents.

• Anonymat: Bien que les utilisateurs soient suivis via des identifiants anonymisés pour garantir la cohérence et la fiabilité, Rapidata ne collecte pas d’identité personnelle, préservant ainsi la confidentialité tout en optimisant la qualité des données.

RLHF en ligne : passer au GPU

Le saut technologique le plus important que Rapidata permet est ce que Corkill décrit comme "RLHF en ligne". Traditionnellement, l’IA est formée par lots déconnectés : vous entraînez le modèle, vous arrêtez, envoyez des données aux humains, attendez des semaines pour les étiquettes, puis reprenez. Cela crée un "cercle" d’informations qui manquent souvent d’apport humain nouveau.

Rapidata transfère ce jugement directement dans la boucle de formation. Parce que leur réseau est si rapide, ils peuvent s’intégrer via API directement aux GPU exécutant le modèle.

"Nous avons toujours eu cette idée d’apprentissage par renforcement pour le feedback humain… jusqu’à présent, il fallait toujours le faire par lots," » dit Corkill. "Maintenant, si vous allez jusqu’en bas, nous avons maintenant quelques clients où, parce que nous sommes si rapides, nous pouvons être directement, essentiellement dans le processus, comme dans le processeur sur le GPU à droite, et le GPU calcule une sortie, et il peut immédiatement nous demander de manière distribuée. « Oh, j’ai besoin, j’ai besoin, j’ai besoin d’un humain pour regarder ça. » J’obtiens la réponse et j’applique ensuite cette perte, ce qui n’a pas été possible jusqu’à présent".

Actuellement, la plate-forme prend en charge environ 5 500 humains par minute, fournissant des commentaires en direct aux modèles exécutés sur des milliers de GPU. Cela empêche "piratage du modèle de récompense," où deux modèles d’IA se trompent dans une boucle de rétroaction, en fondant la formation sur de véritables nuances humaines.

Produit : Résoudre le goût et le contexte global

À mesure que l’IA dépasse la simple reconnaissance d’objets et s’étend aux médias génératifs, les exigences en matière d’étiquetage des données ont évolué d’un étiquetage objectif à un étiquetage subjectif. "basé sur le goût" curation. Il ne s’agit plus seulement "est-ce un chat ?" mais plutôt "cette synthèse vocale est-elle convaincante ?" ou "Lequel de ces deux résumés vous semble le plus professionnel ?".

Lily Clifford, PDG de la startup d’IA vocale Rime, note que Rapidata a été révolutionnaire pour tester des modèles dans des contextes du monde réel. "Auparavant, recueillir des commentaires significatifs impliquait de bricoler des fournisseurs et des enquêtes, segment par segment ou pays par pays, ce qui n’était pas évolutif." » dit Clifford. Grâce à Rapidata, Rime peut atteindre les audiences appropriées, que ce soit en Suède, en Serbie ou aux États-Unis, et voir comment les modèles fonctionnent dans les flux de travail réels des clients en quelques jours, et non en quelques mois.

"La plupart des modèles sont factuellement corrects, mais je suis sûr que vous avez reçu des e-mails qui ne semblent pas authentiques, n’est-ce pas ?" Corkill a noté. "Vous pouvez sentir un e-mail d’IA, vous pouvez sentir une image ou une vidéo d’IA, c’est immédiatement clair pour vous… ces modèles ne semblent toujours pas humains, et vous avez besoin d’un retour humain pour le faire.".

Le virage économique et opérationnel

D’un point de vue opérationnel, Rapidata se positionne comme une couche d’infrastructure qui élimine le besoin pour les entreprises de gérer leurs propres opérations d’annotation personnalisées. En fournissant un réseau évolutif, l’entreprise réduit les barrières à l’entrée pour les équipes d’IA qui étaient auparavant aux prises avec le coût et la complexité des boucles de rétroaction traditionnelles.

Jared Newman de Canaan Partners, qui a dirigé l’investissement, suggère que cette infrastructure est essentielle pour la prochaine génération d’IA. "Tout déploiement sérieux d’IA dépend du jugement humain à un moment donné du cycle de vie," » dit Newman. "À mesure que les modèles passent de tâches basées sur l’expertise à une conservation basée sur le goût, la demande de commentaires humains évolutifs augmentera considérablement.".

Un avenir d’utilisation humaine

Alors que l’accent est actuellement mis sur les laboratoires de modélisation de la Bay Area, Corkill voit un avenir dans lequel les modèles d’IA eux-mêmes deviendront les principaux clients du jugement humain. Il appelle ça "utilisation humaine".

Dans cette vision, l’IA d’un concepteur automobile ne se contenterait pas de générer un véhicule générique ; il pourrait appeler Rapidata par programmation pour demander à 25 000 personnes sur le marché français ce qu’elles pensent d’une esthétique spécifique, répéter ces commentaires et affiner sa conception en quelques heures.

"La société est en constante évolution," Corkill a noté, abordant la tendance à utiliser l’IA pour simuler le comportement humain. "S’ils simulent une société maintenant, la simulation sera stable pendant et peut-être reflétera la nôtre pendant quelques mois, mais ensuite elle changera complètement, car la société a changé et s’est développée complètement différemment.".

En créant un moyen distribué et programmatique d’accéder aux capacités du cerveau humain dans le monde entier, Rapidata se positionne comme l’interconnexion vitale entre le silicium et la société. Avec un nouveau financement de 8,5 millions de dollars, l’entreprise prévoit d’agir de manière agressive pour garantir qu’à mesure que l’IA évolue, l’élément humain ne soit plus un goulot d’étranglement, mais une fonctionnalité en temps réel.