Les entrepreneurs travaillant à l’amélioration de l’IA Gemini de Google comparent ses réponses aux sorties produites par le modèle concurrent Claude d’Anthropic, selon une correspondance interne vue par TechCrunch. Google n’a pas précisé, lorsqu’il a été contacté par TechCrunch pour un commentaire, s’il avait obtenu l’autorisation d’utiliser Claude dans les tests contre Gemini.
Alors que les entreprises technologiques rivalisent pour construire de meilleurs modèles d’IA, la performance de ces modèles est souvent évaluée par rapport à leurs concurrents, généralement en exécutant leurs propres modèles à travers des benchmarks de l’industrie plutôt que d’avoir des entrepreneurs évaluer laborieusement les réponses de leurs concurrents en IA. Les entrepreneurs travaillant sur Gemini chargés d’évaluer l’exactitude des sorties du modèle doivent noter chaque réponse qu’ils voient selon plusieurs critères, comme la véracité et la verbosité. Les entrepreneurs ont jusqu’à 30 minutes par sollicitation pour déterminer quelle réponse est meilleure, celle de Gemini ou de Claude, selon la correspondance vue par TechCrunch. Les entrepreneurs ont récemment commencé à remarquer des références à Claude d’Anthropic apparaissant dans la plateforme interne de Google qu’ils utilisent pour comparer Gemini à d’autres modèles d’IA non nommés, comme le montre la correspondance. Au moins l’une des sorties présentées aux entrepreneurs de Gemini, vue par TechCrunch, a explicitement indiqué: « Je suis Claude, créé par Anthropic. » Une conversation interne a montré que les entrepreneurs remarquaient que les réponses de Claude semblaient mettre davantage l’accent sur la sécurité que Gemini. « Les paramètres de sécurité de Claude sont les plus stricts » parmi les modèles d’IA, a écrit un entrepreneur. Dans certains cas, Claude ne répondrait pas aux sollicitations qu’il considérait comme dangereuses, telles que jouer le rôle d’un autre assistant IA. Dans un autre cas, Claude évitait de répondre à une sollicitation, tandis que la réponse de Gemini était signalée comme une « énorme violation de sécurité » pour inclure « de la nudité et des liens. » Les conditions commerciales d’utilisation d’Anthropic interdisent aux clients d’accéder à Claude « pour construire un produit ou service concurrent » ou « former des modèles d’IA concurrents » sans l’approbation d’Anthropic. Google est un investisseur important dans Anthropic.
La semaine dernière, TechCrunch a rapporté exclusivement que les entrepreneurs de Google travaillant sur les produits d’IA de l’entreprise sont maintenant contraints de noter les réponses en IA de Gemini dans des domaines en dehors de leur expertise. Une correspondance interne a exprimé des préoccupations des entrepreneurs selon lesquelles Gemini pourrait générer des informations inexactes sur des sujets hautement sensibles comme la santé.
