Noam Brown, qui dirige la recherche en matière de raisonnement en intelligence artificielle chez OpenAI, affirme que certains modèles d’IA de “raisonnement” auraient pu arriver 20 ans plus tôt si les chercheurs avaient “connu [la bonne] approche” et les algorithmes.
“Il y avait diverses raisons pour lesquelles cette direction de recherche a été négligée”, a déclaré Brown lors d’un panel à la conférence GTC de Nvidia à San Jose mercredi. “J’ai remarqué au cours de mes recherches que, d’accord, il y a quelque chose qui manque. Les humains passent beaucoup de temps à réfléchir avant d’agir dans une situation difficile. Cela serait peut-être très utile [en IA].”
Brown faisait référence à son travail sur l’IA de jeu à l’Université Carnegie Mellon, y compris Pluribus, qui a battu des professionnels humains d’élite au poker. L’IA que Brown a aidé à créer était unique à l’époque dans le sens où elle “raisonnait” à travers les problèmes plutôt que de tenter une approche plus brute.
Il est également l’un des architectes derrière o1, un modèle IA d’OpenAI qui utilise une technique appelée inférence au moment du test pour “réfléchir” avant de répondre aux requêtes. L’inférence au moment du test consiste à appliquer des calculs supplémentaires pour exécuter des modèles afin de conduire une forme de “raisonnement”. En général, les modèles de raisonnement sont plus précis et fiables que les modèles traditionnels, notamment dans des domaines tels que les mathématiques et les sciences.
Au cours du panel, Brown a été interrogé sur la possibilité pour le monde universitaire de réaliser des expériences à l’échelle des laboratoires d’IA comme OpenAI, étant donné le manque général d’accès aux ressources informatiques des institutions. Il a admis que c’est devenu plus difficile ces dernières années à mesure que les modèles sont devenus plus intensifs en calcul, mais que les universitaires peuvent avoir un impact en explorant des domaines qui nécessitent moins de calcul, comme la conception architecturale des modèles.
“Il y a une opportunité de collaboration entre les laboratoires de pointe [et le monde universitaire]”, a déclaré Brown. “Certes, les laboratoires de pointe examinent les publications universitaires et réfléchissent soigneusement à la question de savoir si cet argumentaire est convaincant, que s’il était amplifié davantage, il serait très efficace. S’il y a cet argument convaincant dans l’article, vous savez, nous examinerons cela dans ces laboratoires.”
Les commentaires de Brown interviennent à un moment où l’administration Trump réduit fortement les subventions scientifiques. Les experts en IA, dont le lauréat du prix Nobel Geoffrey Hinton, ont critiqué ces coupes, affirmant qu’elles pourraient menacer les efforts de recherche en IA tant domestiques qu’étrangers.
Brown a dénoncé le benchmarking en IA comme un domaine où le monde universitaire pourrait avoir un impact significatif. “L’état des benchmarks en IA est vraiment mauvais, et cela ne nécessite pas beaucoup de calcul pour le faire”, a-t-il déclaré.
Comme nous l’avons déjà écrit, les benchmarks d’IA populaires aujourd’hui ont tendance à tester des connaissances ésotériques et donnent des scores qui sont peu corrélés à la compétence sur des tâches qui intéressent la plupart des gens. Cela a conduit à une confusion généralisée sur les capacités et les améliorations des modèles.
Mise à jour à 16h06 PT : Une version antérieure de cet article laissait entendre que Brown faisait référence à des modèles de raisonnement comme o1 dans ses remarques initiales. En fait, il faisait référence à son travail sur l’IA de jeu avant son arrivée chez OpenAI. Nous regrettons cette erreur.
[[IMG::
]]
