Le nouvel générateur d’images de ChatGPT est incroyable pour imiter des reçus

Ce mois-ci, ChatGPT a dévoilé un nouveau générateur d’images dans le cadre de son 4e modèle, beaucoup plus performant pour générer du texte à l’intérieur des images. Les gens l’utilisent déjà pour créer de faux reçus de restaurants, ajoutant potentiellement un autre outil à la panoplie déjà étendue des deepfakes d’IA utilisés par les fraudeurs.

Le prolifique poster sur les réseaux sociaux et VC Deedy Das a posté sur X une photo d’un faux reçu pour un steakhouse de San Francisco (réel) qu’il affirme avoir été créé avec 4o. D’autres ont pu reproduire des résultats similaires, dont un avec des taches de nourriture ou de boisson pour le rendre encore plus authentique.

L’exemple le plus réaliste que TechCrunch a trouvé provenait en fait de France, où un utilisateur de LinkedIn a publié un reçu froissé généré par IA pour une chaîne de restaurants locaux. TechCrunch a testé 4o et a également pu générer un faux reçu pour un Applebee’s à San Francisco.

Mais notre tentative avait quelques indices évidents que c’était faux. Premièrement, le total utilise une virgule au lieu d’un point. Deuxièmement, les calculs ne sont pas exacts. Les LLMs ont toujours du mal avec les mathématiques de base, donc cela n’est pas particulièrement surprenant.

Cependant, il ne serait pas difficile pour un fraudeur de corriger rapidement quelques chiffres avec un logiciel de retouche photo ou, éventuellement, des instructions plus précises. Il est évident que faciliter la génération de faux reçus présente de grandes opportunités pour la fraude. Il n’est pas difficile d’imaginer ce type de technologie utilisée par des acteurs malveillants pour se faire “rembourser” pour des dépenses entièrement fictives.

La porte-parole d’OpenAI, Taya Christianson, a déclaré à TechCrunch que toutes ses images incluent des métadonnées indiquant qu’elles ont été créées par ChatGPT. Christianson a ajouté qu’OpenAI “prend des mesures” lorsque les utilisateurs enfreignent ses politiques d’utilisation et qu’elle “apprend toujours” de l’utilisation et des retours du monde réel.

TechCrunch a ensuite demandé pourquoi ChatGPT permet aux gens de générer de faux reçus en premier lieu, et si cela est conforme aux politiques d’utilisation d’OpenAI (qui interdisent la fraude). Christianson a répondu que l’objectif d’OpenAI est de donner aux utilisateurs autant de liberté créative que possible et que de faux reçus d’IA pourraient être utilisés dans des situations non frauduleuses comme “enseigner aux gens la littératie financière”, ainsi que pour créer de l’art original et des publicités de produits.