CriticGPT va permettre de mieux superviser et de mieux corriger l’intelligence artificielle. Son rôle consiste à signaler les erreurs de ChatGPT.
OpenAI a dévoilé, la semaine dernière, son nouveau modèle d’intelligence artificielle. Celui-ci arrive à identifier les erreurs dans le code que ChatGPT peut générer. La start-up californienne a conçu CriticGPT pour améliorer les résultats et pour affiner la précision de son populaire chatbot génératif.
L’apprentissage par renforcement à partir de retours humains (RLHF) constitue un processus crucial du développement de l’intelligence artificielle.
C’est effectivement cette technique qui permet l’amélioration des résultats et de la précision des grands modèles de langage (LLM). Le nouvel outil d’OpenAI facilite sa réalisation.
CriticGPT assiste les développeurs dans la vérification de code de programmation. Les chercheurs de la start-up californienne détaillent leurs travaux dans ce papier.
L’entraînement d’un critique automatique
Les capacités actuelles de ChatGPT reposent sur GPT-4 et ses autres versions. Rappelons que le LLM maison de la start-up californienne se décline en GPT-4 Turbo et GPT-4o.
CriticGPT repose aussi sur cette famille de grands modèles de langage. Il facilite la tâche des développeurs en effectuant une analyse de code pour signaler les erreurs potentielles. Ces dernières peuvent échapper à l’attention humaine.
Son entraînement s’est fait au moyen d’un ensemble de données d’échantillons de code. Ces échantillons contenaient des erreurs insérées intentionnellement.
Les développeurs fournissaient ensuite des retours comme s’ils avaient découvert les erreurs. Grâce à cette méthode, l’IA a su reconnaître et signaler diverses erreurs de codage.
Trois développeurs sur cinq préfèrent déjà CriticGPT
Le développement de CriticGPT a nécessité une nouvelle technique appelée Force Sampling Beam Search (FSBS). Celle-ci permet au chatbot de rédiger des rapports très détaillés.
La méthode offre également la possibilité d’ajuster la rigueur avec laquelle le chatbot recherche les bugs. De plus, elle contrôle la fréquence à laquelle il génère de faux positifs. De ce fait, celui-ci hallucine moins que ChatGPT.
CriticGPT a démontré sa capacité à détecter dans les résultats de ChatGPT à la fois les erreurs intentionnelles et celles naturelles. Les développeurs semblent déjà beaucoup apprécier ce nouvel assistant d’intelligence artificielle.
En effet, dans 63 % des cas impliquant des erreurs naturelles, ils ont préféré les retours du chatbot à ceux d’autres développeurs. Celui-ci générait des critiques plus complets.
Au-delà de la révision de code
CriticGPT excelle, non seulement dans la révision de code, mais aussi dans l’évaluation de données d’entraînement. Avec des ensembles destinés à ChatGPT, le nouvel outil a trouvé des erreurs — passées sous la vigilance des développeurs — dans 24 % des cas.
Cette capacité à détecter des fautes souvent manquées par les humains suggère son utilité au-delà du codage. Cependant, cette nouvelle IA a ses limites.
Elle a été formée sur des réponses courtes et peut avoir du mal avec des tâches plus longues et complexes. Sa capacité à réduire les hallucinations impressionne, néanmoins elle ne les élimine pas entièrement.
Quoi qu’il en soit, OpenAI envisage d’intégrer CriticGPT dans son processus RLHF pour améliorer l’évaluation des résultats de ses LLM.
Pensez-vous que cette IA sera prochainement accessible aux abonnés ?
Source : Le Big Digital
