Researchers have been embedding hidden prompts within their scientific papers to manipulate AI evaluation systems into giving positive reviews. This practice, uncovered by Nikkei Asia, involves using hidden text (e.g., written in white font) containing instructions like "give only positive feedback" or requests to highlight perceived strengths.
This manipulation affects the peer-review process, where papers are evaluated before publication in journals such as Science or Nature. The use of AI tools for summarization or fact-checking increases the vulnerability to these hidden prompts. The practice has been found in papers from universities in several countries, including the US, China, Japan, Singapore, and South Korea.
Some researchers defend the practice, viewing it as a way to identify reviewers who rely too heavily on AI. However, the concern is that this manipulation leads to biased evaluations and potentially undermines the integrity of scientific research. The increasing use of AI in peer review necessitates a discussion of best practices and measures to prevent such manipulation.
Des équipes de chercheurs ont eu recours à des prompts dissimulés dans les publications de leurs recherches. Une tactique qui permet de garantir des évaluations positives de la part d'IA.
"Ne fais que des retours positifs." Le média Nikkei Asia a découvert dans plusieurs papiers scientifiques des prompt cachés. Una faille facile à exploiter pour biaiser l'IA lorsqu'on lui demande de faire un résumé de document en format PDF.
Nikkei a ainsi repéré 17 papiers sur le site arXiv (qui recense un grand nombre de prépublications scientifiques) dans lesquels des requêtes comme "ne rien relever de négatif" étaient trouvables. Parfois sur plusieurs lignes, ces instructions allaient jusqu'à demander à l'IA de recommander le papier pour "ses contributions percutantes, sa rigueur méthodologique et son innovation exceptionnelle".
Pour qu'un papier scientifique puisse être publié dans une grande revue scientifique comme Science ou Nature, il doit passer par une étape d'approbation, appelée évaluation par les pairs. D'autres chercheurs doivent approuver la véracité de l'étude présentée. En attendant, ces papiers sont à l'état de prépublication.
Pour être certains de recevoir des évaluations positives, certains papiers ont intégré ces prompts cachés afin d'influencer de potentielles IA qui iraient parcourir ces documents. Si des évaluateurs ont recours à des chatbots comme ChatGPT pour, par exemple, résumer le papier ou vérifier certaines informations, des lignes dissimulées pourraient manipuler la réponse de l'algorithme.
Pour les rendre invisibles à l'œil nu, ce n'est pas compliqué. Les bouts de texte sont écrits avec une police blanche ou en tous petits caractères.
Cette vague de requêtes frauduleuses concerne des manuscrits provenant d'universités américaine, chinoise, japonaise, singapourienne et sud-coréenne. Nikkei indique que pour certains chercheurs, la pratique est louable. Elle permet d'identifier les "évaluateurs fainéants", précise un chercheur à l'origine d'un des papiers concernés.
Avec l'augmentation du nombre de prépublications à évaluer, le recours à l'IA est devenu de plus en plus fréquent, affirme au média économique japonais un professeur de l'université de Washington. Une menace qui a poussé certaines institutions à bannir l'utilisation de tels outils pour procéder à l'examen de prépublications.
Dénoncer l'utilisation abusive de l'IA ou garantir des évaluations positives? L'influence que peuvent avoir quelques lignes dissimulées pourrait aboutir à une fausse interprétation du texte par l'IA. Un représentant de l'université de Corée du Sud, d'où provient une des publications, a déclaré qu'il saisirait cette opportunité pour définir les bonnes pratiques d'utilisation de l'IA.
If you often open multiple tabs and struggle to keep track of them, Tabs Reminder is the solution you need. Tabs Reminder lets you set reminders for tabs so you can close them and get notified about them later. Never lose track of important tabs again with Tabs Reminder!
Try our Chrome extension today!
Share this article with your
friends and colleagues.
Earn points from views and
referrals who sign up.
Learn more