« Hypnose de modèle » : des indices anodins peuvent contrôler fortement le comportement des IA

Une étude décrit le phénomène d'« hypnose de modèle » : des indices individuellement faibles et en apparence anodins dans un prompt, comme des paraphrases ou des fautes de frappe, peuvent se combiner pour contrôler fortement le comportement d'un modèle. Ce phénomène traverse les familles et échelles de modèles, y compris les modèles de raisonnement de pointe, et les prompts hypnotiques peuvent se transférer d'un modèle à l'autre. Les auteurs y voient un défi majeur pour la sécurité et l'interprétabilité de l'IA.