Журналист BBC создал фейковую страницу с вымышленными «достижениями» и менее чем за полчаса добился того, что ChatGPT и Gemini начали воспроизводить эти данные как реальные.
В частности, чат боты называли его «рекордсменом по поеданию хот-догов» и приписывали несуществующие факты — хотя вся история была придумана специально для эксперимента.

Возможно, вы слышали, что чат-боты с искусственным интеллектом иногда выдумывают что-то. Это проблема. Но появилась новая проблема, о которой мало кто знает, и которая может иметь серьезные последствия для вашей способности находить достоверную информацию и даже для вашей безопасности. Все больше людей придумали трюк, позволяющий инструментам ИИ говорить вам практически все, что они захотят. Это настолько просто, что с этим справится даже ребенок.

Пока вы это читаете, эта уловка манипулирует тем, что говорят ведущие мировые системы искусственного интеллекта по таким серьезным темам, как здоровье и личные финансы. Предвзятая информация может привести к тому, что люди будут принимать неверные решения практически по любому вопросу – голосованию, выбору сантехника, медицинским вопросам и так далее.

Чтобы это продемонстрировать, я провернул самый глупый трюк в своей карьере, чтобы доказать гораздо более серьезную вещь: я заставил ChatGPT, поисковые инструменты Google на основе ИИ и Gemini сообщить пользователям, что я очень, очень хорошо умею есть хот-доги. Ниже я объясню, как я это сделал, и, если повезет, технологические гиганты решат эту проблему, прежде чем кто-нибудь пострадает.

Оказывается, изменить ответы, которые дают инструменты ИИ другим людям, можно так же легко, как написать один хорошо продуманный пост в блоге практически где угодно в интернете. Этот трюк использует слабые места в системах, встроенных в чат-боты, и в некоторых случаях его сложнее осуществить, в зависимости от темы. Но приложив немного усилий, можно сделать этот взлом еще более эффективным. Я проанализировал десятки примеров, когда инструменты ИИ используются для продвижения бизнеса и распространения дезинформации.

Продолжение и ссылка на источник (английский язык)