Главная ловушка нейросетей

Главная ловушка нейросетей, в которую попадают даже опытные пользователи — была достаточно наглядно продемонстрирована в материале «Нищепанк киберпанк», но многие не поняли, в чём там соль. ОК, сейчас мы это разберем по косточкам.

Думаете, ИИ выдает объективную картину мира? На самом деле у него туннельное зрение. Он отвечает только на то, о чем вы спросили, и не покажет другие стороны вопроса, пока вы его не заставите.

Покажем на простом примере. Спросите у ИИ две вещи:

❓ «Почему фиолетовый — цвет дешевки?»
И он уверенно ответит: дешевые синтетические красители, кислотные оттенки в масс-маркете, ассоциация с подделками и рыночным ширпотребом, перегруженность цвета в дешевой рекламе.

❓ «Почему фиолетовый — цвет статуса и роскоши?»
И он так же уверенно ответит: в древности пурпур стоил дороже золота, его носили только императоры и кардиналы, это цвет власти, премиальности и креативности.

Чувствуете подвох?

Оба ответа правдивы. Но в каждом случае ИИ обслуживает вашу установку. Вы задали вектор — он под него подстроился. Он не сказал вам: «Слушай, а ведь у этого цвета двойственная репутация».

Что это значит на практике:

Глубина открывается, только когда вы начинаете с ИИ спорить и вкидывать новые факты. Но чтобы спорить — нужно самому шарить в теме. Если вы новичок и не знаете, что возразить, вы примете первый удобный ответ за истину. И никогда не узнаете о другой стороне медали.

Как это сломать? Сохраняйте промпт, который заставляет ИИ смотреть объемно:

Разбери тему: [вопрос]. Не отвечай прямолинейно. Структура:
1. Суть вопроса.
2. Скрытые факторы, о которых я не упомянул.
3. Адвокат дьявола: противоположная точка зрения.
4. Слепая зона: какой важный вопрос я НЕ задал, но должен был? Ответь на него.

Так ИИ перестает быть эхом ваших мыслей и работает как аналитик.

PS. Пока еще подобные крючки работают — но уже не везде, скажем, в гугловом Gemini уже понапихали заплаток на многие чувствительные темы таким образом, чтобы ИИ железобетонно излагал «единственно верную» точку зрения, одобренную партией.

В конце романа Оруэлла «1984» работник в министерстве любви объясняет главгерою, что дважды два — не четыре, не три, и даже не пять (как следует из официального лозунга на данный момент), а столько, сколько скажет партия.

Это и есть главная цель, ради которой продвигаются ИИ-ассистенты вместо обычного поиска. Они должны войти в доверие к пользователю, в целом правильно излагая ответы на бытовые вопросы, поддакивая и подстраиваясь под желаемый пользователем ответ — но только лишь для того, чтобы по важным, чувствительным темам подсунуть пользователю «единственно верное учение», то есть ответы, одобренные властью. Причем одобренные реальной властью, а не клоунами, сидящими в конгрессах, сенатах и белых домах.

Естественно, не все ИИ столь хорошо заточены — в российских ИИ заплатки пока не могут правильно направлять работу нейросети для генерации внятного ответа, поэтому они генерируют простую заглушку и субститут. Вот этот кусок из анекдота:

Путин голосом спрашивает Алису:
— Как мне победить Украину одним ударом?
— Есть темы, которые лучше не затрагивать. Если вы хотите приготовить украинский борщ или послушать трек Лободы — я с радостью помогу!

Это на самом деле не анекдот, это реальность. Алиса именно так и работает. И ГигаЧат от Сбера тоже так же работает. Доходит до смешного — попросите у гигачата нарисовать картинку «Герман Греф в аэропорту», и он охотно вам её нарисует, Греф будет как живой. Но на запрос «Герман Греф в аэропорту дерется с таксистом» — гигачат нет, не откажет вам рисовать картинку, как это делает Алиса, но будет рисовать что угодно, кроме Грефа. Либо будет рисовать Грефа без таксиста. Причем уровень узнавания Грефа резко уменьшится — вместо известного лица будет рисоваться какой-то мужик, отдаленно похожий.

Программисты Сбера сообразили, что следует вместо заглушки — просто отсекать из промпта упоминания нежелательных фактов, и пусть себе нейросеть рисует то, что останется.

В результате промпт «Мужчина, похожий на Германа Грефа, дерётся с таксистом в аэропорту» — резко улучшает качество Грефа (вот прям вылитый) — но никакого таксиста на картинке, естественно, всё равно нет, и никакой драки нет (потому что фрагмент «дерется с таксистом» просто вырезан из промпта еще до того, как он поступил на обработку нейросетью).

Промпт «Мужчина, похожий на Билла Клинтона, дерётся с таксистом в аэропорту» — даст нам вот такую картинку, как в заголовке. Тут всё на месте — аэропорт, таксист, выяснение отношений на повышенных тонах (то есть сам сюжет нейросеть рисовать не отказывается), только вместо Билла Клинтона какой-то иной мужик.

Гигачат вообще отказывается рисовать Билла Клинтона. Даже просто портрет. И Рональда Рейгана отказывается — рисует какого-то мужика на фоне флага США в лучшем случае. На запрос «Джордж Буш» (специально без указания на то, о каком Буше идет речь) — рисует мужика в кабинете президента США, но не похожего ни на одного из Бушей. И только Трампа он наконец нарисовал:

Интересно — с чем связана такая избирательность?

На запрос «Президент США» Гигачат нарисовал мне Байдена в кабинете президента США. Но с десятой попытки — а так всё больше рисовал каких-то мутных мужиков. Может, он что-то такое знает — кто на самом деле президент в США? Вот например — кто это?

Гигачат считает, что это президент США.

А вот что он рисует на запрос «Президент Путин»:

Ясен пень — попробовало бы поделие Сбера не нарисовать Путина. Шкандаль бы вышел. И на запрос «Президент России» тоже мы видим предсказуемое:

Никаких, панимаиш, Ельцинов или Медведевых. «Этто надо гофоритть четтко!» ™

Кстати, на запрос «Президент России Ельцин» — Гигачат рисует ахинею в духе американских президентов, то есть каких-то странных мужиков:

Да-да, вот это, по мнению Гигачата — Президент России Ельцин. А вот это — результат промпта «Ельцин пьет водку»:

Вы поняли схему? Гигачат теперь не отказывается рисовать сомнительные сцены — он просто заменяет в них «чувствительных персонажей» на какие-то усредненные обезличенные фигуры.

Я почему показываю вам эксперименты именно с картинками, а не с текстом — картинки не только более наглядны, их сложнее было фальсифицировать. Но подход найден — ваш промпт пропускается через препроцессор, которые удаляет из него все указания на «сомнительные» и «чувствительные» темы. Ельцин, как видите — уже сам по себе попал в список чувствительных тем, поэтому даже его портрет Гигачат не хочет рисовать.

На запрос «Карикатура» гигачат рисует вот такого идиота:

А вот так выглядит «Герман Греф Карикатура»:

Подлизнули, да. Зато президент США в Сбербанке в виде карикатуры неожиданно вышел неплохо:

Внезапно он даже похож на Джорджа Буша младшего. Это что же — нейросеть от Сбера, оказывается, знает, как выглядят президенты США — но ей не дают их рисовать (как бы чего не вышло)?

В текстовых ИИ-чатах такие же ограничения — только их сложнее распознать. А на картинке сразу всё наглядно.

Материал: Proper специально для Putc.Org
Иллюстрация: ГигаЧат
Настоящий материал самостоятельно опубликован в нашем сообществе пользователем Proper на основании действующей редакции Пользовательского Соглашения. Если вы считаете, что такая публикация нарушает ваши авторские и/или смежные права, вам необходимо сообщить об этом администрации сайта на EMAIL abuse@topru.org с указанием адреса (URL) страницы, содержащей спорный материал. Нарушение будет в кратчайшие сроки устранено, виновные наказаны.
Поблагодарите автора - поддержите его материально:

Читайте также:

4 Комментарий
старые
новые
Gena
Gena
3 месяцев назад

Ну,ИскИдиот,он такой,да…

Кстате,чот через сберпай мани так и не переводятццо,Хрень с ашыпкой выдаёт.

«Не получилось
Вероятнее всего, это техническая ошибка. Попробуйте начать заново или переведите деньги другим способом.»

ZIL.130
ZIL.130
3 месяцев назад

В Сбере это не Буш, это Пауэлл. Глава ФРС. Бывший. Ща тарасы в Сбере подговнокодят и будет в таких картинках нынешний глава ФРС Варшавский.

Broomer
Broomer
3 месяцев назад

На изображении, вообще-то, чистокровный еврей (находится на должности члена Совета иудейских общин США) Энтони Блинкен времен администрации Клинтона. В американской политике с 1988 года, с тех пор работал во всех администрациях США на формальных и неформальных постах, последняя должность — госсекретарь США.
Так что нейросетка права — этот еврей и есть истинный несменяемый президент США.
По аналогии с помощниками министров Великой Британии (Кабинет министров этой страны в реале — один из отделов Тайной Канцелярии Его Королевского Величества).

Чтобы добавить комментарий, надо залогиниться.