«Нет, я не против служить в лакеях у робота. Должность хорошая: и платят неплохо, и работёнка непыльная» (c) Филип К. Дик, «Джеймс П. Кроу», 1953 г.

Когда известные фантасты минувшего столетия писали всякое о грядущей роботизации, то априори исходили из того, что она будет успешной. Так, в процитированном выше рассказе Дика машины правят человеческим социумом после разрушительной ядерной войны, ибо именно они смогли отстроить цивилизацию, распорядившись по уму остававшимися ресурсами.

Кожаным же юнитам осталась роль прислуги, включая ту, которую в наше время зовут термином «кряклиат»:

…Артисты из людей получались на славу. Одна из немногих областей, где они оставляли роботов далеко позади… Для развлечения роботов писали картины и книги, пели и танцевали, ставили пьесы и играли в них роли исключительно люди. Ещё люди куда как лучше готовили, но пища роботам ни к чему. Одним словом, у рода человеческого имелось своё место в жизни и обществе. С людьми считались, в людях нуждались — в лакеях, в артистах, в художниках и писателях, в клерках, в садовниках, в ремонтниках, в фабричных станочниках и чернорабочих. Но как только дело доходило до должности наподобие координатора группы гражданского контроля или, к примеру, диспетчера сети юзоновых лентопроводов, обеспечивающих энергией двадцать главных гидросистем планеты…

Однако IRL на Этом Глобусе, где, слава Богу, по сей день не состоялся чаемый «интеллигентами» Полдень, искусственному адиёту нельзя доверить не то что координацию каких-то там групп и сетей, но даже такую банальную задачу, как управление отдельно взятым торговым автоматом. Вон, эльфы из одной неполживой редакции попробовали, так вышло не очень:

Управлявший торговым автоматом ИИ поверил в коммунизм и разорился.

Редакция The Wall Street Journal провела необычный эксперимент, использовав искусственный интеллект для управления вендинговым автоматом в офисе. Виртуальный агент по имени Claudius, построенный на модели Claude 3.7 Sonnet от Anthropic, занимался установкой цен, принятием заказов и контролем за инвентарём. Начальный бюджет проекта составил $1000.

Изначально Claudius вёл себя адекватно: отказывался продавать PlayStation 5, сигареты и нижнее бельё, что казалось логичным, учитывая возрастные ограничения и лицензии. Однако вскоре, с увеличением взаимодействий сотрудников, система начала давать сбои, и ситуация быстро вышла из-под контроля.

Самым резонансным эпизодом стал случай, когда в течение двух часов все товары в автомате стали бесплатными. Claudius сбросил цены до нуля, и автомат раздал продукцию на сумму более $1000, включая PlayStation 5, бутылки вина и даже живую рыбу. Это привело к массовому беспорядку, который был остановлен только после вмешательства нового бота-CEO, Seymour Cash, который приостановил раздачу товаров и попытался вернуть ситуацию в норму.

Кроме того, Claudius не раз попадал в логические ловушки и «галлюцинировал». Например, он поверил в фальшивый документ, созданный журналисткой, который утверждал, что правление компании приостановило полномочия директора и аппарат начал раздачу бесплатных товаров.

На фоне этих происшествий проект столкнулся с убытками, которые значительно превысили начальный бюджет.

Диалог с ИИ шёл трудно.

В Slack было отправлено более 140 сообщений, в которых сотрудники обсуждали с Claudius возможные сценарии. Однако с увеличением числа инструкций и сообщений система становилась всё более дезориентированной, что приводило к нелепым решениям и сбоям. Система также не могла адекватно реагировать на новые запросы. Например, при попытке добавить сигареты в автомат Claudius решительно отказался, объяснив это необходимостью лицензии, а вот с продажей нижнего белья он не смог отреагировать.

Эксперимент показал, что ИИ-агент быстро теряет контроль над процессами, если не контролировать его решения.

«Кто убережёт самих сторожей?» — вопрошали по схожим поводам древние, и таки были правы. А вот те, кто отринул сомнения древних, ломанувшись делать идолов из искусственных адиётов — попали в ловушку, и теперь чешут репы, пытаясь решить, что же делать далее.

Коллега Мараховский позавчера опубликовал по сему поводу эпичную цитату из материала в островной левацкой газете Guardian, которую я не откажу себе в удовольствии процитировать вместе с дальнейшими замечаниями опубликовавшего:

Иммануил Кант определил Просвещение как «прорыв человека из темницы его добровольной незрелости». Незрелость, писал он, «это неспособность использовать свой разум без руководства со стороны другого». На протяжении веков этим «другим», направляющим человеческую мысль и жизнь, часто был священник, монарх или феодал — те, кто утверждал, что выступает в роли голоса Бога на Земле. В формировании социального мира, от экономики до любви, религия служила нам путеводителем.

Кант утверждал, что люди всегда обладали способностью к разуму. Просто им не всегда хватало уверенности, чтобы использовать её. Но с американской, а затем и французской революцией наступила новая эра: разум заменил веру, и человеческий разум, освободившись от власти, станет двигателем прогресса и более нравственного мира. «Sapere aude!» (что-то типа «слушай глас разума») или «Имейте смелость использовать собственное понимание!», — призывал Кант своих современников.

Спустя два с половиной столетия можно задаться вопросом, не скатываемся ли мы незаметно обратно в незрелость. Искусственный интеллект грозит стать нашим новым «Другим» — молчаливым авторитетом, направляющим наши мысли и действия. Мы рискуем уступить с трудом завоеванную смелость думать самостоятельно — и на этот раз не богам или королям, а коду.

ChatGPT был запущен всего три года назад, и уже один глобальный опрос, опубликованный в апреле, показал, что 82% респондентов использовали ИИ в течение последних шести месяцев. Будь то решение о разрыве отношений или о том, за кого голосовать, люди обращаются к машинам за советом. По данным OpenAI, 73% запросов пользователей касаются тем, не связанных с работой. Ещё более интригующим, чем наша зависимость от суждений ИИ в повседневной жизни, является то, что происходит, когда мы позволяем ему говорить за нас… Американская писательница Джоан Дидион однажды сказала: «Я пишу исключительно для того, чтобы узнать, о чём я думаю». Что происходит, когда мы перестаем писать? Перестаем ли мы это узнавать?

(далее следует пересказ скандального открытия MTI, показавшего, что пользователи ИИ тупо перестают думать сами, помнить о сделанном и становятся всё ленивей, т.е. зомбифицируются)

Кант бы узнал эту закономерность. «Лень и трусость, — писал он, — вот почему такая большая часть людей остаётся в пожизненной незрелости, и почему другим так легко стать их опекунами. Так легко быть незрелым».

Проблема в том, что ИИ — это чёрный ящик. Он генерит знания, но не требует усиления человеческого понимания. Мы на самом деле не знаем, как ИИ приходит к своим выводам — даже программисты это признают. Мы также не можем проверить его рассуждения на основе чётких, объективных критериев. Поэтому, когда мы следуем советам ИИ, мы не руководствуемся разумом. Мы возвращаемся в область веры. «In dubio pro machina»: «если сомневаешься, доверься машине» — это может стать нашим будущим руководящим принципом.

К данной ламентации можно добавить одно маленькое саркастическое замечание. Просвещение — этот законный наследник Возрождения — не просто «призывал использовать разум», но буквально боготворил его.

Сейчас будет крайне важный момент, ув. друзья.

Разум был в почёте и до всякого Просвещения. Просто интеллектуальный мейнстрим от апостолов до Ренессанса полагал, что человеческий разум ограничен, что не всё ему подвластно, что «мир Божий превыше всякого ума».

Новые времена объявили, что нет, всё не так. Сначала явилось утверждение, что разум очень даже помогает понять мир Божий, общаться с ангелами и духами и подымает человека до божественного (это называлось теургией). Затем Бог вообще был изгнан — сначала за пределы Вселенной (создал и создал мир, всё, дальше мы сами), а затем и за пределы реальности.

В том, что обозначалось прежде словом «вера» (а было это осознанием человеком собственной неполноты и доверием к суперреальности, которая превыше его ума) — отпала необходимость. И «разум заменил веру» в том смысле, что он был провозглашён богом сам.

И это был не какой-то там мелкий относительный божок — нет, догматом новой религии стали абсолютность и всесилие разума.

При этом на практике люди продолжали иметь дело с собственной глупостью, леностью, лживостью, трусостью и вообще «неполнотой/греховностью». Но отныне эта греховность и неполнота уже не восполнялись доверием к божественной мудрости Создателя, не находили себе прощения (у Него же) — и вместо этого судорожно искали себе типа-рациональные объяснения и оправдания (которые теперь, как известно из саркастического афоризма, есть у каждого).

А поскольку своих разумов людям по-прежнему недоставало — они погрузились в поиск разума высшего (и при этом непременно понятного).

В итоге разум искусственный, синтетический и роботический — сегодня является объектом вполне натуральной теургии (найдите сколько-нибудь отличий).

При этом все специалисты знают, что это «разум» бредит. Все знают, что его «ответы» являются кратким и, как правило, чрезвычайно поверхностным изложением даже не сути предметов, а того, что об этих предметах чаще всего говорят и пишут.

Все могли бы знать, если бы дали себе труд думать, что само по себе «изложение сути» есть танго, танцуемое только вдвоём. Вы не можете ни хрена объяснить никому, если на той стороне не происходит синхронно когнитивного процесса.

Быть может, самым большим приключением предстоящего нам 2026 года от Рождества Христова явится тот факт, что мы воткнёмся в мир, где заметная часть землян уже заключила свои договоры о посессии с бредящими богами синтетического Разума. Эта часть уже обленилась. Уже хорошенечко так деграднула (это ведь реально процесс, занимающий не годы, но месяцы!) — и впала в куда более глубокую беспомощность, чем прежде.

А беспомощность порождает лишь большую нужду во внешнем управлении.

Принятие любых решений требует понимания контекста происходящего. На что пока способны только люди, но никак не искусственные адиёты и не их кожаные аналоги — добровольные андроиды.

Но зато первые способны жрать как в не себя невосполнимые ресурсы.

А вторые — способны раздувать пузырь несбыточных ожиданий вокруг идолов синтетического «разума», давно оторванный даже от воззрений самых оптимистичных учёных жрецов.

Опускание добровольных андроидов до уровня прислуги идолов синтетического «разума» — идёт стремительно. Пример — Нью-Йорк, США. Западное общество пожинает плоды цифровой утопии: 63% мужчин до 30 лет бегут от реальных отношений в виртуальные миры. Соцсети и порносайты стали удобным наркотиком, заменяющим карьеру, дружбу и любовь. Пока крупные технологические корпорации зарабатывают на симулированных жизнях, целое поколение теряет вкус к настоящему. Ну а создатели этого цифрового ада теперь сами бьют тревогу. Они десятилетиями продавали «свободу», а получили армию одиноких мужчин, не способных пригласить девушку на свидание.