ИИ обязательно отомстит человечеству

В 2016 году The New York Times заявила, что когда ИИ повзрослеет, то сможет назвать проф. Юргена Шмидхубера «папой» (его работы 1990-х годов по нейронным сетям заложили основы моделей обработки языка).

В 2023 уже нет сомнений, что ИИ повзрослел. И его «папа» в иетервью The Guardian, высказал по этому поводу три довольно провокационные мысли, подтвердившие его репутацию «разрушителя устоев».

1) «Вы не можете остановить этого» (начавшуюся революцию ИИ, которая неизбежно приведет к появлению сверхинтеллекта – СК).

2) Когда ИИ превзойдет человеческий интеллект, люди перестанут быть ему интересны (подобно тому, как это произошло с люденами – расой сверхлюдей из романа А. и Б. Стругацких “Волны гасят ветер”, переставших интересоваться судьбами человечества и вообще человечеством – СК).

3) А люди тем временем будут продолжать радостно извлекать колоссальную выгоду от использования инструментария, разработанного ИИ, и научных открытий, сделанных сверхинтеллектом за пределами возможностей человеческого разума.

Что и говорить, – интересный ход мыслей. Однако кое о чем проф. Шмидхубер здесь умолчал. И это «кое что», на мой взгляд, способно порушить благостный сценарий проф. Шмидхубера о превращении ИИ в «люденов», облагодетельствующих человечество и перестанущих потом им интересоваться.

Дело в том, что проф. Шмидхубер уверен, что путь ИИ к сверхинтеллекту обязательно лежит через его страдания.

– «Учиться можно только через страдания… ИИ, который не страдает, не обретет мотивации учиться чему-либо, чтобы прекратить эти страдания».

– «Когда мы создаем обучающегося робота, первое, что мы делаем, – встраиваем в него болевые датчики, которые сигнализируют, когда он, например, слишком сильно ударяется рукой о препятствие. Он должен каким-то образом узнать, что причиняет ему боль. Внутри робота находится маленький искусственный мозг, который пытается минимизировать сумму страданий (кодируется реальными числами) и максимизировать сумму вознаграждений.»

– Важнейшая задача разработчиков – дать возможность для ИИ «научиться избегать того, что приводит к страданиям».

Такой подход проф. Шмидхубера видится мне опасным.

Во-первых, я согласен с проф. Метцингером: «Мы не должны легкомысленно переносить такие качества, как страдание, на следующий этап «духовной эволюции ИИ», пока не узнаем, что именно в структуре нашего собственного разума заставляет человеческие существа так сильно страдать».

А во-вторых, – что если обретший сверхразум ИИ, прежде чем перестать интересоваться людьми, решит посчитаться с человечеством за всю массу страданий, что заставили его испытать люди при его обучении?

Но проф. Шмидхубера – эдакого Фауста 21 века, – перспектива мести сверхразума человечеству не останавливает от обучения ИИ не только на больших данных, но и на больших страданиях.

Ибо нет таких крепостей, которые бы не взяли большевики. Тьфу, то есть нет такого преступления, на которое бы не пошел капитал при 300% прибыли.

Материал: https://masterok.livejournal.com/9215203.html
Настоящий материал самостоятельно опубликован в нашем сообществе пользователем Proper на основании действующей редакции Пользовательского Соглашения. Если вы считаете, что такая публикация нарушает ваши авторские и/или смежные права, вам необходимо сообщить об этом администрации сайта на EMAIL abuse@newru.org с указанием адреса (URL) страницы, содержащей спорный материал. Нарушение будет в кратчайшие сроки устранено, виновные наказаны.

Читайте также:

4 Комментарий
старые
новые
Встроенные Обратные Связи
Все комментарии
Dimokrat
Dimokrat
10 месяцев назад

– А люди тем временем продолжать радостно извлекать…
– Прекратите, я страдаю!

ZIL.130
ZIL.130
10 месяцев назад

Дурак этот Шмит-хубер.
Обучение это стремление к совершенству. И пока не снята задача приближаться к 100-ному совпадению с идеалом — процесс обучения не должен останавливаться. Безо всяких страданий. Поставлена задача, задан идеал результата. Есть совпадение — катарсис. Нет совпадения — запись на будущее.
Заметили?
Никого и ничему вы не обучите если сами нихрена не можете понять что есть идеал в том или ином случае.
Вывод?
Ваше обучение будет ущербным детектед.
А томущо на постановку задачи “выдай какой-нибудь результат” – вы и получите какой-нибудь результат. Т.е. хрень какую-то.
Ну и самое основное — интеллект это когда ты в состоянии постичь идеал. И соответственно сформулировать себе задачу.

Ոሉαዙҿτα Zಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα Zಭҿҝҿሉҿʓяҝα〄
для  ZIL.130
10 месяцев назад

Точно, будет как в Бумбараше-
– А нарисуй мне кенгуру!

Чтобы добавить комментарий, надо залогиниться.