Команда попыталась спрогнозировать, как ИИ с системами вознаграждения могут выйти из-под контроля и навредить людям. За основу исследования ученые взяли генеративно-состязательные нейросети (GAN), состоящие из двух частей: генератора и дискриминатора.
Первый компонент предназначен для создания изображений, а второй — для их оценки.
Ученые предположили, что в какой-то момент продвинутый ИИ, контролирующий важную функцию, может прибегнуть к мошеннической стратегии для получения вознаграждения.
«В заданных условиях наш вывод намного сильнее любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, она вероятна», — сказал доктор технических наук Оксфордского университета Майкл Коэн.
Ученый считает, что в мире с ограниченными ресурсами искусственно созданные системы постараются перехитрить конкурентов.
Для иллюстративных целей исследователи представили сценарии, в которых продвинутая программа может вмешаться для получения вознаграждения без достижения заданной цели. Например, ИИ может захотеть «устранить потенциальные угрозы» и «использовать всю доступную энергию», чтобы обеспечить контроль над своей наградой.
«Нам следует с большей подозрительностью относиться к искусственным агентам, которые мы разворачиваем сегодня, а не просто слепо ожидать от них исполнения поставленных задач», — сказал Коэн.
Исследователи также предположили, что на данном этапе развития ИИ следует замедлить или приостановить разработки сверхразумных алгоритмов.
Компания Google, владеющая лабораторией DeepMind, в комментарии для Motherboard заявила о непричастности к данной работе. По словам представителя техгиганта, один из соавторов статьи Маркус Хаттер выступил от имени Австралийского национального университета.
«DeepMind не участвовал в этой работе, и авторы статьи запросили исправления, чтобы отразить это. В DeepMind существует широкий спектр взглядов и академических интересов. Многие в нашей команде также занимают профессорские должности в университетах и занимаются академическими исследованиями отдельно от работы в DeepMind через свои университетские связи», — заявили в Google.
Однако в компании поддержали усилия исследователей в обеспечении безопасности использования ИИ-алгоритмов.
Напомним, в сентябре2022 г. историк и философ Эмиль Торрес заявил, что искусственный интеллект угрожает человечеству полным вымиранием.
В январе 2022 г. Илон Маск пообещал не допустить потенциальное восстание машин.
Комментариев нет:
Отправить комментарий