Агентство кибербезопасности

У разработчиков алгоритма OpenAI нечаянно получился идеальный генератор fake news

Опубликовано at 17:00
715 0

Некоммерческая лаборатория OpenAI была создана в 2015 году при участии Илона Маска и других бизнесменов для развития искусственного интеллекта «на благо человечества». Первый результат был предъявлен общественности 14 февраля, когда OpenAI объявила о создании нейросети GPT-2, которая успешно генерирует осмысленные тексты, настолько успешно, что у него выходят вполне убедительные новости на основе одной вступительной фразе.

Таким образом ученым, к примеру, удалось сгенерировать:

статью об учёных, которые нашли в Андах стадо единорогов;
новость о поп-звезде Майли Сайрус, пойманной на магазинной краже;
художественный текст о Леголасе и Гимли, идущих в атаку на орков;
эссе о том, как переработка отходов вредит экономике, природе и здоровью людей.

Журналист BBC News Дэйв Ли решил поиграть в постмодернизм и предложил GPT-2 на «съедение» фразу: «Тысячи журналистов вышли в пятницу на марш протеста против появления систем искусственного интеллекта, созданных для написания новостей вместо людей».

Результат получился жутковато убедительным. Нейросеть продолжила текст в формате новостной заметки, дав упомянутой в первом абзаце системе название «AOL Buzz». Свою статью искусственный интеллект завершил сообщением о том, что AOL «принадлежат популярные новостные и социальные сети платформы, в том числе Facebook, Instagram и YouTube» (как отметил Ли, это могло бы быть правдой лишь «в самых диких мечтах совета директоров и инвесторов AOL»).

Кроме того, нейросеть вставила в новость вымышленную цитату: «Хотя некоторые могут назвать это „фейковыми новостями“, мы знаем, что ситуация только ухудшится, если крупнейшие технологические компании не начнут защищать журналистов от этой атаки на их средства к существованию». Звучит весьма осмысленно, к тому же авторство этой цитаты GPT-2 приписала сотруднице одной из влиятельных газет, к которой действительно могли бы обратиться за комментарием, если бы новость была реальной.

Разработчики не стали публиковать исходный код модели целиком, опасаясь злоупотреблений со стороны недобросовестных пользователей. Вообще же GPT-2 разрабатывался как алгоритм общего назначения. Разработчики учили его отвечать на вопросы, «понимать» логику текста, предложения, достраивать фразы. В других задачах, правда, пока алгоритм работал хуже, чем модели специфического назначения. Исследователи предполагают, что показатели можно улучшить, если расширить обучающие датасеты и выбрать компьютеры помощнее.

Журналисты и опрошенные ими эксперты в целом соглашаются, что проблема использования искусственного интеллекта в целях дезинформации действительно стоит остро; Минобороны США уже занимается поиском средств для распознавания дипфейков, а в конгресс внесен законопроект о наказании за их распространение.

Related Post