ИТ-специалист, который предсказал эпидемию фейков, теперь пророчит информационный апокалипсис

Авив Овадья. Фото Стивена Лэма для BuzzFeed News

В середине 2016 года Авив Овадья (Aviv Ovadya) понял, что с интернетом что-то не так — и это очень серьёзное «не так». Настолько, что он бросил работу и попытался поднять тревогу. До президентских выборов 2016 года оставалось несколько недель. Опасения о надвигающемся кризисе дезинформации Овадья изложил в презентации (он назвал её «Инфокалипсис») — и отправил её другим ИТ-специалистам из Сан-Франциско.

Авив Овадья утверждал тогда, что интернет и его информационная экосистема жутко больны. Алгоритмы крупнейших соцсетей настроены так, что в топ попадает информация либо ложная, либо тенденциозная (или и то, и другое). Facebook, Twitter и Google поставили во главу угла клики, шеры, рекламу и деньги — в ущерб качеству информации. Овадья никак не мог отделаться от ощущения, что всё неспроста, что зреет какой-то дурной замысел и объём вредной информации уже близок к критическому порогу. Однако специалисты высокотехнологичных компаний не удостоили его презентацию своим вниманием — включая и тех, кто впоследствии развивал новостную ленту Facebook.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

«Тогда у меня было ощущение, как будто мы в машине, которая набрала скорость и уже не слушается руля. Но даже расхожей фразы, что всё будет в порядке, не слышно — нет, люди даже самой машины не замечают!».

Овадья рано заметил то, что многие (в том числе законодатели, журналисты и главы хайтек-компаний) поймут лишь несколько месяцев спустя: наш мир, зависимый от соцсетей и алгоритмов, слишком уязвим. Он уязвим для пропаганды и дезинформации, для чёрного пиара и «рекламы», запущенных другими государствами... Причём настолько, что заставляет сомневаться в основе из основ — в достоверности самих фактов.

И то, что придёт следом, будет ещё страшнее.

«Иногда алармизм полезен, потому что обо всех этих вещах и нужно тревожиться», — заявил Овадья в январе этого года, прежде чем спокойно обрисовать мрачные перспективы: нас ждут примерно лет двадцать фейковых новостей, а также искусственный интеллект на службе дезинформации и пропаганды.

Это будущее придёт к нам с целой волной удобных, лёгких и всё более совершенных инструментов, которые позволяют управлять восприятием и создавать фальшивую реальность.

Для этой реальности уже придумали несколько терминов: «равнодушие к реальности», «автоматический лазерный фишинг» и «люди-марионетки».

Вот почему в 2016 году Овадья бросил всё, пытаясь предотвратить информационный кризис, спровоцированный высокими технологиями. Осознание было мгновенным — просто однажды картинка сложилась, и до него дошло: если кто-то решит воспользоваться нашей расслабленностью и невнимательностью и настроит соцсети так, чтобы они искажали реальную картину, то его не остановить.

Для этого просто нет инструментов, нет противовеса. «Я осознал, что, если все эти системы выйдут из-под контроля, то их уже не приструнить, и тогда дело примет скверный оборот», — объясняет Овадья.

«Мы были очень напуганы год-полтора назад, но сейчас нам ещё страшнее».

Сейчас Овадья вместе с другими исследователями пытаются хотя бы немного заглянуть вперёд — в то самое тревожное и мрачное будущее. Как в компьютерной игре, они анализируют разные сценарии развития событий, и исход их обычно не радует.

Шок и возмущение Овадьи от действий «русского фейсбука» и ботов в Twitter накануне президентских выборов меркнут на фоне более серьёзной угрозы. Эта угроза — технологии, искажающие реальность. Они развиваются так быстро, что мы не успеваем понять, что происходит, а тем более — взять под контроль или хотя бы снизить их влияние. Ставки высоки, а возможные последствия ещё более угрожающи, чем иностранное вмешательство в выборы. С помощью этих технологий можно отбросить назад или даже опрокинуть ключевые институты общества — это и есть инфокалипсис. Овадья считает, что это столь же вероятно, как то, что произошло в 2016-м. Только гораздо хуже.

Хуже — потому что вычислительные мощности растут с ошеломительной скоростью, хуже — потому что всё очевиднее становятся преимущества искусственного интеллекта и машинного обучения, способных размыть некогда чёткую границу между фактом и вымыслом. Хуже — потому что в будущем, воспользовавшись всем этим, любой сможет создать иллюзию какого-то события, даже если на самом деле его не было.

«Что произойдёт, если убедить людей в реальности некоего события — даже если на самом деле его не было?».

И начало уже не за горами. Ведь никто не думал о проплаченной из-за рубежа дезинформационной кампании как о реальности, а между тем оказалось, что это уже случилось. Стремительно развивающиеся искусственный интеллект, машинное обучение, технологии дополненной реальности — все они могут стать инструментами ведения информационных войн.

Да, потенциальный «инфокалипсис» ближе, чем кажется. Уже доступны инструменты, позволяющие перекраивать аудио и видео по своему усмотрению — ещё немного, и с их помощью можно запустить фейковую новость, например, о новом Манхэттенском проекте (Manhattan Project — кодовое название программы США по разработке ядерного оружия; программа запущена 17 сентября 1943 года).

Где-то в тёмных закоулках интернета уже начали выпускать порнографию с реалистическими лицами знаменитостей, «приклеенными» к телам порноактёров. В Стэнфорде написали программу, которая в уже записанное видео может вставить фрагменты с людьми, отслеживаемыми в формате реального времени. В университете Вашингтона удалось создать софт, который превращает аудиоклип в реалистичное видео, точно воспроизводя артикуляцию. То есть человек как бы произносит слова из аудиоклипа — и его губы движутся в соответствии с этими словами.

И как будто в подтверждение обрисованной выше концепции, обе университетские команды, демонстрируя возможности своих программ, заставили в них мировых лидеров говорить то, чего они никогда не произносили на самом деле.

Пример работы открытого сервиса по созданию голосовых аватаров — Lyrebird

Один из таких сценариев — «дипломатические манипуляции». Например, кто-то захочет вмешаться в геополитику. Продвинутые технологии помогут ему убедить других, что некое событие реально произошло.

Это может быть так: сперва программа машинного обучения анализирует огромное количество данных, чтобы освоить нужную функцию, а затем в неё загружают сотни часов видеозаписей с Дональдом Трампом или северокорейским лидером Ким Чен Ыном. Результат её труда — аудио или видеоклип с кем-то из них. Герой ролика выглядит и говорит так, что едва ли отличишь от настоящего. И в этой записи он объявляет ядерную или биологическую войну. Даже нет нужды в идеальной имитации, достаточно сделать просто хорошую копию, чтобы потенциальный противник поверил в происходящее. А дальше — предсказуемая реакция, вызванная жаждой возмездия.

«Нет нужды в идеальной имитации, достаточно сделать просто хорошую копию».

Политическая симуляция — или симуляция политической активности — ещё один возможный сценарий. Это комбинация действий политических ботов и реальных людей. При этом людьми можно манипулировать с помощью ботов и специально запущенных кампаний. Боты, управляемые искусственным интеллектом, смогут наравне с обычными людьми бороться за внимание законодателей и различных общественных институтов, потому что их действия будет невозможно отличить от действий человека.

Потом — уже напрямую завалить законодателей, сенаторов нескончаемым потоком обращений, жалоб и требований. Здесь тоже можно комбинировать заявления реальных избирателей и фейковые сообщения, созданные автоматически. С этой задачей справится программа машинного обучения, которая сначала обрабатывает информацию в соцсетях (тексты, аудио, профили пользователей), а потом на основе этого сама фабрикует «человекоподобные» сообщения.

Следующий приём — автоматический лазерный фишинг. Об этом уже шепчутся специалисты по безопасности. Суть его в следующем: искусственный интеллект анализирует информацию о пользователях соцсети (или любую другую публичную информацию), после чего посылает им фальшивые сообщения. Он делает это от имени людей, которых адресаты знают, поэтому сообщения выглядят очень убедительно. Нечто подобное злоумышленники могут использовать и в политике: достаточно выбрать конкретного политика, проанализировать данные, которые есть в свободном доступе, — и вот уже можно создать правдоподобную имитацию.

Если раньше для того, чтобы имитировать чей-то голос и речь, был нужен человек, то скоро достаточно будет просто нажать кнопку в программе. Это станет настолько обычным, что сделать это может кто угодно. Вот тут-то и пойдёт совсем другая игра.

Обычные фишинговые сообщения хотят, чтобы вы перешли по некой небезопасной ссылке. А теперь представьте себе, что вы получаете сообщение от кого-то из знакомых. На самом деле нет, но выглядит оно именно так — то есть искусно встроено в ваш персональный контекст. Например, это письмо от друга, которое вы с нетерпением ждали. Когда до вас наконец дойдёт, что это тоже фишинг, вы будете просто ошеломлены. Каждый комочек спама выглядит как имейл от реального человека, которого вы знаете... В каждом используется свой особенный способ (характерный для вашего знакомого) убедить вас в чём-то, заставить совершить какое-то действие...

Неудивительно, что в какой-то момент вы решите: «Пожалуй, с меня хватит. Почту я больше не проверяю».

В итоге сформируется равнодушие к реальности. Измученные потоком постоянной дезинформации и обмана, люди постепенно сдадутся. Именно это и происходит в обществах, где информации слишком мало или она неправдива. На неё просто перестают обращать внимание. Совсем другое дело, когда такое равнодушие к реальности формируется в развитом обществе, с разнообразными информационными потоками. Люди перестают следить за новостями и постепенно всё хуже понимают, что происходит. Но их общая осведомлённость очень важна, потому что это основа функционирования демократии.

Овадья и другие исследователи считают, что лазерный фишинг неизбежен. Причём эффективного ответа на эту угрозу пока нет.

Зато есть и другие кошмарные сценарии. По словам Овадьи, они пока слишком далеки от реальности, однако не настолько, чтобы совсем о них не задумываться. Один из таких — «люди-марионетки». Что-то типа чёрного рынка — только в соцсетях, и вместо ботов там люди. Цель та же самая — манипуляция людьми, попытки подчинить их поведение своим целям.

Эти предостережения пугают вдвойне, если учесть, как легко оказалось манипулировать нашей демократией — для этого хватило довольно примитивных способов дезинформации. Мошенничество, хитрость и обман — ничего нового. Просто сами методы стали совершеннее, их сложнее обнаружить, и они идут рука об руку с технологиями, развитие которых сложно прогнозировать.

Тем, кто внимательно следит за развитием искусственного интеллекта и машинного обучения, описанные сценарии едва ли покажутся чем-то фантастическим. Уже сейчас Nvidia разрабатывает программу, которая сама создаёт весьма убедительные гиперреалистические фото людей, пейзажей и других объектов, изучив перед тем десятки тысяч различных изображений. Adobe тестирует сразу два продукта — Voco и Cloak. Первый — «фотошоп для аудио», а второй инструмент позволяет совершенно незаметно и буквально одним кликом удалять из видео объекты (да-да, и людей тоже!).

Портреты вымышленных знаменитостей, сгенерированные нейросетью Nvidia

Иногда инструмент получается настолько удачным, что это поражает даже самих разработчиков. Айан Гудфеллоу (Ian Goodfellow), учёный-исследователь из Google Brain, помогал создавать первую версию GAN (generative adversarial network, генеративно-состязательная сеть). Это нейросеть, способная совершенствоваться без помощи человека. Гудфеллоу предупреждает, что искусственный интеллект может отбросить наше привычное потребление новостей примерно на сто лет назад — в эпоху до массового распространения видео, потому что станет слишком сложно отличить настоящий видеоролик от фейка.

В ноябре 2017 года на конференции в MIT (Массачусетский технологический институт) он заявил, что GAN уже обладает воображением и способностью к интроспекции — нейросеть сама в состоянии оценить результат, не опираясь на обратную связь от человека. По его словам, созидательные возможности машин безграничны, и это в корне изменит способы потребления информации. Некоторые из них, привычные для нашего поколения, уже просто потеряют смысл.

Сценарии, которые обрисовал Авив Овадья, действительно возможны. И вот доказательство. Летом 2017 года более миллиона ботов нахлынуло в систему публичных комментариев при Федеральной комиссии по связи (FCC) — они резко увеличили число обращений, требующих отменить принцип сетевого нейтралитета. По мнению исследователей, такие комментарии ботов, маскирующиеся под сообщения настоящих людей, отныне подрывают доверие к публичным системам комментирования. Овадья полагает, что случай с FCC — лишь слабый предвестник того, что ждёт нас в скором будущем.

Именно размывание границ между подлинным и ложным (включая информацию из официальных источников) и есть главная угроза и основной повод для беспокойства. Если есть техническая возможность создать фейк, неотличимый от реального события, то злоупотребления возможны в обе стороны: можно выдать фейк за правду, но можно и наоборот, заявить, что некое реальное видео — всего лишь фейк, состряпанный с помощью современных технологий.

Об этом говорит Рени Диреста (Renee DiResta), исследующая различные виды пропаганды в интернете. Она отмечает, что недавняя история с Дональдом Трампом, вполне может быть как раз из этой области. Во всяком случае, теперь Трамп отрицает, что в записи звучит его голос, — и ссылается на экспертов, рассказавших ему, что это можно подделать с помощью технологий.

«В следующие несколько лет нам нужно готовиться к появлению пропагандистов-любителей. Может быть, им даже удастся разбогатеть, создавая фотореалистичные фикции событий», — размышляет Джастин Хендрикс (Justin Hendrix), исполнительный директор NYC Media Lab. «Если их попытки увенчаются успехом, и люди постепенно начнут подозревать, что некоторые медийные события лишь выглядят настоящими, но на самом деле за ними ничего нет, то мы окажемся в очень сложной ситуации. Достаточно буквально пары таких громких скандалов, чтобы общество поверило, что иллюзорно абсолютно всё».

Совсем недавно в эффективность дезинформации мало кто верил. В этом ряду стоит и печально известное заявление Марка Цукерберга: в нём он назвал бредовыми утверждения, что в выборах 2016 года ключевую роль сыграли фейковые новости на Facebook. Поэтому первоочередная задача Авива Овадьи и других исследователей — убедить широкую публику, а также законодателей, сотрудников университетских лабораторий и технологические компании, что информационный апокалипсис не просто возможен — он совсем рядом.

«Достаточно буквально пары громких скандалов, чтобы общество поверило, что иллюзорно абсолютно всё».

«Я принадлежу к свободной и открытой культуре, и не призываю остановить развитие технологий, но важно убедиться — ради блага общества — что мы в состоянии удержать равновесие. Я не хочу просто пугать инфокалипсисом, но я прошу отнестись ко всему этому серьёзно, оценить последствия. Сначала убедитесь, что на самом деле до этого не дойдёт», — сказал Овадья в беседе с BuzzFeed News.

Не слишком воодушевляющее заявление, однако и повод для оптимизма тоже есть. Овадья отмечает, что сейчас сама тема пропаганды в интернете вызывает гораздо больше интереса, чем раньше. Сейчас к его предостережениям внимательнее относятся даже те, кто раньше не воспринимал их всерьёз: «Сначала всё было совсем печально — никто даже не слушал. Но последние несколько месяцев были более обнадёживающими». Может быть, постепенно найдутся и подходящие решения — например, криптографическая верификация, которая позволит отличить настоящее изображений или аудио от фальсификации.

Однако Овадья и другие исследователи предупреждают, что ближайшие несколько лет будут непростыми. Пока что, несмотря на требования изменений, социальные платформы по-прежнему используют неправильные алгоритмы работы с контентом: в топ выдачи попадает (а следовательно, и привлекает максимум внимания), прежде всего, очень кликабельный и низкокачественный контент. Эту задачу сложно решить и саму по себе, а когда ранжированием контента занимаются масштабные системы вроде Facebook, то ситуация становится ещё опаснее.

Присылайте ваши статьи на 42@cossa.ru. А наши требования к ним — вот тут.

Источник: BuzzFeed News; перевод Полины Стрельцовой