Нейросеть «Балабоба» заменила копирайтера. Эксперимент Educate Online

Суть эксперимента — в течение недели писать все тексты, заголовки и даже придумывать визуал постов и историй для основного аккаунта компании с помощью нейросети.

Как работает «Балабоба»

Нейросеть работает на основе языковой модели YaLM и строит грамматически правильные и связные тексты. Она генерирует каждое последующее слово в предложениях, потому что обучена на индексируемых Яндексом страницах и записях пользователей в социальных сетях. При этом тексты стилизуются под определённые тематики. Например, рекламные слоганы или синопсисы фильмов.

Эффективная и выгодная реклама с сервисом от МегаФона

Широкий выбор рекламных каналов, более 100 параметров по интересам, подробная аналитика и другие возможности уже ждут в Личном кабинете. А еще кешбэк 100% за запуск рекламы в первый месяц и еще 10% — каждый месяц.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID LjN8K1P7y.

Ход эксперимента: шаг за шагом

Перед началом эксперимента мы с коллегами сформулировали пять гипотез, а также решили не рассказывать другим командам об эксперименте вплоть до выхода кейса, чтобы провести качественное наблюдение за реакцией коллег на публикуемый контент.

Контент-план на неделю был определён ещё до эксперимента, поэтому мы не пытались подстроить его под нейросеть.

Гипотеза № 1. Нейросеть сможет самостоятельно писать более 50% текста для постов и сториз

Как показал эксперимент, средний процент текста, написанного нейросетью:

• для постов (за неделю вышло 3 поста) — 47%;

• для историй (за неделю вышло 12 историй) — 41%.

Если нужен короткий текст по одному из популярных в поисковиках запросов, например, «как поступить в зарубежный университет» — «Балабоба» способна предложить приемлемый вариант. Конечно, не с первого раза. Придётся «побалабобить» 5–10–20 раз по разным сочетаниям ключевых слов, но полученные результаты можно комбинировать между собой или даже использовать сразу без коррекции. Особенно удобно искать идеи и тезисы для сториз, так как там преобладают короткие тексты.

Мы для Instagram пишем более развёрнутые посты, местами с рекламным CTA, поэтому одной «Балабобой» ограничиться не получилось. Приходилось корректировать предложенные варианты, добавлять слова-связки в предложения, убирать повторы и ненужные местоимения, чтобы пост был более логичным и читабельным для подписчиков и не выглядел как seo-текст.

Гипотеза № 2. Нейросеть сможет на 100% самостоятельно придумывать заголовки для постов и историй

Здесь мы не столкнулись с проблемами и на 100% доверились нейросети:

1. вводим ключевые слова по теме Х;

2. перебираем варианты разных режимов «Балабобы» и выбираем лучший. Например, вводим «Помощники в изучении английского» и получаем «Помощники в изучении английского. Что может быть лучше?». По наблюдениям, самые подходящие и креативные режимы: «рекламные слоганы», «народные мудрости» и «тосты».

После эксперимента мы с командой решили, что именно для этой задачи мы точно продолжим время от времени пользоваться нейросетью.

Гипотеза № 3. Нейросеть сможет придумывать сюжеты для визуализации постов и сториз

До эксперимента казалось, что режим «синопсисы фильмов» поможет генерировать сторителлинг и визуализировать его как минимум в формате историй Instagram. Но мы не учли последовательность создания контента:

1. генерируем текст и заголовок с помощью нейросети;

2. пытаемся генерировать сторителлинг для визуала и понимаем, что идейно мы являемся заложниками первого шага.

Выводы:

• возможно, стоит попробовать поменять шаги местами и всё получится;

• не стоит писать в запросе конкретные вещи: «5 полезных приложений для изучения английского», «подарочный сертификат», «сертификат на 3 занятия». Иначе мы рискуем получить не историю для вдохновения, а конкретные руководства к действию или даже рекламу.

Гипотеза № 4. ERR и охваты постов и сториз не будут отличаться от обычных

Если посмотреть на график выше, то сперва можно ошибочно увидеть причинно-следственную связь между работой нейросети и показателями эффективности контента. Но на самом деле небольшое падение связано с другими факторами:

• одна из тем была про высшее зарубежное образование. Этот сегмент аудитории для нас новый и в ядре подписчиков таких людей ещё не так много. Как итог — чуть меньшая активность;

• в субботу по плану стояла подборка приложений для тренировки английского и обычно в 90% случаев топы собирают высокий охват и ERR. Но похоже случились 10% и мы получили очень маленькую активность.

Пункты выше могли выглядеть как оправдание, если бы не показатель охвата историй — он, наоборот, вырос на 30%. Мы это связываем с тем, что нейросеть рекомендовала очень простые тезисы, и в связке с голосованием получили высокую активность аудитории.

Вывод: нейросеть не влияет негативно на показатели активности.

Гипотеза № 5. Коллеги и подписчики не заметят изменений

Всё было под грифом «совершенно секретно». Во время эксперимента мы целенаправленно делились контентом в общих рабочих чатах, чтобы получить обратную связь.

Коллеги не только не заметили изменения, но даже отметили качество контента.

Если говорить про подписчиков, то в комментариях и в личных сообщениях никто ничего не писал. Но, как нам кажется, объективнее судить по количественным показателям активности. Из гипотезы № 4 стало ясно, что аудитория ничего не заметила.

Что пошло не так

Оказалось, «Балабоба» не всемогущая. Например, однажды в начале рабочего дня нейросеть будто «сломалась», генерируя бессвязные тексты и заголовки. Дело в том, что качество текстов, которые выдаёт нейросеть, напрямую зависит от количества подобранных заранее ключевых слов.

Так сможет ли нейросеть заменить копирайтера?

Мы рассказали о нашем эксперименте директору по развитию технологий искусственного интеллекта Яндекса Александру Крайнову и спросили: «Может ли нейросеть заменить копирайтера?»

Александр Крайнов Директор по развитию технологий искусственного интеллекта Яндекса

• «Балабоба» как второй пилот — хороший помощник, особенно в процессе создания креативных заголовков. Местами напоминает нейросеть от Студии Артемия Лебедева «Николай Иронов», цель которой помочь с креативными идеями, а не создать готовый продукт.

• Писать полноценные посты нейросеть пока не способна, но как показал эксперимент — до 50% вполне. Хотя стоит отметить, что в идеале этот текст всё равно стоит дорабатывать.

• Как отметил Александр Крайнов, нейросети пока не готовы заменить хороших копирайтеров.

• Языковая модель YaLM (Yet another Language Model), на основе которой работает «Балабоба», уже пишет довольно «человечные» и логичные тексты, которые нельзя так просто распознать.

• Эксперимент вдохновил нашу команду нешаблонно посмотреть на привычные процессы и чаще обращаться к ИИ за вдохновением. Так что рекомендуем взять нейросеть себе в штат :–)

Как трудоустроить «Балабобу» в вашу команду

• Составьте список ключевых слов по теме — именно по ним нейросеть подберёт продолжение текста. Например, если мы хотим написать пост про высшее образование за рубежом, то это и вбиваем в нейросеть.

• Невозможно предсказать, за какое время сгенерируется подходящий для вас текст — с первого или пятнадцатого раза. Иногда, чтобы «балабобить», нужно запастись рабочим временем и терпением.

• Выберите раздел синопсисов фильмов. Тогда нейросеть за вас придумает варианты сторителлинга.

• Для того, чтобы генерировать заголовки, перейдите в разделы «ТВ репортажи» и «рекламные слоганы».

• А если ваши коллеги против трудоустройства нейросети, то всё равно попробуйте работать с «Балабобой». Возможно, никто не заметит изменений. Главное использовать с толком и здравым смыслом!

Команда проекта

Никита Верещагин, Алина Потозян, Надя Озонук, Дина Бородина, Екатерина Бабичева и «Балабоба».

От редакции

Оказывается, «Балабоба» может генерировать и диджитал-кейсы. Вдруг и вся эта статья написана нейросетью?

Источник фото на тизере: Erik Eastman on Unsplash

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.