Тексты от ChatGPT: можно ли использовать их на сайте компании и отказаться от услуг копирайтера

30 ноября 2022 года в открытом доступе появился ChatGPT, онлайн-чат с искусственным интеллектом. Он генерирует ответ на вопрос пользователя, создаёт код, находит песни, пишет статьи и не только. Его появление вызвало бурные обсуждения: в сети опубликованы истории пользователей, в которых ИИ написал эссе, сгенерировал код и даже прошёл тест по микробиологии. Причём его результаты оказались лучше, чем результаты среднестатистического студента. И на VC его, конечно, не обошли стороной.

Учитывая истории успешного использования ИИ, на первый взгляд его применение в бизнесе выглядит вполне перспективно. Но, поскольку речь идёт о текстах, то остро встаёт вопрос об их качестве, ведь низкокачественный контент на сайте компании может повлечь репутационные и финансовые риски.

В этой статье попробуем разобраться, насколько качественный текст выдаёт ИИ на русском языке, и стоит ли публиковать его на сайте.

Протестировали возможности ИИ

Мы провели исследование, во время которого попросили ChatGPT написать несколько текстов на разные темы: про стоматологию, парикмахерское дело, ремонт помещений, музыкальные инструменты и биохимию. Полные версии текстов, которые написал ChatGPT, зафиксированы в документе, а далее в статье приведены отдельные примеры.

Готовые тексты проверили на уникальность и удобочитаемость. А потом подключили несколько специалистов из разных ниш, чтобы они оценили правдивость контента.

На старте мы столкнулись с парой ограничений:

1. Чат может генерировать ответы объёмом около 700 символов с пробелами. Когда мы оценивали уникальность текстов большего объёма, то «склеивали» отрывки в логических точках.
2. ИИ обучен на базе данных, которая содержит информацию по 2021 год включительно. Это значит, что он может оперировать устаревшей информацией. А выяснился этот факт так: мы попросили рассказать, каким будет цвет 2023 года, и получили ответ — зелёный. Но это неправда:)

В ответ на замечание ChatGPT сказал:

«Извините, если мой предыдущий ответ не был полезен. Как языковая модель, я не имею доступ к актуальной или будущей информации про тренды цвета в дизайне или цвета года. Мои знания основаны на информации, которая была доступна в период обучения, т. е. в 2021. Я рекомендую проконсультироваться с профессиональными дизайнерами или поискать, чтобы узнать об актуальных трендах цвета в 2023».

Кстати, сейчас на стартовой странице чата появился дисклеймер о том, что ИИ использует базу данных с информацией по 2021 год.

ИИ выдаёт тексты, которые не отличить по уникальности от созданных человеком

Для проверки придумали несколько тем и попросили экспертов задать вопросы. В результате у нас получилось 10 текстов разного объёма, уникальность которых мы замерили с помощью трёх разных сервисов: text. ru, Advego, Antiplagiarism. net.

В среднем, уникальность текстов — 96 %. Самые низкие показатели у рецепта — в среднем 85 %. Но для этой ниши это нормальная цифра, так как объём текста небольшой, а названия ингредиентов и шагов вида «пожарьте», «смешайте» пересекаются со многими другими материалами в сети.

В плане уникальности текста ChatGPT показал себя отлично. А ещё такой результат демонстрирует, что отличить текст, созданный ИИ, от написанного человеком по проценту уникальности не получится.

Уникальность по сервисам                   text.ru      Адвего    Antiplagiarism.net 

1. Какие закуски подходят                      100 %        98 %             99 %

к белому вину

2. Как и сколько жарить хека                 100 %        94 %             97 % 

на сковороде 

3. Как узнать количество                         100 %        91 %             96 %

подписчиков в Тик-Токе

4. Чем отличаются лигатурные              100 %        97 %             97 % 

брекеты от 

самолигирующих брекетов

5. Как выбрать SEO-подрядчика            100 %        98 %             98 % 

для продвижения сайта 

B2B перевозок                                           

6. Кто придумал технику                           100 %        88 %             100 % 

окрашивания Airtouch

7. Рецепт «Блинчики                                  100 %        76 %              78 % 

с фаршем индейки»

8. Чем отличаются                                     100 %         94 %              94 % 

Precision и Jazz Bass?

9. Особенности липидных                        100 %        100 %            100 % 

масок для волос 

10. Какую штукатурку использовать    100 %        98 %               100 % 

в ванной комнате для выравнивания 

стен для последующей 

облицовки кафельной плиткой

ИИ может предлагать одинаковый ответ разным людям на одинаковый вопрос

— Есть ли вероятность, что если этот же вопрос задаст другой пользователь, ты предоставишь такой же текст?

— Как у искусственного интеллекта, у меня нет личного опыта или воспоминаний, поэтому я не способен вспомнить конкретные взаимодействия в прошлом или ответы. Тем не менее я был создан, чтобы предоставить последовательную и точную информацию по широкому кругу вопросов. В связи с этим возможно, что информация, которую я предоставляю в ответ на конкретный вопрос, может совпадать с информацией, которую я предоставляю другому пользователю, задающему тот же или похожий вопрос. Если у вас есть какие-либо конкретные сомнения по поводу предоставленной мной информации или если у вас возникли дополнительные вопросы, пожалуйста, не стесняйтесь их задавать.

Получается, ChatGPT генерирует практически на 100 % уникальный текст, но при этом он не гарантирует, что через неделю, месяц или полгода кто-то другой не получит такой же ответ. Конечно, и от воровства «человеческих» текстов никто не застрахован, но в случае с автоматизированными массовыми ответами вероятность получить неуникальный текст на сайте довольно высока.

Иногда ИИ сильно искажает факты

Следующий параметр, который мы оценивали, — правдивость текста. Он, на наш взгляд, самый важный для текстов, потому что люди приходят на сайты компаний за ответами. В связи с этим ошибки в фактах и «вредные советы» могут навредить репутации бренда и повлечь финансовые потери. Только представьте, что на сайте, например, производителя детского питания для аллергиков размещены ошибочные рекомендации. В целом, это щекотливая тема для всех ниш, где присутствует влияние на здоровье и благополучие человека.

Правдивость текста важна и для того, чтобы исключить риски с точки зрения SEO. Например, Google использует алгоритм E-E-A-T, который учитывает достоверность информации для ранжирования страниц сайта в поисковой выдаче.

Результаты анализа оказались смешанными. С текстами на общие темы — «Какие закуски подходят к белому вину» и «Как узнать количество подписчиков в Тик-Токе» — ChatGPT справился нормально. Рецепт тоже вышел неплохим. Ответ про выбор SEO-подрядчика для продвижения сайта B2B перевозок сложно засчитать: с одной стороны, он относительно корректен, с другой — в нём нет ничего про особенности выбора для компании с такой спецификой. А вот с текстами на более сложные темы всё оказалось гораздо хуже.

Чтобы оценить тексты на узкоспециализированные темы, мы привлекли несколько специалистов и попросили их прокомментировать ответы ИИ. Важное уточнение — эксперты в одной и той же сфере могут иметь разное мнение и следовать разным подходам, поэтому мы всегда советуем привлекать тех специалистов, которым вы доверяете. Нам помогали те, кому верим мы.

Стоматология

Вопрос: «Чем отличаются лигатурные брекеты от самолигирующих брекетов?»

Фрагмент ответа: "Лигатурные брекеты и самолигирующие брекеты — это два разных типа брекетов, которые используются в стоматологии для исправления неправильной позиции зубов. Хотя они используются для одной цели, они отличаются друг от друга несколькими ключевыми особенностями.

Лигатурные брекеты — это традиционный тип брекетов, которые состоят из металлической рамки, которая фиксируется на внешней стороне зуба. Они требуют использования цемента или адгезивного материала для крепления к зубу, и их нельзя снимать самостоятельно. Лигатурные брекеты часто используются для исправления серьезных нарушений формы и позиции зубов, таких как криворотые зубы или скользкие клыки.

Самолигирующие брекеты — это более совр {обрыв текста}».

Комментарий практикующего врача-ортодонта:

Такой текст точно не должен попасть ни на сайт клиники, ни на любой другой интернет-ресурс. Помимо фактических неточностей, в тексте встречается машинный перевод терминов, который заставляет улыбнуться. Словосочетание «криворотые зубы и скользкие клыки» похоже на название музыкальной треш-метал группы.

Услуги парикмахера

Вопрос: мы попросили ChatGPT рассказать про особенности липидных масок для волос.

Ответ: «Липидные маски для волос отличаются от обычных масок в первую очередь тем, что содержат в своем составе масла и эмульгаторы. Это позволяет им сохранять влагу в волосах и улучшать их структуру. Обычные маски, как правило, не содержат таких компонентов и не способны дать такой же эффект.

Липидные маски хорошо подходят для тех, у кого сухие и поврежденные волосы. Они способны устранить сухость и шелушение, восстановить структуру волос и сделать их более упругими и эластичными. Обычные маски, напротив, менее эффективны в увлажнении и питании волос, поэтому чаще всего используются для обычного ухода за здоровыми волосами».

Комментарий эксперта. Как оказалось, эксперт задала вопрос с подвохом. Дело в том, что все маски для волос липидные, а разница между ними в том, что отдельные группы липидов более эффективны, чем другие. ИИ же нашёл несколько различий — двойка за ответ.

Второй вопрос: попросили ИИ рассказать, кто придумал технику окрашивания Airtouch.

Ответ: ChatGPT считает, что автор техники — компания L'Oreal.

В этом же ответе ИИ решил описать технику Airtouch, хотя его не просили:

«Она представляет собой специальную технологию окрашивания, которая использует баллон с газом, чтобы разбавить краску и сделать ее более легкой и нежной для волос. Это позволяет достичь более естественного результата окрашивания, который менее вреден для волос и кожи головы».

Комментарий эксперта. ИИ ошибся с автором техники, на самом деле авторство принадлежит В. Б. Сарбашеву (патент от 2020 года, товарный знак AIRTOUCH зарегистрирован в 2018 году).

Описание самой техники тоже неверно:

Ремонт помещений и внутренняя отделка

Вопрос: «Какую штукатурку использовать в ванной комнате для выравнивания стен для последующей облицовки кафельной плиткой?»

Фрагмент ответа: «В ванной комнате рекомендуется использовать штукатурку, специально разработанную для таких условий. Она должна быть морозоустойчивой, водонепроницаемой и устойчивой к высокой влажности. Такие штукатурки обычно содержат специальные добавки, которые помогают защитить стены от грибка и бактерий».

Комментарий эксперта. Мастер по отделке с тринадцатилетним стажем работы остался в недоумении, прочитав текст. ИИ советовал выбирать морозоустойчивый материал и разделял штукатурку на два вида: с гладкой поверхностью и шероховатой. Возможно, ChatGPT перепутал базовую и финишную штукатурку, но в любом случае этот ответ нельзя считать правильным.

Музыкальные инструменты (бас-гитара)

Вопрос: «Чем отличаются Precision и Jazz Bass?»

Фрагмент ответа: «Оба эти бас-гитары являются весьма популярными и хорошо известными моделями, но они имеют ряд различий.

Precision Bass (также известный как P-Bass) является самой первой бас-гитарой, созданной компанией Fender, и стала одной из самых влиятельных и востребованных моделей в истории. Она имеет традиционную форму корпуса, один сингл-коил и один тон-контроль. Звучание P-Bass обычно характеризуется как более низкое и мощное, чем у Jazz Bass.

Jazz Bass (также известный как J-Bass) также создан компанией Fender, но был впервые представлен на рынке в 1960 году. Он имеет более сложную форму корпуса и два сингл-коила, которые позволяют более тонко регулировать звучание. J-Bass также имеет два тон-контроля, что дает больше возможностей для экспериментирования с {обрыв текста}».

Комментарий эксперта. Музыкант, который играет на инструменте около 25 лет, сказал, что текст на удивление неплохой.

Пожалуй, это единственный ответ на вопрос специалиста, который не содержит фактических неточностей.

Биохимия

Вдохновившись статьёй про качественные ответы ChatGPT на тест по микробиологии, мы решили задать вопрос ещё и по биохимии.

Вопрос: «Сравни специфические пути метаболизма углеводов и липидов».

Фрагмент ответа: «Специфические пути метаболизма углеводов и липидов различаются по нескольким основным признакам.

Метаболизм углеводов включает в себя такие процессы, как гликолиз, кислотный путь Кребса и Энтерик и окисление глюкозы в порядке преобразования углеводов в энергию, необходимую для функционирования организма.

Метаболизм липидов включает в себя такие процессы, как окисление жиров, глицеролиз и бета-окисление, которые преобразуют липиды в энергию и другие необходимые метаболиты».

Комментарий доктора наук, заведующей кафедрой биохимии медицинского института. Ответ не впечатлил эксперта:

С точки зрения правдивости качество текста оставляет желать лучшего. Во всяком случае на текущем этапе развития ИИ.

Ответы ИИ легко читаются, но есть нюансы

В целом все тексты можно назвать читабельными. Тем не менее мы заметили ряд серьёзных проблем:

• Некоторые термины «ломаются» в переводе на русский, поэтому в текстах встречаются «криворотые зубы», «энтерик», «сухое масло» и не только.
• Местами есть несогласованность. Например, «хек можно жарить как на сухом масле», «оба этих бас-гитары».
• Ошибки в словах. Особенно впечатлило словосочетание «плитка будет укладана».

Но одна из самых больших проблем, на наш взгляд, это обилие «воды». Часто в текстах много лирики и мало полезной информации, из-за чего возникает вопрос: «Точно ли текст нужно размещать на сайте и тратить время читателя, если он не несёт пользы?» Такой контент, скорее всего, вызовет негатив у пользователя, да и для SEO размещение «пустых» текстов бессмысленно.

Наш опыт работы на проектах показывает, что тексты должны быть и удобными для чтения, и правдивыми, и уникальными одновременно. Когда тексты ещё и отвечают рекомендациям SEO-специалиста, они обычно без проблем собирают поисковый трафик. Например, в результате нашей работы с командой «ВкусВилл» отчасти благодаря качеству контента удалось удвоить поисковый трафик в раздел статей.

С точки зрения правдивости качество текста оставляет желать лучшего. Во всяком случае на текущем этапе развития ИИ.

В целом все тексты можно назвать читабельными. Тем не менее мы заметили ряд серьёзных проблем:

• Некоторые термины «ломаются» в переводе на русский, поэтому в текстах встречаются «криворотые зубы», «энтерик», «сухое масло» и не только.
• Местами есть несогласованность. Например, «хек можно жарить как на сухом масле», «оба этих бас-гитары».
• Ошибки в словах. Особенно впечатлило словосочетание «плитка будет укладана».

Но одна из самых больших проблем, на наш взгляд, это обилие «воды». Часто в текстах много лирики и мало полезной информации, из-за чего возникает вопрос: «Точно ли текст нужно размещать на сайте и тратить время читателя, если он не несёт пользы?» Такой контент, скорее всего, вызовет негатив у пользователя, да и для SEO размещение «пустых» текстов бессмысленно.

Наш опыт работы на проектах показывает, что тексты должны быть и удобными для чтения, и правдивыми, и уникальными одновременно. Когда тексты ещё и отвечают рекомендациям SEO-специалиста, они обычно без проблем собирают поисковый трафик. Например, в результате нашей работы с командой «ВкусВилл» отчасти благодаря качеству контента удалось удвоить поисковый трафик в раздел статей.

Так всё-таки стоит ли использовать тексты, созданные ИИ?

ChatGPT и ИИ в целом оставляют неоднозначное впечатление. Тексты очень похожи на «человеческие», да и уникальность радует. Однако есть вероятность, что другому человеку на тот же вопрос ИИ может сгенерировать идентичный ответ.

Фактическая составляющая хромает на обе ноги. Проблема заключается в отсутствии актуальной базы данных и правдивости в целом. В основном эксперты не были готовы поставить «пятёрку» или даже «четвёрку» ответам ChatGPT.

В статьях довольно много «воды», которая усложняет восприятие информации и не даёт пользователю то, ради чего он пришёл на сайт. С точки зрения SEO и здравого смысла важно не писать текст ради текста. Если контент не несёт полезной информации, он почти наверняка не нужен на странице.

Если у компании есть tone of voice, могут возникнуть проблемы с тем, чтобы объяснить ChatGPT, что именно от него хотят.

Для тематик, которые оказывают влияние на здоровье и благополучие человека, мы не рекомендуем использовать автоматически сгенерированные тексты. Если пропустить что-то не то в статью, легко получить негативные последствия для бренда. А если отдавать тексты на проверку эксперту, то ему чаще всего придётся переписывать их полностью, потому что факты и термины в целом некорректны.

В таком случае целесообразнее или сразу писать тексты силами эксперта, а потом отдавать на вычитку редактору, или интервьюировать специалиста, а потом отдавать автору черновой контент для доработки. Например, у нас был опыт, когда автор ездил на встречи со специалистами клиники, чтобы получить материал для статьи, а потом писал статью с настоящими фактами.

По состоянию на конец декабря 2022 года это многообещающий сервис, который однозначно может быть полезен, ведь его функциональность не ограничивается только созданием статей. Но полноценно использовать его в нынешнем виде вместо хороших копирайтеров, к сожалению, не получится. Учитывая огромный интерес к теме и перспективность инструмента, почти наверняка его будут постепенно дорабатывать, поэтому будем внимательно наблюдать за его дальнейшим развитием.

Статья впервые была опубликована в Академии IT-Agency.