AI как продуктовый разработчик: практика и ограничения

У AI есть перспективы не только в маркетинге, но и, например, в продуктовой разработке. Иван Дудин, CPO компании Unisender, рассказал, может ли сегодня AI написать код и как правильно имплементировать AI в программный продукт.

Доверять ли AI писать код

Проникновение AI в. продуктовую разработку пока значительно слабее, чем в маркетинг и смежные с ним сферы. Однако AI постепенно совершенствуется и у него уже есть потенциал в продуктовой разработке. Создать программу с нуля он ещё не готов, даже среднюю по сложности, но становится хорошим помощником для специалиста и помогает с написанием кода — причём стабильно работающего, качественного, с комментариями.

Эффективная реклама с кешбэком 100%

Таргетированная реклама, которая работает на тебя!

Размещай ее в различных каналах, находи свою аудиторию и получай кешбэк 100% за запуск рекламы.

Подключи сервис от МегаФона, чтобы привлекать еще больше клиентов.

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585. ERID: 2W5zFGNJXGC.

Специалист ставит задачу, анализирует корректность, тестирует, объединяет готовые части. В крупных проектах специалист также декомпозирует программу на подзадачи прежде чем передать запрос AI. При этом в перечисленные действия также можно вовлекать AI: спросить, как тестировать, как запускать, попросить сделать код-ревью того, что он написал. Для декомпозиции нужно объяснить ему задачу целиком и попросить разбить её на части. После того, как он это сделает, он будет каждый этап решать.

Если в модели chatGPT 3.5 рабочий качественный код почти всегда можно было получить лишь с нескольких попыток, а модель GPT-4 часто ошибалась или делала не изящные решения, то модель GPT-4.0 уже почти не ошибается и создаёт архитектурно красивые, не избыточные решения. Однако вероятность ошибки или усложнённого кода всё ещё есть. Поэтому нужно проводить по несколько генераций, не жалеть время на код-ревью, на тестирование внутри приложения.

Однако, несмотря на сложности, с помощью AI продуктовая разработка сегодня идёт гораздо быстрее, чем если бы всем занимался человек. AI за минуту может сгенерировать 200–300 строк кода, в то время как человек будет делать это несколько часов, а может и целый день.

Сегодня AI может писать микросервисы с локальной функцией: создание скриншотов, снимков экрана. Появляются микросервисы, которые на 80–90% написаны с помощью AI. С ним также легко создавать виртуальных ассистентов.

Я написал AI-ассистента для Telegram для B2B — код на Python на 90% сгенерирован с помощью AI. С Python я работал в первый раз, и благодаря AI удалось сделать полноценный продукт, а заодно изучить новый для себя стек. AI писал код, а я его анализировал, тестировал, дорабатывал. Созданный таким образом AI-ассистент оказался достаточно универсальным и вскоре будет использоваться в новом AI-помощнике на платформе рассылок Unisender для технической поддержки пользователей.

Однако виртуальные ассистенты, которые отвечают на вопросы, и микросервисы — это не единственное, где AI может стать полезным.

Контроль спама в письмах

Сервисами для рассылок вроде Unisender часто пытаются пользоваться спамеры. Поэтому в задачу каждого такого сервиса входит выявление спама и предотвращение его отправки. Разные внешние платные инструменты и внутренние проверки, как автоматические, так и ручные, не давали абсолютной защиты, недостаточно надёжно работали, спам иногда отправлялся. Это негативно влияет на качество оказания сервиса.

Для того, чтобы улучшить алгоритмы отправки, мы использовали AI и получили более качественные результаты среди всех опробованных способов. Недавно мы выпустили инструмент, который выявляет письма спамеров с помощью AI и препятствует их отправке. Сейчас он успешно выполняет свои задачи.

Последний тест мы провели, отправив подряд 825 писем. Из них, по версии нового механизма оценки с помощью AI, 707 были «качественными», а 104 письма оказались спамом. Ещё 14 письмам AI-инструмент присвоил промежуточный статус — по ним есть сомнения, требуется проверка со стороны человека. Из них примерно половина оказалась спамом, половина — нет.

Наши спам-офицеры проверили результаты анализа AI: точность близка к 100%. В спаме оказался только спам. В сегмент «качественных» писем залетели единичные спамные. Вероятность ложного срабатывания — меньше 1%. При ручной проверке и способах, которые использовались раньше, показатели ложного срабатывания были гораздо хуже.

Генерация писем для рассылок

AI генерирует больше 50% кода в процессе разработки одного из наших продуктов — редактора EmailMaker. Вдохновившись тем, как маркетологи применяют генеративные нейросети, мы создали в EmailMaker AI-ассистента, который помогает генерить контент для e-mail. Он может стать виртуальным переводчиком, копирайтером, дизайнером, корректором, маркетологом и даже психологом (то есть посмотреть на содержимое рассылки с точки зрения психолога). Однако его самая популярная роль — генератор темы и прехедера (текстовый блок после темы): с этой целью к нему обращается каждый четвёртый пользователь.

Помимо отдельных компонентов письма — тестового наполнения или изображений — AI-ассистент может по промту собрать письмо с нуля. Можно описать, какие блоки нужны, какие стилистические особенности учесть. Ассистент делает качественный шаблон с хорошей вёрсткой, адаптивностью. Дальше специалист дорабатывает его до финальной версии: меняет контент, ставит ссылки.

Можно сделать запрос письма для конкретного сайта — вписать в промпт url. Генератор идёт на сайт и оттуда забирает большой объём информации: цвета, стили, размеры фонов, шрифтов, ссылки на соцсети, логотип, контент. Всё это он использует для генерации письма.

Как эффективно имплементировать AI в. программный продукт

Правильная имплементация — это та, которая сделана не для галочки, а для регулярной работы и измеримой пользы. Когда бизнес действительно обращается к получившемуся продукту и видит результаты от применения в нём AI: условно, сотрудники стали тратить на 20% меньше рабочего времени на определённые задачи и теперь больше внимания уделяют другим вещам. Или задачу полностью передали новому инструменту и на 70% сократился процент ошибок при её выполнении.

По нашей внутренней аналитике, сегодня пользователи обращаются к генерации изображения в каждом пятом письме. Причём 1 письмо из 20 у нас создают только ради генерации: делают картинки, забирают их и не делают письмо. Чаще всего это одни и те же пользователи. То есть кому-то просто понравился наш сервис для генерации изображений.

Помимо этого правильная имплементация подразумевает, что в результате в компании сходится экономика. Если внедрение заняло несколько месяцев, а пользуется продуктом всего 10 человек из условной 1000, и то — нерегулярно, то работа проведена напрасно. Безусловно, бизнес получил опыт, но сама идея была убыточной, не оптимизированы никакие процессы, бюджет и другие ресурсы потрачены зря.

AI и ML в продуктовой разработке: кому доверить задачу

Генеративный AI использует какие-то публичные или общие модели, как у chatGPT. Она обучена на огромном объёме данных и решает задачу, оперируя общими знаниями. Для того, чтобы она дала более релевантный ответ, можно дать ей дополнительный контекст, вводные, и правильно создать промты — запросы.

Работа с ML немного отличается: здесь важно хорошо подготовить датасет, обучить модель именно на нём, и итоговое решение будет базироваться на шаблонах, которые загружены в модель. Эти данные будут доминирующими, а иногда и единственными.

Раньше качественная реализация ML-продуктов была дорогой и долгой, сейчас это уже не так. Теперь необходимо отталкиваться от целесообразности применения конкретного технического инструмента.

Есть спектр задач, которые лучше решаются с помощью ML: статические, на поиск вероятности, на предсказание события. В целом, это задачи с анализом больших объемов однотипных данных.

С чем хорошо справится ML:

• поиск кандидатов на вакансию в большой базе данных;

• валидация кандидатов;

• прогноз эффективности программы лояльности;

• определение нарушений в стабилизированных рабочих процессах, которые можно чётко описать. ML может фиксировать отклонения по видео, по фото, по текстовой характеристике.

Задачу с проверкой спама тоже можно было решить и через ML: для этого нужно было бы загрузить варианты спам-сообщений и «качественных», и на них учить модель. Однако мы попробовали это сделать через генеративные нейросети, получили очень хороший результат и очень лёгкую настройку, которая заключается в том, чтобы грамотно подобрать критерии оценки и описать, что считать спамом, а что — нет. Нейросеть не нужно было дообучать, готовить дополнительные датасеты (наборы данных) для неё, поэтому мы остановились на таком техническом варианте.

Сейчас мы планируем с помощью ML проводить автоматизированную сегментацию в Unisender — там генеративные модели применить невозможно. А также будем с помощью ML выполнять автоматическое определение оптимального времени отправок письма, персонально для каждого получения. То есть, когда бизнес делает массовую рассылку, к каждому адресату письмо уходит в то время, в которое он с наибольшей вероятностью откроет письмо.

AI сегодня становится эффективным помощником для многих специалистов, в том числе в продуктовой разработке. Он помогает сэкономить ресурсы, сделать больше качественной программной и интеллектуальной продукции. С ним можно упростить написание кода, создание ИТ-решений. Главное, правильно определить задачу, с которой должен работать AI, убедиться, что продукт будет полезен, и проконтролировать соответствие ожидания — результату.

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.