Почему AI-проекты ломаются на данных: как качественные датасеты повышают NPS, CTR и конверсию

В гонке за внедрение AI компании всё чаще упираются не в характеристики модели, а в данные. Именно качество датасетов сегодня определяет, насколько быстро, точно и экономично работают интеллектуальные решения. Ошибка на этом этапе напрямую бьёт по бизнес-метрикам — от времени ответа в поддержке до конверсии в интернет-магазине.

О том, как бизнесу выстроить работу с данными и где искать реальную экономию, мы поговорили с Ильнуром Файзиевым, руководителем юнита Data LLM в Doubletapp, который специализируется на подготовке датасетов и оценке качества AI-решений.

Кому и зачем нужны датасеты: кейсы и метрики

За чем приходят заказчики, когда приходят за датасетами? Какую пользу бизнес получает от использования качественных данных?

Чтобы ответить на этот вопрос, нужно подняться на самый высокий уровень проблем бизнеса.

В целом все бизнес-сценарии, к которым подключается AI, направлены на то, чтобы сделать что-то быстрее, дешевле, качественнее, чем человек это делает. Например, есть служба поддержки, которая отвечает на обращения пользователей. И здесь нужен AI для того, чтобы вместо человека отвечала машина, отвечала быстрее и точнее, чем запыханный человек из саппорта. И здесь у бизнеса всегда есть понятный, выраженный в цифрах запрос, насколько они хотят повлиять на бизнес-метрику. Например у службы поддержки ключевая метрика — это время, потраченное на решение вопроса, соответственно, его нужно сокращать. Есть и другие метрики, например Net Promoter Score, оценка пользователями качества обслуживания службы поддержки — «поставьте оценку от 1 до 5, насколько качественным был ответ» и т. д.

Если взять какой-нибудь другой сценарий, например, подбор релевантных товаров по запросу, т.е. стиральная машина на каком-нибудь сайте, то здесь важные для бизнеса метрики — это CTR, количество кликов по товару, конверсия в заказ, то есть сколько купили в итоге нужного товара. И соответственно, и ту, и другую метрику нужно увеличивать, чтобы чаще покупали, чтобы росла выручка бизнеса. Вот это то, для чего приходят вообще за AI-решениями в целом.

Дальше есть слой AI-решений, которые на эти бизнес-метрики влияют. У них бизнес-метрикой является качество решенной бизнес-задачи, то есть насколько AI-модель лучше справляется, чем человек в той же задаче. Быстрее ли она отвечает, чем человеческая служба поддержки, качественнее ли она подбирает стиральную машину, чем какой-то продавец-консультант и так далее. И для того, чтобы это качество усиливать, ей нужны датасеты.

Помощник для службы поддержки — это классика. А где ещё AI-решения реально работают в бизнесе?

У нас как у компании есть очень широкий набор индустрий, с которыми мы успели качественно поработать над разными AI-решениями. Вот пример из промышленной сферы — генеративный поиск по базе знаний сырьевой компании. Бизнесовая проблема такая: у компании куча регламентов, и синие воротнички теряются в них, потому что есть много неактуальных, есть много каких-то локальных материалов, и в этом всем сложно и долго разбираться. AI нужен для того, чтобы быстро находить нужную информацию, соответственно, метрика — количество ошибок в производстве. И то, насколько качественные ответы формулирует такая модель, зависит от того, какой датасет использовался для обучения модели, которая работает в данном решении.

Здесь же можно привести пример компьютерного зрения на производстве: нужно определять качество стали по тому, насколько ярко горит огонь при производстве. И здесь бизнесовая метрика – это качественная сталь, а метрика ML, для которой нужны качественные датасеты – это насколько точно модель определила, насколько ярко горит огонь.

Кошечка или собачка — краудсорсинг нам поможет?

Как руководителям компаний понять, что нужна внешняя экспертиза для создания датасетов и обучения моделей?

Я уже говорил про два случая, когда бизнес принимает такое решение — это когда еще не раскручена никакая модель, и мы соревнуемся с ручным трудом, и когда уже какая-то модель внедрена, мы по ней улучшаем качество. При этом бизнес-индикаторы разные: если мы соревнуемся с ручным трудом, то само решение о том, что бизнес хочет переходить на AI-инструменты, уже индикатор для того, что понадобится датасет, потому что нам нужно на чем-то обучить модель, которая будет встроена в клиентский бизнес.

Во втором случае, когда уже ML-решение присутствует, он немного посложнее, потому что бизнес-индикатором будет являться неудовлетворенность метриками модели, то есть для этого клиент должен провести аудит, как работает решение, выявить метрики, которые ему не нравятся. Например, что модель отвечает в пяти случаях из десяти нерелевантным ответом, который не приводит пользователя к покупке определенного товара. И тут датасет нужен тогда, когда сформулировано, с каким качеством модели работают сейчас и насколько бизнес удовлетворен или не удовлетворен этим качеством.

А как сэкономить на создании датасетов?

Кейс с датасетами прелестен тем, что это плюс-минус единоразовая задача. В отличие от заказной разработки, когда ты создаешь какое-то решение, отдаешь его команде, и потом может быть проблема: клиент не понимает, как это решение дальше поддерживать, датасет — это единоразовый конечный продукт. Конечно, датасеты нужно заказывать регулярно, проводить аудит модели раз в месяц, раз в квартал, и если есть какая-то неудовлетворенность по качеству, приходить за новыми датасетами. Но не нужно никак поддерживать это решение или обеспечивать какое-то длительное взаимодействие с ним, потому что такова его природа: взял данные, проверил, что они хорошие, скормил, получил улучшение метрик.

Что касается экономии на сборе и разметке данных, то если это будут делать инженеры внутри компании, то стоимость работ выйдет слишком высокой. Например для того, чтобы подготовить датасет для кодинговой модели, нужно собрать тысячу примеров того, как модель верно или неверно сделала тесты для детекции бага в каком-то коде. И один инженер будет делать это долго, а нанимать дополнительных специалистов, которые помогут с разметкой — это большая менеджерская задача. Очень много времени будет уходить на то, чтобы организовать для них подходящее окружение для разметки, менеджерить специалистов и проверять результаты работы.

И мы покрываем в Doubletapp эту проблему тем, что забираем на себя весь менеджмент. У нас уже подготовлена группа разметчиков, которая понимает природу этих задач и делает их качественнее, потому что они уже наработали опыт на реальных кейсах и знают, как с этим работать. Поэтому за датасетами выгодно приходить в компании, которые на этом специализируются.

А почему не обратиться к краудсорсинговым платформам за датасетами? Это же не так дорого.

Проблема краудсорсинговых платформ заключается в том, что исполнители сильно меньше контролируются. Конечно, крупные компании делают всякие антифрод-механизмы и другие ухищрения, чтобы препятствовать мошенничеству, но все равно есть доля непроконтролированных исполнителей и датапоинтов. Она значительно больше, чем в датасетах команд, которые, как Doubletapp, являются самостоятельной компанией, в которых исполнители работают в штате.

А за счет чего тогда растет бизнес крупнейших краудсорсинговых платформ? Может быть, они уже меньше работают с неподготовленными разметчиками и привлекают для разработки датасетов компании более высокого уровня?

Я могу сказать про рынок так: золотая эра краудсорсинга была тогда, когда нужно было размечать очень простые задачи, с которыми справится даже ребенок. Например, определить, котик или собачка изображены на картинке. Простая задача, ее можно краудсорсить, потому что не нужен никакой экспертный навык. Но сейчас мы живем в эпоху, когда ChatGPT и подобные модели достаточно хорошо обучены, чтобы самим размечать котиков и собачек.

На первый план выходят более экспертные и сложные задачи. Например, у тебя модель кодового ассистента, помощника для программистов, и тебе нужно покрыть определенный язык программирования или определенную технологию, с которой модель мало сталкивалась и плохо обучена, потому что это какой-то непопулярный язык типа Rust или непопулярная технология. И в этом плане намного удобнее работать с компаниями, у которых подтвержденная экспертиза в том, что тебе нужно. Например, у нас в Doubletapp есть ребята, которые программируют на Rust, программируют на определенных сложных технологиях, и клиенты к нам приходят как раз за этой экспертизой, чтобы мы подготовили датасет вот по этому экспертному домену.

А можно ли сэкономить, используя комбинированный подход: легкие задачи отдать на краудсорсинг, а сложные — профессионалам?

Ответ зависит от задачи. Возьмем, например, задачу с определением качества чугуна или стали по цвету пламени. Задачу по определению, насколько красный огонь, можно отдавать на краудсорсинг. Но, возможно, во второй части пайплайна есть какой-то более экспертный вопрос, скажем, то, насколько правильной формы получается изделие. И вот тут уже нужна экспертиза, для которой потребуется более специализированная команда.

В примере с кодом можно также декомпозировать задачу на краудсорсинговый этап, который поддастся человеку без специфического навыка, и экспертную, где уже нужны программисты по определенному языку программирования. Но при таком подходе нужно заложить в бюджет ресурсы на декомпозицию задачи, а затем найти исполнителей-краудсорсеров и передать это им. И это в целом менеджерски сильно более сложная задача, чем прийти в Doubletapp и сказать: «Сделайте прямо от начала до конца эту задачу». И здесь бизнесу просто надо посчитать стоимость одного и другого решения хотя бы примерно. Мы помогаем выбирать маршрут решения задачи, который будет самым быстрым, дешевым и одновременно качественным.

Куда растет рынок датасетов

Есть мнение, что датасеты — это очень дорогое решение для очень узкого сегмента, потому что у клиента должна быть своя модель и должен быть запрос на работу с ней. Расширяется ли этот рынок?

Раньше бы я ответил точно так же, что датасеты в больших и внятных количествах нужны крупным производителям AI-решений. Назовем ChatGPT, назовем DeepSeek и т.д. Но сейчас же все начинают применять вайбкод и производить очень много нишевых AI-решений. И, возможно, у большого количества маленьких компаний будет потребность в небольших датасетах. Стартап может запустить MVP на основе готовых сгенерированных датасетов, а после оценить, много ли они на этом заработали. И если процесс пошел, можно докрутить модель и прирастить еще больше денег. И тогда стоит приходить за разработкой датасетов, потому что это единоразовая задачка: ты один раз за это заплатил, а инкрементальный эффект у тебя дальше идет без дополнительных трат.

И нам здесь как бизнесу нужно будет думать над готовыми решениями, готовыми датасетами, закрывающими определенный круг задач небольших бизнесов. Просто для маленьких бизнесов нужно будет показывать большую ценность, чтобы обучение на датасете значительно улучшало качество модели и, соответственно, бизнес-метрики. Потому что ChatGPT может тратить любые бюджеты, а маленькие бизнесы себе этого позволить не могут, поэтому ценность для них должна быть сильно более значимой, чем для крупных игроков.

Но мы еще не там. Более устойчивый ответ – рынок пока останется узким и будет группироваться так или иначе вокруг крупных LLM.