Busch Labs: структурированные данные и AI-интервью в UX-исследованиях

В эпизоде подкаста UX Heroes с ведущим Маркусом Пиркером Марк Буш — основатель венской исследовательской платформы Busch Labs — разбирает несколько тем сразу: напряжение между структурой и свободой в модерируемом тестировании, почему он с осторожностью относится к метрике time on task, два показателя, которые он использует в каждом тесте (SUS и NPS), почему структурированные tidy data — это необходимое условие достоверного research, и что он узнал за восемь месяцев разработки собственного AI-интервьюера: инструмент пока ближе к интерактивному опросу, чем к настоящему интервью, а его ценность разрушается в тот момент, когда нельзя отследить, как был получен вывод.

Напряжение, с которым живёт каждое модерируемое интервью

После более чем тысячи модерируемых тестов и интервью главный личный вывод Буша — не техника. Это напряжение, с которым он научился жить, а не решать.

Ему нравится точный план. Ничто не ощущается лучше, чем исследование, полностью описанное заранее. Но смысл и удовольствие модерируемого интервью — в том, что можно следовать за участником, реагировать на его слова, отступать от плана там, где это важно. Это прямо противоречит его рабочему стилю: методичному, всегда нацеленному на агрегацию данных и структуру. Чистого компромисса здесь нет. Неструктурированные моменты внутри структурированной сессии иногда оказываются самыми ценными, и то, как с ними поступить при анализе, решается потом. Раньше это создавало стресс, теперь удалось выработать спокойное отношение.

Что на самом деле означает структура

Люди сразу понимают структуру, когда он сравнивает её с опросником. В опросе заранее определяются вопросы, которые получают участники. Тест или интервью — то же самое: всё, что будет спрошено, всё, что нужно наблюдать, каждый критерий (например, действительно ли человек завершил оформление заказа в интернет-магазине) — всё это нужно решить заранее. В какой структуре, в каком порядке, с какой подсказкой по ходу.

Это не зависит от того, кто или что ведёт сессию — модератор, автоматика или AI. Корни в психологии и экспериментальной поведенческой науке: эксперимент требует фиксированной установки, потому что измеряются реакции людей, а стимул должен быть одинаковым для всех. Даже реально возникающие ситуации можно планировать. Классический пример — проbing: где делать уточнение, где помогать, где давать подсказку. Это применимо и к немодерируемым тестам, поскольку инструкции, которые получают участники, и то, появляются ли подсказки через определённое время, тоже нужно определить заранее.

Прикладные UX-исследования более открыты, чем чисто академические качественные интервью, но цель другая. Нужно дать основу для решений и решить задачу, а не производить знания ради знаний. Стандартного сценария не существует. Работа начинается с шаблонов, но результат определяется тем, доверяют ли стейкхолдеры данным: был ли установлен контакт с участниками, правильно ли они отобраны, отражают ли вопросы реальный бизнес-кейс. Строгость и метод имеют огромное значение, но на встрече со стейкхолдерами они уходят на второй план. Главная дискуссия — о дизайн-проблеме или о монетизации, а не о доверительных интервалах.

Почему Буш осторожен с time on task

Time on task — это метрика, которую он собирает по запросу, но честно признаётся, что она ему не нравится, и на это есть несколько причин.

Чисто количественные данные дают мало точек опоры для интерпретации. Из одного графика трудно извлечь действительно хороший insight. Распределения неудобные: многие участники заканчивают очень быстро с небольшим разбросом, а немногие тратят очень много времени — хвост растягивается, и уходит масса времени на поиск артефактов (этот участник бросил тест или просто был медленным?). Остаётся и вопрос, на который нет хорошего ответа: что такое хорошее время выполнения задачи? Бенчмарки есть у крупных компаний, но их меньше, чем принято думать. А определить, когда задача начинается и заканчивается, кажется тривиальным — до тех пор, пока не попробуешь сделать это на реальном цифровом продукте. Что допустимо между ними? Могут ли участники идти разными валидными путями? Если да, числа уже несопоставимы.

Практический совет

Прагматичный средний путь: если time on task необходима, собирать и интерпретировать её, но не считать, что 100% данных корректны и валидны. Примерно 80% отражают реальность, остальное — шум. Со временем вырабатывается привычка не держаться за эту метрику слишком крепко.

То же напряжение возникает между thinking aloud и time on task. Попросить всех проговаривать мысли вслух — и одни так делают, другие нет, половина замолкает, другая половина рассказывает историю жизни, когда что-то на экране им что-то напоминает. Это человеческое поведение, и его нужно допускать. Но оно противоречит строгому плану с хронометражем. Нельзя одновременно говорить человеку, что всё, что он скажет, приветствуется, и просить его говорить только об этом одном флоу, потому что идёт хронометраж. Поэтому принимается беспорядок и интерпретируется соответственно. Та же осторожность применима, когда на выборке из пяти-десяти человек фиксируется улучшение time on task на 20% и это называется значимым. Дебаты о статистике на малых выборках интересны исследовательскому сообществу и подкастам, но мало влияют на повседневную реальность небольших и средних компаний.

Два показателя, которые Буш использует в каждом тесте

На вопрос, какая метрика оказала наибольшее влияние на практику, его ответ 2026 года — тот, которого он не ожидал десять лет назад: старая добрая System Usability Scale (SUS).

SUS уже больше тридцати лет и имеет ряд известных недостатков. Но среди UX-метрик у неё есть всё. Как только разговор уходит от time on task в психометрическое направление (эстетика, flow, воспринимаемая usability), SUS оказывается короткой, однофакторной — так что никогда не нужно объяснять, как из набора вопросов получается один балл — и даёт одно число от 0 до 100. За ней стоит самая большая база бенчмарков с привязанными адъективными якорями (например, «excellent» соответствует определённому диапазону баллов), её легко цитировать, доступны большие базы данных для сравнения, и многие исследователи знают критическое значение (68) наизусть. У неё есть даже широко известная визуализация. SUS используется в каждом тесте.

Второй показатель — Net Promoter Score (NPS). О нём приходится спорить чаще, поскольку среди UX-специалистов он вызывает неприятие. Методологическая критика частично обоснована: его переоценивают, он не диагностирует проблемы usability. Но аргумент в пользу NPS зеркален аргументу в пользу SUS. Его знают. Бизнес-менеджеры знают его наизусть. SUS и NPS вместе дают короткую пару, которую почти все в отрасли узнают или могут проверить за секунды, а широкое распространение обеспечивает доверие и сопоставимость между сервисами, отраслями и конкурентами. Именно эта рыночная сила делает их основным инструментом — и замены им пока не видно.

Порядок имеет значение: сначала SUS, потом NPS. Причина психологическая. Переменная, связанная с usability, должна стоять перед переменной, связанной с бизнесом, а вопрос о готовности рекомендовать — в самом конце. Методологически важнее всего, чтобы порядок был одинаковым для всех участников. Цель этих баллов — наименьший общий знаменатель, позволяющий сравнивать, а не предсказание будущего, и ожидания от любой отдельной метрики должны быть скромными, потому что ни один инструмент не предсказывает будущее с той точностью, которой хотелось бы.

Структурированные данные как основа

Busch и Маркус Пиркер впервые говорили о структурированных данных в вебинаре Userbrain, и эта тема проходит красной нитью через всё сказанное выше. Немодерируемые user tests устроены так, чтобы производить именно структурированные данные.

Проблема в том, что люди без исследовательской подготовки наивно предполагают структуру, которая в эпоху AI всё больше опирается на транскрипты и резюме. Среднее звено отсутствует: не определено, в какой момент фиксируется та или иная метрика или вопрос. В результате получается резюме, и интуитивно резюме нравятся. Резюме полезны, но это только резюме. Именно та информация, которая позволяет сказать стейкхолдеру «это не ощущения, это данные» — теряется.

Понятие, к которому Буш постоянно возвращается, — tidy data: обычные таблицы со столбцами, строками и ячейками. Это звучит невероятно тривиально, и он сам с трудом верит, что говорит это вслух на лекциях. Но мастерство — в том, чтобы точно решить, какая переменная, наблюдение или вопрос живёт в столбце, что участник — это строка, а что определяет ячейку: где она начинается и где заканчивается. Потому что в конечном счёте (и это больно для академического сердца, поскольку применимо даже к качественным исследованиям) всё нужно считать, и каждое высказывание должно быть прослеживаемым до источника. Только структура, которая это предписывает, позволяет знать, какой показатель можно агрегировать и сколько раз та или иная тема или проблема действительно встречалась.

Ключевая идея

Даже до того, как в процесс входит AI, структура — абсолютное предварительное условие. Не только чтобы получить больше, чем резюме, но и чтобы коллега поверил, что выводы сделаны систематически. Интуиция, опыт и синтез там присутствуют, но работа прослеживаема. Контроллер не приходит с одной цифрой без вывода. UX-исследования — не исключение.

Для немодерируемых тестов это важно вдвойне. Весь смысл в том, что не нужно смотреть каждое видео. Буш признаётся, что из паранойи исследователя всё равно смотрит их сам — ему важно убедиться, что всё произошло именно так. И добавляет, что ценит функции подсветки фрагментов и предварительно структурированных моментов, позволяющих перейти к нужному месту. Опытные специалисты могут просмотреть примерно 20% видео и оставить остальное системе, но структура — это то, что делает это безопасным: если возникает сомнение по конкретному вопросу, нужно пересмотреть только разделы, посвящённые этой теме. Без структуры, модерируемый тест или нет, проводить его не стоит. В конце концов, никто не поверит.

Разработка AI-интервьюера и почему он может быть хуже опроса

Некоторые клиенты просили Буша порекомендовать лучшую платформу для AI-модерируемых интервью. Он скептически относится ко всему, что предлагается как готовая чёрная коробка, поэтому изучил инструменты, попробовал их и в итоге решил разработать собственный. Мы живём в эпоху, когда обещают, что через промпты можно построить всё что угодно, — и он подумал: ладно, попробуем.

Развязка оказалась в том, что в итоге пришлось привлечь настоящего разработчика, чтобы привести в порядок весь «вайб-кодинг», и самостоятельный вайб-промптинг был запрещён. Тем не менее процесс оказался интересным. За примерно восемь месяцев (начавшись как месячная идея прошлым летом и превратившись в ночно-выходной проект) было опрошено 60 человек из разных групп и опробовано несколько подходов.

Вывод: пока AI-модерируемые интервью хуже опроса, потому что простейшая форма AI-модерируемого интервью — это и есть интерактивный опрос. Участник что-то говорит, получает вопрос, снова что-то говорит, снова получает вопрос — точно так же, как при входе в любимый чат. Настоящее качественное интервью другое: оно добавляет возможность probing, уточнений и углубления в проблему. На абстрактном уровне ветвящийся опрос, который в определённых точках углубляется, движется в эту сторону. Было также исследовано, что добавляют large language models: оценка того, исчерпана ли тема, проверка на насыщение и дневниковый вариант, когда участники отвечали голосовым сообщением и получали уточнения текстом. Самой сложной частью оказался разговор в реальном времени: определение того, когда участник закончил говорить, естественное чередование реплик, обработка перебиваний. Чем больше моделей и проверок добавляется для повышения качества, тем больше задержку ощущает участник.

Повторяющаяся проблема во всех трёх подходах — прослеживаемость. Когда получаешь только AI-сгенерированное резюме и не можешь детально отследить разговор, нельзя честно рекомендовать клиенту вложить серьёзные деньги в изменения. UX-специалисты часто думают только до определённого момента: вкладывают силы в настройку исследования и забывают, что исследовательский бюджет — ничто по сравнению с бюджетом, который нужно высвободить, если все поверят рекомендациям. Честно говоря, такое погружение в методологию и технологию привело к тому, что итоги не удавалось презентовать так же убедительно, как исследования, где хотя бы часть видео была просмотрена или был реальный контакт с людьми. В опросе легко посчитать, сколько раз встречается тег или тема. Когда probing-магия и LLM-магия делают что-то, что уже нельзя полностью отследить, убедительно обосновать вывод не получается.

Да, ему говорят, что он упускает суть качественного интервью — что оно не про отслеживание и подсчёт. Отчасти это верно. Но от исследователя всё равно требуется делать рекомендации чёткими и прослеживаемыми, когда люди вкладывают бюджет, время и усилия, а разработчики, которые будут это реализовывать, вправе спросить, уверен ли он. AI легко скажет «надо менять всю бизнес-модель». Что это значит для бизнеса — AI безразлично, а роль исследователя — не просто зачитать резюме. LinkedIn-пост, с которого всё началось, был написан провокационно. Реальные отличия от чистого опроса есть, и по мере развития технологий и роста доверия это будет меняться.

Жёсткие правила, сделавшие AI-probing применимым

Самыми полезными оказались ограничения, а не умности.

Были прогоны, где AI с добрыми намерениями уточнял вопрос до изнеможения. Буш потратил две недели на поиск надёжного способа определять насыщение, и сработавшим ответом оказалось жёсткое правило: уточнять вопрос не более двух раз — и всё. Второе правило: уточнения должны быть особенно похожи друг на друга, чтобы ответы оставались агрегируемыми.

Самое забавное наблюдение указывает на направление, в котором всё движется. Исследование проводилось партиями, а не сразу с 60 участниками, потому что было понятно, что первые прогоны будут грубыми. Чем больше тестовых интервью проводилось по гайду, который в итоге использовал AI, и чем больше реальных ответов звучало, тем лучше становилось понимание, куда должны идти уточнения, и тем меньше оставалось на долю LLM-магии. В итоге получилось дерево решений, где AI обеспечивал «разговорную обёртку», чтобы всё звучало как разговор, при этом не принимая реальных решений — выбирая максимум из двух-трёх вариантов. И именно тогда появилось ощущение себя как исследователя, потому что можно было это контролировать. Контроль — хорошее и необходимое слово для AI прямо сейчас.

Ключевые выводы

1. Структура и поток — это напряжение, а не компромисс. Планировать точно, а потом решать, как обработать отклонения, сделавшие сессию ценной.
2. Probing проектируется, а не импровизируется. Заранее решать, где делать уточнение и где помогать — независимо от того, модерируемая сессия, немодерируемая или AI-модерируемая.
3. Соблюдать чистоту взаимодействия. Пост-тестовое интервью проводить одним блоком после задачи, поскольку вмешательство в процессе вырывает людей из естественного поведения.
4. Честно относиться к time on task. Собирать по запросу, но считать примерно 80% данных сигналом, остальное — шумом.
5. Сначала SUS, потом NPS, каждый раз. Не потому что они идеальны, а потому что их охват обеспечивает доверие и сопоставимость.
6. Tidy data — предварительное условие для того, чтобы вам поверили. Столбцы, строки, ячейки, и каждое высказывание прослеживаемо до источника.
7. AI-probing требует жёстких ограничений. Не более двух уточнений на вопрос, достаточно похожих для агрегации; модель отвечает за разговорную обёртку, а не за решения.