arXiv: синтетические потребительские инсайты с помощью LLM — что работает и в чём ограничения

arXiv: исследование синтетических потребительских данных на основе больших языковых моделей

Стивен Л. Франс и Пиа Альбинссон из arXiv опубликовали работу «Synthetic Consumer Insight Generation with Large Language Models», в которой проверяют, можно ли использовать большие языковые модели для генерации синтетических потребительских данных в проективных исследовательских техниках.

О чём работа

Современный data-driven маркетинг требует больших объёмов потребительских данных, однако их сбор остаётся дорогостоящим, трудоёмким и сложно масштабируемым процессом. Авторы исследуют, могут ли LLM заменить участников при использовании проективных техник — методов, разработанных для выявления ассоциаций, эмоций, желаний и потребностей потребителей.

Что проверялось

Авторы тестировали LLM-ответы по нескольким проективным заданиям, моделям и стратегиям промптинга, а также разным значениям параметра temperature. В качестве эталона использовались человеческие ответы из первичного исследования восприятия городов как туристических направлений.

Для сравнения применялись лингвистические метрики, показатели разнообразия и концентрации, тематические модели и анализ топовых терминов.

Что показали результаты

Результаты демонстрируют значительное перекрытие между ответами LLM и людей в части широких тем и ассоциаций. Вместе с тем выявлены существенные различия в стилистике, лингвистической структуре и способе генерации разнообразия.

Авторы дают рекомендации относительно того, как наилучшим образом использовать LLM для генерации синтетических потребительских данных, как выбор модели и стратегии промптинга влияет на качество ответов, а также как распознавать ограничения этого подхода.

Почему это важно для исследователей

Работа даёт практическую доказательную базу тем, кто рассматривает LLM как способ снизить стоимость или ускорить проведение качественных исследований. Ключевой вывод неоднозначен: синтетические данные воспроизводят широкие тематические паттерны достаточно точно, но расходятся с человеческими ответами в деталях стиля и структуре разнообразия — именно там, где проективные техники традиционно дают наибольший аналитический выигрыш.