Quality & Quantity: гибридный подход к качественному кодированию данных с ИИ

В журнале Quality & Quantity опубликовано методологическое исследование гибридного кодирования с применением встроенного ИИ-инструмента MAXQDA. Авторы сравнили ручное кодирование большого корпуса интервью с двумя условиями ИИ-кодирования: по инструкциям ручного кодирования и с помощью совместного prompt engineering в диалоге с ИИ.

Аннотация

Авторы провели методологическое исследование гибридного кодирования с использованием программного обеспечения для качественного анализа данных (QDA). Ручное кодирование корпуса из 164 качественных интервью (752 388 слов) об осмысленных медийных переживаниях сравнивалось с ИИ-кодированием в двух условиях промптинга: ИИ-промптинг с инструкциями ручного кодирования и совместный prompt engineering в диалоге с ИИ. Надёжность и валидность оценивались с помощью смешанного дизайна исследования, включающего количественный и качественный анализ.

Количественное согласие между кодировщиками оказалось низким. Однако качественный анализ показал, что при совместном prompt engineering ИИ правильно идентифицировал большинство релевантных сегментов, хотя и допускал существенное перекодирование — как по количеству размеченных сегментов, так и по их длине. ИИ-кодирование также обнаружило релевантные сегменты, которые были пропущены при ручном кодировании. На основании этих результатов авторы не рекомендуют ИИ-кодирование в качестве замены ручного. Вместо этого они предлагают подход гибридного интеллекта к QDA, который включает совместный prompt engineering с ИИ и смешанный анализ надёжности и валидности.

1. Введение

Качественный анализ данных (QDA) широко используется в социальных науках для анализа паттернов смысла в исследовательских материалах: интервью, фокус-группах, ответах на анкеты, публикациях в социальных сетях и других медийных текстах. Он предполагает дедуктивную (теоретически обусловленную) и индуктивную (обусловленную данными) категоризацию и кодирование данных, а также дополнительный анализ сложных смысловых структур и типологий. По сравнению с количественным анализом данных такой качественный подход даёт богатое понимание материала, однако требует значительных трудозатрат и применяется преимущественно к небольшим наборам данных.

Недавние разработки в области искусственного интеллекта и машинного обучения породили как надежды, так и опасения относительно возможной роли ИИ в качественном анализе данных. Потенциал генеративного ИИ описывается в терминах повышенной эффективности, улучшенной точности и значимого дополнения человеческой экспертизы. Одновременно высказываются опасения об ограничениях ИИ, включая предвзятость и галлюцинации, а также этические вопросы о защите данных и потенциальном замещении исследователей ИИ.

Авторы исследования ставят целью расширить формирующееся направление методологических исследований, начавших изучать применение ИИ в QDA с особым акцентом на ИИ-ассистентах на основе больших языковых моделей (LLM), таких как ChatGPT, Claude и других. Специфический вклад данной работы — методологическое исследование интегрированных ИИ-инструментов в программном обеспечении для QDA. Интеграция ИИ-кодирования в такие программы, как Atlas.ti, NVivo и MAXQDA, — относительно новое явление, которое, по имеющимся данным, остаётся малоизученным.

2. Методологические исследования применения ИИ в QDA

Потенциал и ограничения ИИ в QDA стимулировали рост методологических исследований. Ряд работ по тематическому анализу и индуктивной разработке категорий с помощью LLM-ассистентов дал обнадёживающие результаты: между тематическими категориями, выявленными кодировщиками-людьми и ИИ, обнаруживалось значимое совпадение. В частности, ИИ-кодирование оказалось полезным для распознавания возникающих паттернов смысла в процессе индуктивного развития тем и категорий, а также для индуктивного кодирования без кодовой книги. Однако возникли трудности, связанные с разграничением индуктивно разработанных кодов и тонкостями смысла, релевантными для более широкого контекста исследования.

Количественный анализ согласия между кодировщиками при ручном и ИИ-кодировании дал неоднозначные результаты. Чжан и др. (2024) провели количественный анализ надёжности для индуктивного и дедуктивного кодирования с использованием различных LLM (GPT-4, GPT-4o и Claude 3.5) и обнаружили, что ИИ-кодирование более надёжно при индуктивных подходах. Надёжность ИИ-кодирования в нескольких исследованиях оказалась существенно зависимой от применяемых LLM и ИИ-ассистентов. Кроме того, использование детализированных кодовых книг и стратегий prompt engineering повышало надёжность.

3. Подход гибридного интеллекта к ИИ-кодированию

Большинство исследователей рекомендуют использовать ИИ не как замену, а как дополнение к ручному кодированию — в форме совместного процесса. Такой подход можно описать в терминах «гибридного интеллекта», который обозначает коллективную форму интеллекта, возникающую при сотрудничестве человеческих и искусственных агентов. Помимо объединения способностей — человеческого суждения и машинных возможностей — такое гибридное взаимодействие может порождать emergent-свойства: общие определения целей, взаимное обучение и совместное принятие решений. Это позволяет обеим сторонам достигать целей, недостижимых в одиночку.

Применительно к QDA подход гибридного интеллекта выходит за рамки использования ИИ как «исследовательского ассистента», получающего инструкции и надзор. Исследования показывают, что такие совместные методологические элементы, как диалог с данными и prompt engineering в диалоге с ИИ, способны дополнительно улучшить качество ИИ-кодирования. Более того, такие совместные подходы помогают кодировщикам-людям прояснить собственное понимание данных и задачи кодирования в процессе мониторинга, рефлексии и обучения в ходе взаимодействия с ИИ. Эти совместные методологические элементы включают итеративные диалогические процессы взаимного обмена и обратной связи, постановки вопросов и обоснования суждений.

4. Интеграция ИИ-инструментов в программное обеспечение для QDA

В данном исследовании применялся гибридный подход к кодированию с особым акцентом на интегрированные ИИ-инструменты в программном обеспечении для QDA. Недавняя интеграция ИИ-кодирования в такие программы, как Atlas.ti, NVivo и MAXQDA, открывает новые возможности для объединения ИИ-кодирования с преимуществами QDA-программ: управлением данными, методологической строгостью и совместным кодированием.

Предыдущие исследования ИИ-кодирования преимущественно фокусировались на разговорных агентах — ChatGPT, Claude и других — и интерфейсах prompt engineering, таких как QualiGPT. Несмотря на схожесть с ИИ-инструментами в QDA-программах (все они основаны на LLM), интерфейсы взаимодействия исследователей с LLM существенно различаются. Поэтому работа с ИИ-инструментами в QDA-программах может обладать специфическими преимуществами и ограничениями, которые необходимо изучить.

5. Использованный кейс: вторичный качественный анализ полуструктурированных интервью

Авторы выбрали кейс, отражающий сложность реальных исследовательских проектов с большими наборами данных и несколькими кодировщиками. Кейс представлял собой вторичный качественный анализ корпуса из 164 полуструктурированных интервью (752 388 слов) из пяти исследований об осмысленных медийных переживаниях, проведённых в Германии. Вторичный анализ был посвящён опыту людей с медийными изображениями смерти и умирания — тематике, не являвшейся фокусом исходных исследований.

Первой задачей кодирования была идентификация всех упоминаний медийных переживаний, связанных со смертью (дедуктивная основная категория). Внутри этих фрагментов кодировались тематический контекст, эмоции, смысл и рефлексивные мысли. Эта темы потребовала контекстно-зависимой интерпретации, понимания косвенного языка и метафор, а также фоновых знаний, что делало её особенно трудной как для ручного, так и для ИИ-кодирования.

6. Цели и исследовательские вопросы

Авторы сформулировали три исследовательских вопроса:

RQ1: Как можно оценивать надёжность и валидность в контексте гибридного кодирования с интегрированными ИИ-инструментами в QDA-программах?

RQ2: Можно ли улучшить надёжность и валидность гибридного кодирования с помощью совместного prompt engineering?

RQ3: Какие рекомендации можно вывести для гибридного кодирования с интегрированными ИИ-инструментами в QDA-программах?

7. Метод

7.1. Ручное кодирование

Ручное кодирование полного корпуса данных выполняли двое из авторов в программе MAXQDA. Процесс включал разработку детализированной кодовой книги с определением кода, критериями включения и исключения и релевантными примерами. Качественный анализ согласия между кодировщиками проводился итеративно: с каждым раундом рассуждений и согласования концептуальная ясность определений и правил кодирования возрастала.

7.2. ИИ-кодирование и условия промптинга

ИИ-кодирование выполнялось с помощью инструмента AI Assist в MAXQDA версии 24.10, который использует несколько LLM, включая Claude, Gemini и вспомогательные локальные модели. Обработка данных соответствует требованиям европейского Общего регламента по защите данных (GDPR). Авторы применяли два условия промптинга: в первом ИИ получал инструкции из кодовой книги, разработанной при ручном кодировании; во втором использовался итеративный диалог с ИИ для уточнения и оптимизации промптов — collaborative prompt engineering.

Ключевые результаты и рекомендации

Данная работа значима для исследователей, работающих с большими массивами качественных данных — в частности, с обширными корпусами интервью. Количественные метрики согласия между кодировщиками при ИИ-кодировании оказались низкими, однако качественный анализ показал более обнадёживающую картину: при совместном prompt engineering ИИ точно идентифицировал большинство тематически релевантных сегментов. При этом существенной проблемой оставалось перекодирование — ИИ нередко отмечал слишком много фрагментов или сегменты чрезмерной длины. Вместе с тем ИИ обнаружил релевантные фрагменты, пропущенные кодировщиками-людьми, что указывает на его потенциал как инструмента дополнения, а не замены.

Авторы рекомендуют переосмыслить роль ИИ в QDA: не как инструмента автоматизации, заменяющего исследователя, а как партнёра по гибридному интеллекту. При таком подходе исследователь ведёт диалог с ИИ, совместно разрабатывая промпты, проверяя результаты по качественным критериям (концептуальная согласованность с определением категории) и используя количественный анализ согласия лишь как первый шаг валидации. Подобная гибридная стратегия позволяет ИИ дополнять ручной анализ, не претендуя на его замену: ИИ берёт на себя задачи, требующие обработки большого объёма текста, а человек сохраняет контроль над интерпретацией контекстно-зависимых и имплицитных смыслов.