Как ты сделал это? «Я не знаю», ответил бы ребенок... или ИИ. Новое исследование показывает, что, хотя модели искусственного интеллекта эффективно решают судоку, они не могут объяснить свои рассуждения. Это открытие вызывает серьезные сомнения в его надежности при принятии сложных решений.
Решение судоку в метро или во время кофе может показаться тривиальным занятием, но для искусственного интеллекта это гораздо больше, чем просто игра. Группа исследователей обратилась к этой числовой головоломке не только для измерения логических способностей более продвинутых языковых моделей, но и для проверки чего-то гораздо более важного: их способности объяснять, что они делают и почему они это делают.
В недавнем исследовании группа ученых из Университета Колорадо в Боулдере использовала более 2000 судоку для оценки различных систем искусственного интеллекта. То, что они обнаружили, было удивительным: некоторые модели были способны правильно решить головоломку, но почти ни одна из них не могла четко объяснить шаги, которые они предприняли, чтобы прийти к решению. Это различие между «делать» и «объяснять» поднимает критический вопрос при разработке надежных инструментов на основе искусственного интеллекта, особенно когда они предназначены для деликатных задач, таких как медицинская диагностика, финансовые консультации или принятие юридических решений.
Судоку для изучения логики машин
Судоку, выбранные для этого эксперимента, были не классическими девятью на девять квадратов, а более простой версией шесть на шесть. Этот вариант позволяет поддерживать определенную логическую сложность, не требуя продвинутых математических навыков. Согласно оригинальной статье, «Судоку предоставляет контролируемую среду для изучения возможностей языковых моделей в пошаговом решении проблем» — утверждение, подчеркивающее полезность этих игр в качестве испытательного стенда.
Исследователи разработали набор из 2293 судоку различной сложности, гарантируя, что у каждого из них будет уникальное и четко определенное решение. Создание этих головоломок было выполнено с помощью формальной логической системы, известной как Z3, которая гарантировала, что каждая головоломка разрешима и не поддерживает множественные действительные ответы.
Такой тщательный дизайн позволяет однозначно изолировать ошибки ИИ. Если модель ошибочна, точно известно, что существует не более одного решения или возможностей для интерпретаций. Таким образом, получается четкое измерение того, насколько хорошо система понимает правила игры.
Они делают это ... но не знают, как это объяснить
Из всех протестированных моделей только модель OpenAI «o1-preview» — расширенная версия, выпущенная в 2023 году — смогла правильно решить около 65 % судоку. Напротив, модели с открытым исходным кодом, такие как Llama или Mistral, едва достигли символических цифр, что намного ниже 1% полного успеха. Но даже самая точная модель категорически не удалась, пытаясь обосновать свои ответы.
Когда попросили объяснить свои решения, производительность ИИ резко упала. Только 5 % объяснений, предоставленных o1-preview, были оценены как оправданные тестировщиками-людьми. С точки зрения ясности, только 7,5% получили положительную оценку, а образовательная способность ответов была еще хуже: только 2,5% были признаны полезными для изучения стратегий решения.
Авторы исследования резюмируют это одной четкой фразой: «Хотя эти инструменты демонстрируют потенциал, они по-прежнему сталкиваются с серьезными проблемами, когда дело доходит до точного и понятного изложения этапов рассуждений». Этот разрыв между результатом и рассуждениями раскрывает одно из основных современных ограничений языковых моделей: они могут имитировать правильные решения, но не умеют рассказывать, как они к ним пришли.
Разница между правильным и разумным
Один из наиболее интересных аспектов этого исследования заключается в том, что оно было сосредоточено не исключительно на том, правы ли ИИ, а на их способности разработать последовательный отчет о своем процессе. Цель состояла не только в том, чтобы увидеть, смогут ли они поставить правильное число в поле, но и понять, почему они выбрали это число, на основании каких выводов и правил.
Это требование подчеркивает разницу между правильным результатом путем случайности или имитации и логическим мыслительным процессом. По словам научной статьи: «Хорошие рассуждающие должны быть в состоянии четко изложить свои дедуктивные процессы». И это именно то, чего не хватает.
ИИ, который предлагает верное решение, но не может его объяснить, ненадежен в критических контекстах. В таких областях, как здравоохранение, юриспруденция или бухгалтерский учет, недостаточно, чтобы машина дала правильный ответ. Необходимо, чтобы он мог оправдываться перед людьми, в идеале четко, последовательно и понятно.
Строгий и показательный эксперимент
Команда тестировщиков не ограничивалась субъективными наблюдениями. Они обратились к группе экспертов-людей, которые проанализировали ответы ИИ в трех измерениях: обоснованность, ясность и образовательная ценность. Для этого система типа Лайкерта (Да, может быть, и нет) была применена к 20 выбранным судоку разного уровня сложности.
Анализ соответствия между тестировщиками был достаточно хорошим: значение Каппа составляло 0,6 по обоснованности и образовательной ценности и 0,4 по ясности. Это подтверждает, что наблюдаемые недостатки были не эпизодическими, а систематическими. Более продвинутый ИИ умел решать сложные головоломки, но его объяснения не проходили человеческий фильтр и во многих случаях были запутанными, неправильными или откровенно абсурдными.
Фактически, как подробно описано в статьях в прессе, комментирующих исследование, были ответы, в которых ИИ смешивал концепции, утверждал несуществующие правила или даже отвечал частями прогноз погоды, когда он не знал, что сказать. Эти обходные пути демонстрируют, что в отсутствие четкой логики модели могут заполнять пробелы любым типом контента, который на первый взгляд согласован, но не имеет отношения к исходной задаче.
От судоку к решениям, которые имеют значение
Хотя это может показаться анекдотичным, исследование посвящено не только играм. По мнению авторов, решение судоку работает как мелкомасштабное представление сложных проблем в реальной жизни. Это требует четких правил, пошаговых рассуждений и принятия обоснованных решений. То же самое ожидается от ИИ, который, например, управляет налогами, анализирует истории болезни или дает юридические рекомендации.
Тот факт, что модели по-прежнему не могут четко объяснить, как они приходят к своим ответам, ставит под сомнение их роль в более деликатных задачах. Отсюда растущий интерес к так называемым «нейросимволическим» системам, которые сочетают естественный язык LLM с формальными логическими структурами.
Согласно исследованию, эти гибридные подходы могут использовать лучшее из обоих миров: способность генерировать понятные ответы и формальную строгость традиционных логических систем. Как объясняют авторы, «мы надеемся, что модели смогут интерпретировать эти объяснения способами, доступными неспециализированному пользователю, и с адекватным уровнем детализации».
И что теперь?
Исследования ясно показывают, что современным моделям еще предстоит пройти долгий путь в области структурированных рассуждений. Хотя производительность проприетарных систем, таких как o1-preview, выше, чем у открытых моделей, ни одна из них не достигает уровня объяснительной надежности, который требовался бы в приложениях с высокой отдачей.
Чтобы продвинуться в этом направлении, авторы предлагают интегрировать языковые модели с формальными инструментами, такими как SMT solvers или помощники по математическому доказательству. Эти инструменты уже позволяют проводить чрезвычайно точные рассуждения, хотя и не очень удобные для обычного читателя. Если современные модели сумеют соединить эту сложную логику и естественный язык, они могут стать настоящими инструментами совместной работы для принятия решений человеком.
Между тем, то, что было изучено с помощью судоку, дает ценное предостережение: правильного ответа недостаточно, если он не сопровождается хорошим объяснением. И на этом этапе искусственному интеллекту еще многое предстоит улучшить.
Источник: doi.org/10.18653/v1/2025.findings-acl.273.
