Группа ученых из Apple Computer Company выяснила, что ответы крупных языковых моделей (LLM), в том числе ChatGPT, создают иллюзию интеллекта, не будучи результатом логического рассуждения. Результаты исследования были опубликованы на сервере препринтов arXiv.
Ученые сосредоточились на способности различать важную и несущественную информацию. Истинный интеллект подразумевает понимание, позволяющее игнорировать ненужные данные и концентрироваться на сути вопроса, как это происходит у людей.
Для тестирования гипотезы исследователи добавили лишнюю информацию в вопросы для LLM. Они задавали сотни вопросов, добавляя дополнительные данные, не относящиеся к теме. Задача заключалась в том, чтобы определить, смогут ли LLM игнорировать неуместную информацию и дать корректный ответ.
Было установлено, что LLM часто сбиваются на ненужных деталях, что приводит к неправильным ответам. Это указывает на отсутствие у LLM способности к настоящему пониманию и рациональному мышлению.
В ходе исследования также выяснилось, что LLM склонны выдавать правдоподобные на первый взгляд ответы, которые при детальном рассмотрении оказываются неверными. Например, когда LLM задаются вопросы о чувствах, они дают ответы, предполагающие наличие у них сознательных ощущений, а это неправда.
На основании этих данных ученые сделали вывод, что современные языковые модели не обладают истинным интеллектом, а лишь выявляют шаблоны в текстах и строят ответы на основе статистической обработки данных, а не реального понимания сути вопросов.
Фото: freepik.com
ГОР