Галлюцинация – уверенно поданный, но выдуманный ответ модели: несуществующий закон, ссылка, цитата, цифра или функция в программе. Это не сбой и не поломка. Языковая модель подбирает наиболее вероятное продолжение текста, а не проверяет факты, поэтому правдоподобная выдумка для неё так же естественна, как верный ответ – и выглядит она ровно так же уверенно.
Заметнее всего это там, где ответ требует точности: право и медицина, цифры и даты, цитаты и источники, названия версий и параметров. Чем реже тема встречалась модели при обучении и чем более узкий вопрос ей задали, тем выше шанс, что пробел будет заполнен догадкой. Отдельно коварны ссылки: модель охотно приводит адрес страницы, которой никогда не существовало.
Что с этим делают: подкладывают модели проверенные документы и просят отвечать только по ним, требуют цитату с указанием источника, сверяют критичные ответы вторым запросом или человеком, а в готовом продукте отделяют «модель не знает» от «модель ответила» – честный отказ дешевле красивой выдумки.
Полностью галлюцинации не лечатся: это свойство подхода, а не дефект конкретной модели. Более новые модели ошибаются реже, но не перестают. Практический вывод один: чем дороже цена ошибки в задаче, тем меньше в ней места для ответа, который никто не проверил.