Защиты: почему модели галлюцинируют и как скилл их сдерживает

Словарь терминов этого разбора

• Правдоподобие (plausibility) — свойство ответа звучать убедительно, даже если он фактически неверен. Модель оптимизирована именно на это, а не на истинность.
• Истинность (truthfulness) — соответствие ответа реальному положению дел. Модель напрямую за это не отвечает — этим управляют защиты.
• Блокирующее правило (blocking rule / hard guard) — защита, при нарушении которой шаг считается проваленным. Модель обязана исправить или явно пометить провал.
• Предупреждение (warning / soft guard) — защита, при нарушении которой шаг продолжается, но с оговоркой (например, «актуальность требует проверки»).
• Выдуманный источник (fabricated source) — несуществующая статья закона, исследование, судебная практика, на которую модель ссылается как на настоящую.
• Выдуманные данные (fabricated data) — цифры, метрики, даты, суммы, взятые из воздуха, без основания в материалах пользователя.
• Дезавуирование (disclaim) — явная пометка «не подтверждено материалами / вывод», когда модель не может сослаться на источник.
• Граница специалиста (human specialist boundary) — защита: для юридических, медицинских, финансовых задач модель не выдаёт окончательное заключение, а помечает «требует проверки специалистом».
• Метапознание (metacognition) — способность модели «думать о собственном мышлении»: перечислять свои утверждения и находить собственные ошибки.
• Актуальность источника (source freshness) — проверка того, что источник не устарел на дату переданных материалов.

Краткий обзор: модели галлюцинируют по своей природе — это не дефект, а свойство архитектуры. Скилл не «лечит» это свойство, но сдерживает его жёсткими правилами и обязательной самопроверкой. В настоящем разборе рассматриваются причины галлюцинаций, их типология, логика построения защит и различие между блокирующим правилом и предупреждением. Главная идея: чем выше цена ошибки — тем больше защит.