Утечка данных из ИИ: когда модель отдаёт чужое

Словарь терминов этой главы

• RAG (retrieval-augmented generation) — схема работы, при которой модель перед ответом находит фрагменты в подключённой базе знаний и опирается на них: корпоративные документы, переписка, архивы.
• Векторная база (vector database) — хранилище, где тексты лежат в виде числовых представлений смысла; поиск в ней идёт по близости, а не по точному совпадению.
• Мемоизация (memorization) — запоминание моделью фрагментов обучающих данных с возможностью их последующего воспроизведения.
• Галлюцинация (hallucination) — уверенный ответ, не опирающийся на реальные данные; в том числе — правдоподобные персональные данные, которых не существует.
• Риск выхода (egress risk) — вероятность того, что чужие персональные данные появятся в ответе модели и уйдут дальше в вашу работу.

Краткий обзор: до сих пор пособие контролировало вход — то, что мы отправляем в модели. Эта глава разворачивает перспективу: модели сами являются источниками чужих персональных данных. Откуда модель их «знает» — обучение, подключённые базы, общие диалоги; как они выходят — от дословного воспроизведения запомненного до сшивки по косвенным признакам и галлюцинаций с правдоподобными данными. Затем — инциденты на стороне провайдеров (OpenAI и Redis, DeepSeek и открытая база) и регуляторные реакции Италии, которые показали: за утечку из модели отвечает её оператор. Финал — практические правила, включая одно железное: легенды соответствий в промпты не вводятся никогда.