Как устроена AI-модель и почему это важно для скилла

Словарь терминов этого разбора

• Контекстное окно (context window) — объём текста, который модель «помнит» в одном разговоре. Длинный скилл + большой контекст могут не поместиться целиком — модель работает «вслепую» на том, что не уместилось.
• Токен (token) — минимальная единица текста для модели. Примерно 4 символа соответствуют одному токену. Длина скилла измеряется в токенах.
• Температура (temperature) — главный параметр генерации: от 0 (полная предсказуемость) до 2 (хаос). Низкие значения — для точности, высокие — для креатива.
• Детерминизм (determinism) — свойство модели давать одинаковый ответ при повторах запроса. Достигается при температуре 0.
• Уровень размышления (reasoning_effort / thinking budget) — параметр (low / medium / high), заставляющий модель тратить больше вычислений на обдумывание перед ответом.
• Кумулятивная вероятность (top_p) — параметр: модель выбирает из токенов, суммарная вероятность которых не превышает заданного значения (обычно 0.9).
• Штраф за повтор (frequency_penalty) — параметр, уменьшающий вероятность повторения уже использованных токенов. Полезен для кода.
• Штраф за присутствие (presence_penalty) — параметр, поощряющий появление новых тем в ответе. Полезен для креатива.

Краткий обзор: в Разборах 1-2 введено различие между промптом и скиллом и разобраны шесть компонентов скилла. Настоящий разбор рассматривает скилл с инженерной точки зрения: какие физические ограничения AI-модели диктуют именно такое проектирование скилла. Контекстное окно ограничивает длину, температура — вариативность, режим размышления — глубину анализа. Понимание этих характеристик позволяет писать скиллы, работающие на реальных моделях, а не в теории.