Параметры модели

Beta feature. Learn more.

Параметры модели задают, какую модель использует агент и как она генерирует ответы. Настройте их в панели параметры модели в Agent Builder.

Провайдер и модель

• Провайдер — внешний провайдер LLM.
• Модель — конкретная модель этого провайдера. У разных моделей разные сильные стороны: крупные модели для рассуждений подходят для задач, требующих сложного планирования, а более быстрые компактные модели — для рутинных запросов.

Провайдер и модель обязательны. Остальная часть панели подстраивается под возможности выбранной модели.

Ограничения контекста и вывода

• Максимум токенов контекста — ограничивает общий объём контекста, который агент отправляет модели. Оставьте System, чтобы использовать значение модели по умолчанию. Уменьшите это значение, чтобы снизить затраты; увеличьте его для агентов, которым нужно анализировать большие объёмы входных данных.
• Максимум токенов вывода — ограничивает размер ответа агента. System использует значение модели по умолчанию. Установите меньшее значение, если ответы получаются слишком длинными, и большее — если они обрезаются.
• Лимит токенов файла — ограничивает, сколько токенов из одного загруженного файла попадает в контекст. Это полезно, когда пользователи прикрепляют большие файлы и вы не хотите, чтобы они вытесняли остальную часть диалога.

Сэмплинг

• Temperature — степень случайности. Более высокие значения (0.7–1.0) = больше случайности, а более низкие (0.0–0.3) = более сфокусированный и предсказуемый результат. Рекомендуем изменять либо этот параметр, либо Top P, но не оба сразу.
• Top P — сэмплинг по ядру распределения. Меняет то, как модель выбирает токены для вывода.
• Top K — ограничивает сэмплинг K наиболее вероятными токенами на каждом шаге. Поддерживается некоторыми провайдерами; управляет предсказуемостью по другой оси, чем Temperature.

Если вы не настраиваете модель под конкретное поведение, оставьте ползунки близкими к значениям по умолчанию — небольшие изменения здесь редко дают заметный эффект, а большие могут ухудшить качество вывода.

Параметры рассуждения

Доступно для моделей с поддержкой расширенного рассуждения. Точный набор зависит от провайдера.

• Thinking — включает или отключает режим расширенного рассуждения модели. Когда он включен, модель перед окончательным ответом генерирует внутренние токены рассуждения; обычно это повышает точность на сложных задачах, но увеличивает задержку и расход токенов.
• Thinking Budget — бюджет токенов для этапа рассуждения. Модель прекращает рассуждение и дает ответ, как только израсходует это количество токенов.
• Effort — общий уровень интенсивности рассуждения (Auto, low, medium, high). Используется моделями рассуждения, которые не предоставляют бюджет токенов для Thinking напрямую.
• Thought Visibility — определяет, будет ли ход рассуждения модели показан пользователю прямо в тексте, скрыт в свернутом виде или полностью опущен.

Поведение беседы

• Повторно отправлять файлы — если включено, файлы, прикреплённые в предыдущих сообщениях, будут повторно отправляться с каждым следующим сообщением, чтобы модель не теряла контекст. Отключите этот параметр, чтобы сэкономить токены, если беседа короткая или модель по ходу работы сама суммирует содержимое файлов.
• Использовать кэширование промптов — если провайдер поддерживает эту функцию, кэширует повторно используемые части промпта, чтобы снизить стоимость и задержку в беседах, где инструкции и описания инструментов повторяются от сообщения к сообщению.
• Веб-поиск — включает встроенный у провайдера веб-поиск на поддерживаемых моделях. Это отличается от инструмента веб-поиска, который работает как один из инструментов агента, а не как возможность провайдера.

Сброс

Сброс параметров модели в нижней части панели возвращает все поля к системным значениям по умолчанию. Используйте эту функцию, если вы уже достаточно поэкспериментировали и хотите начать с чистого листа.