Главное
- Context windows combine prompt and completion, so long histories drain limits faster than expected.
- Для потоковой передачи необходимо тщательно обрабатывать события SSE, чтобы избежать повреждения JSON или потери токенов.
- JSON mode demands strict schema adherence; malformed responses cause silent parsing failures.
- Предоплата криптовалютой означает, что ошибки бесплатны, но подсчёт токенов должен быть точным, чтобы избежать сюрпризов.
Почему ваш API-ключ могут отклонить
API-ключи отклоняются, если клиент отправляет некорректные заголовки или превышает лимиты тела запроса. Сервер проверяет заголовок аутентификации перед выполнением любой логики. Если заголовок отсутствует или содержит лишние пробелы, запрос немедленно завершается ошибкой.
Другой распространённой причиной является отправка полезной нагрузки, превышающей лимит размера тела в 8 МБ. Большие контекстные окна с множеством сообщений легко могут превысить этот порог. Проверьте длину массива сообщений и количество токенов перед отправкой.
- Убедитесь, что заголовок Authorization правильно использует префикс 'Bearer'.
- Verify the request body size stays under 8 MB.
- Убедитесь, что ключ API активен и не истёк.
Понимание ограничений контекстного окна
Контекстное окно включает как входной запрос, так и сгенерированное продолжение. Наш API поддерживает окно на 100,000 токенов, но вы должны учитывать обе стороны. Если вы отправите 80,000 токенов контекста, у вас останется только 20,000 для ответа.
Большинство моделей по умолчанию имеют небольшой лимит вывода, если вы не укажете max_tokens. Это может неожиданно обрезать длинные ответы. Установите max_tokens на желаемую длину только в том случае, если вам нужен предел. Помните, что лимит применяется к общему запросу, а не только к промпту.
Корректная обработка прерываний потоковой передачи
Потоковая передача через Server-Sent Events (SSE) требует надежной обработки ошибок. Если соединение прерывается, вы можете потерять последний токен или метаданные об использовании. Всегда буферизуйте входящие фрагменты и воссоздавайте полный ответ на стороне клиента.
Данные об использовании токенов обычно отправляются в последнем чанке потока. Если вы закроете соединение досрочно, вы можете пропустить точное количество токенов. Это влияет на точность биллинга в предоплаченных системах. Реализуйте механизм повторных попыток с экспоненциальной задержкой, чтобы обрабатывать временные сетевые проблемы.
Используйте специализированный клиент потоковой передачи, который автоматически обрабатывает парсинг SSE. Это снижает риск ошибок парсинга и гарантирует, что вы получите все данные.
Ошибки парсинга в режиме JSON
При использовании response_format: {"type": "json_object"} модель должна возвращать валидный JSON. Любое отклонение приводит к ошибкам парсинга в вашем приложении. Убедитесь, что в промпте явно указано, что модель должна выводить только JSON.
Иногда модель добавляет блоки кода markdown вокруг JSON, что ломает строгие парсеры. Удалите обёртки перед разбором. Также проверьте структуру JSON на стороне клиента перед использованием данных.
Используйте библиотеку валидации схем, чтобы выявлять ошибки на раннем этапе. Это предотвращает сбои, когда модель возвращает неожиданные ключи или типы данных.
Неожиданности с подсчётом токенов и выставлением счетов
Предоплата взимается только за фактическое использование токенов. Ошибки и отказы бесплатны, что является значительным преимуществом перед подписочными моделями. Однако подсчет токенов может быть сложным, если не учитывать весь контекст.
Каждое сообщение в истории разговора учитывается в лимите входных токенов. Длинные разговоры расходуют ваш предоплаченный баланс быстрее, чем вы можете ожидать. Регулярно отслеживайте использование, чтобы избежать исчерпания кредитов в середине сессии.
Настройте оповещения о низком балансе кредитов. Это позволит вам пополнить счёт до того, как ваши запросы начнут завершаться ошибкой. Помните, что кредиты не имеют срока действия, поэтому пополнять счёт можно в любое удобное время.
Избегание мягких отказов в NSFW-запросах
Мягкие отказы возникают, когда модель колеблется или дает частичный ответ вместо прямого ответа. Это часто случается с противоречивыми или взрослыми темами. Даже в модели без цензуры определенные триггеры могут вызывать колебания.
Настройте параметр temperature, чтобы уменьшить случайность. Более низкое значение температуры делает модель более детерминированной и менее склонной к оговоркам. Также убедитесь, что ваш промт ясный и прямой. Избегайте двусмысленных формулировок, которые могут запутать модель.
Если вы часто сталкиваетесь с мягкими отказами, попробуйте немного изменить формулировку запроса. Небольшие изменения в формулировке часто позволяют обойти колебания и получить прямой ответ.
Скачки лимитов запросов и стратегии экспоненциальной задержки
API позволяет выполнять 300 запросов в минуту и 8 одновременных запросов на ключ. Пики трафика могут быстро достичь этих лимитов. Реализуйте экспоненциальное замедление для корректной обработки ошибок ограничения частоты запросов.
При получении кода состояния 429 подождите перед повторной попыткой. Начните с небольшой задержки и увеличивайте её с каждой повторной попыткой. Это предотвращает перегрузку сервера в часы пик.
Мониторьте частоту запросов и соответствующим образом регулируйте уровень параллелизма. Если вы отправляете множество одновременных запросов, рассмотрите возможность распределения их во времени. Это обеспечит стабильную пропускную способность без достижения лимитов.
Структуры полезной нагрузки для вызова функций
Вызов функций требует определенной структуры полезной нагрузки. Определите свои функции в параметре tools и укажите tool_choice. Модель вернет вызов функции, если сочтет это подходящим ответом.
Убедитесь, что определения функций точны и полны. Отсутствие параметров или неверные типы могут привести к тому, что модель сгенерирует некорректные вызовы. Всегда проверяйте аргументы вызова функции перед их выполнением.
Используйте параметр tool_choice, чтобы управлять тем, когда модель вызывает функции. Вы можете принудительно вызвать функцию, позволить модели принять решение или полностью отключить вызов функций. Это обеспечивает тонкий контроль над поведением модели.
Отладка ошибок 400 и 500
Ошибки 400 указывают на проблемы на стороне клиента, например, некорректный JSON или отсутствующие параметры. Ошибки 500 свидетельствуют о проблемах на стороне сервера, таких как внутренние ошибки или таймауты. Различие между ними помогает быстрее отлаживать код.
При ошибках 400 проверьте сообщение об ошибке, указанное в ответе. Оно обычно напрямую указывает на проблему. При ошибках 500 повторите запрос после небольшой задержки. Если ошибка сохраняется, обратитесь в службу поддержки, указав ID запроса.
Логируйте детали запроса и ответа при каждой ошибке. Это помогает выявлять закономерности и повторяющиеся проблемы. Используйте сервис логирования для отслеживания ошибок с течением времени и улучшения интеграции с API.
