Návody
Nasazení do provozu
Krátký kontrolní seznam, aby spuštění proběhlo hladce.
Klíče
- Pro vývoj, testování a produkci používejte samostatné klíče.
- Klíče držte v proměnných prostředí na serveru, nikdy v kódu klienta.
- Když klíč unikne, zrušte ho v konzoli a vytvořte nový.
Opakování a časové limity
OpenAI SDK samo opakuje 429 a chyby serveru a čeká podle Retry-After. Nastavte počet opakování a časový limit:
python
client = OpenAI(
base_url="https://api.sweetrouter.com/v1",
api_key=os.environ["SWEETROUTER_API_KEY"],
max_retries=3, # retries 429 and 5xx with backoff, honours Retry-After
timeout=60, # seconds
)Limity požadavků
Rozkládejte provoz rovnoměrně a na 429 reagujte počkáním a opakováním. Čekáte velký provoz? Napište nám očekávanou špičku požadavků za sekundu před spuštěním a limity vám zvýšíme. Viz Limity.
Zůstatek
Když dojde zůstatek, požadavky selhávají s 402 insufficient_balance. Sledujte ho na stránce Platby a dobijte před rušným obdobím. Kvůli fakturaci nebo většímu objemu nás kontaktujte.
Dohledání volání
Každá odpověď obsahuje sweetrouter.job_id a hlavičku x-request-id. Logujte obojí a uveďte je, když nás kontaktujete. Můžete také posílat pole user s id vašeho koncového uživatele a párovat volání s uživateli ve svých záznamech.
Kontrolní seznam před spuštěním
- Produkční klíč uložený jako proměnná prostředí na serveru.
- Opakování a časový limit nastavené v klientovi.
- Zkracování historie u dlouhých chatů.
- Chyby se uživatelům zobrazují srozumitelně.
- Dostatečný zůstatek pro očekávaný provoz.