Poin penting
- Context windows combine prompt and completion, so long histories drain limits faster than expected.
- Streaming memerlukan penanganan peristiwa SSE secara hati-hati untuk menghindari JSON yang rusak atau token yang hilang.
- JSON mode demands strict schema adherence; malformed responses cause silent parsing failures.
- Billing kripto prabayar berarti kesalahan gratis, tetapi penghitungan token harus akurat untuk menghindari kejutan.
Mengapa kunci API Anda mungkin ditolak
Kunci API ditolak ketika klien mengirimkan header yang tidak valid atau melebihi batas tubuh permintaan. Server memvalidasi header autentikasi sebelum memproses logika apa pun. Jika header hilang atau mengandung spasi berlebih, permintaan gagal segera.
Penyebab umum lainnya adalah mengirim payload yang melebihi batas ukuran body 8 MB. Jendela konteks besar dengan banyak pesan dapat dengan mudah melampaui batas ini. Periksa panjang array pesan dan jumlah token sebelum mengirim.
- Pastikan header Authorization menggunakan awalan 'Bearer' dengan benar.
- Verify the request body size stays under 8 MB.
- Pastikan kunci API aktif dan belum kedaluwarsa.
Memahami batas jendela konteks
Jendela konteks mencakup baik prompt input maupun kelengkapan yang dihasilkan. API kami mendukung jendela 100,000 token, tetapi Anda harus memperhitungkan kedua sisi. Jika Anda mengirim 80,000 token konteks, Anda hanya memiliki 20,000 tersisa untuk respons.
Kebanyakan model memiliki batas output kecil secara default jika Anda tidak menentukan max_tokens. Hal ini dapat memotong jawaban panjang secara tiba-tiba. Atur max_tokens sesuai panjang yang diinginkan hanya jika Anda ingin menetapkan batas. Ingatlah bahwa batas tersebut berlaku untuk seluruh permintaan, bukan hanya prompt.
Menangani gangguan streaming dengan benar
Streaming melalui Server-Sent Events (SSE) memerlukan penanganan kesalahan yang kuat. Jika koneksi terputus, Anda mungkin kehilangan token terakhir atau metadata penggunaan. Selalu buffer potongan data yang masuk dan rekonstruksi respons lengkap di sisi klien.
Data penggunaan token biasanya dikirim dalam potongan terakhir dari aliran. Jika Anda menutup koneksi lebih awal, Anda mungkin melewatkan jumlah token yang tepat. Hal ini memengaruhi akurasi penagihan dalam sistem prabayar. Terapkan mekanisme coba ulang dengan backoff eksponensial untuk menangani masalah jaringan sementara.
Gunakan klien streaming khusus yang menangani parsing SSE secara otomatis. Hal ini mengurangi risiko kesalahan parsing dan memastikan Anda menangkap semua data.
Kesalahan parsing mode JSON
Saat menggunakan response_format: {"type": "json_object"}, model harus mengembalikan JSON yang valid. Setiap penyimpangan akan menyebabkan kesalahan parsing di aplikasi Anda. Pastikan prompt Anda secara eksplisit menginstruksikan model untuk hanya menghasilkan JSON.
Kadang-kadang model menyertakan blok kode markdown di sekitar JSON, yang dapat merusak parser ketat. Hapus pembungkus sebelum melakukan parsing. Selain itu, validasi struktur JSON di sisi klien sebelum menggunakan data tersebut.
Gunakan pustaka validasi skema untuk menangkap kesalahan sejak dini. Hal ini mencegah crash ketika model mengembalikan kunci atau tipe data yang tidak terduga.
Kejutan dalam penghitungan token dan penagihan
Tagihan prabayar hanya membebankan biaya untuk penggunaan token yang sebenarnya. Kesalahan dan penolakan gratis, yang merupakan keuntungan signifikan dibandingkan dengan model berlangganan. Namun, penghitungan token bisa menjadi rumit jika Anda tidak memperhitungkan seluruh konteks.
Setiap pesan dalam riwayat percakapan dihitung menuju batas token input. Percakapan panjang menguras kredit prabayar Anda lebih cepat dari yang Anda kira. Pantau penggunaan Anda secara teratur untuk menghindari kehabisan kredit di tengah sesi.
Atur peringatan untuk saldo kredit yang rendah. Ini memastikan Anda dapat mengisi ulang sebelum permintaan Anda gagal. Ingat bahwa kredit tidak pernah kedaluwarsa, sehingga Anda dapat mengisi ulang kapan saja sesuai kenyamanan Anda.
Menghindari penolakan halus dalam prompt NSFW
Penolakan halus terjadi ketika model ragu-ragu atau memberikan jawaban parsial sebagai pengganti respons langsung. Hal ini sering terjadi pada topik yang kontroversial atau dewasa. Bahkan pada model tanpa sensor, pemicu tertentu dapat menyebabkan keraguan.
Sesuaikan parameter temperature untuk mengurangi keacakan. Suhu yang lebih rendah membuat model lebih deterministik dan kurang cenderung untuk berhati-hati. Selain itu, pastikan prompt Anda jelas dan langsung. Hindari bahasa ambigu yang dapat membingungkan model.
Jika Anda mengalami penolakan lunak yang sering terjadi, coba ubah sedikit cara penyampaian prompt. Perubahan kecil dalam kata-kata sering kali dapat melewati keraguan tersebut dan mendapatkan jawaban langsung.
Lonjakan batas laju dan strategi backoff
API mengizinkan 300 permintaan per menit dan 8 permintaan simultan per kunci. Lonjakan lalu lintas dapat dengan cepat mencapai batas-batas ini. Terapkan backoff eksponensial untuk menangani kesalahan batas laju secara elegan.
Saat Anda menerima kode status 429, tunggu sebelum mencoba lagi. Mulailah dengan jeda singkat dan tingkatkan jeda tersebut pada setiap percobaan ulang. Hal ini mencegah server kewalahan saat waktu sibuk.
Pantau tingkat permintaan Anda dan sesuaikan tingkat konkurensi sesuai kebutuhan. Jika Anda melakukan banyak permintaan secara bersamaan, pertimbangkan untuk menyebarkannya seiring waktu. Hal ini memastikan throughput yang stabil tanpa melanggar batas.
Struktur payload pemanggilan fungsi
Pemanggilan fungsi memerlukan struktur payload tertentu. Tentukan fungsi Anda dalam parameter tools dan tentukan tool_choice. Model akan mengembalikan panggilan fungsi jika menentukan bahwa itu adalah respons yang tepat.
Pastikan definisi fungsi Anda akurat dan lengkap. Parameter yang hilang atau tipe yang salah dapat menyebabkan model menghasilkan panggilan yang tidak valid. Selalu validasi argumen panggilan fungsi sebelum mengeksekusinya.
Gunakan parameter tool_choice untuk mengontrol kapan model memanggil fungsi. Anda dapat memaksa panggilan fungsi, membiarkan model memutuskan, atau menonaktifkan panggilan fungsi sepenuhnya. Hal ini memberikan Anda kontrol yang sangat rinci atas perilaku model.
Debugging kesalahan 400 vs 500
Kesalahan 400 menunjukkan masalah di sisi klien, seperti JSON tidak valid atau parameter yang hilang. Kesalahan 500 mengindikasikan masalah di sisi server, seperti kesalahan internal atau waktu tunggu. Membedakan keduanya membantu Anda melakukan debugging lebih cepat.
Untuk error 400, periksa pesan error yang diberikan dalam respons. Biasanya pesan tersebut langsung menunjukkan masalahnya. Untuk error 500, coba lagi permintaan tersebut setelah jeda singkat. Jika error masih terjadi, hubungi dukungan dengan menyertakan ID permintaan.
Log detail permintaan dan respons untuk setiap kesalahan. Ini membantu mengidentifikasi pola dan masalah yang berulang. Gunakan layanan logging untuk melacak kesalahan dari waktu ke waktu dan meningkatkan integrasi API Anda.
