Βασικά συμπεράσματα
- Context windows combine prompt and completion, so long histories drain limits faster than expected.
- Η ροή δεδομένων απαιτεί προσεκτικό χειρισμό των συμβάντων SSE για να αποφευχθεί η διαφθορά του JSON ή η απώλεια tokens.
- JSON mode demands strict schema adherence; malformed responses cause silent parsing failures.
- Η προπληρωμένη χρέωση με κρυπτονομίσματα σημαίνει ότι τα σφάλματα είναι δωρεάν, αλλά ο μετρητής tokens πρέπει να είναι ακριβής για να αποφευχθούν εκπλήξεις.
Γιατί το API key σας μπορεί να απορριφθεί
Οι κλειδιά API απορρίπτονται όταν ο πελάτης στέλνει λανθασμένους headers ή υπερβαίνει τα όρια του σώματος της αίτησης. Ο διακομιστής επαληθεύει τον header πιστοποίησης πριν επεξεργαστεί οποιαδήποτε λογική. Αν ο header λείπει ή περιέχει επιπλέον κενά, η αίτηση αποτυγχάνει αμέσως.
Μια άλλη συνηθισμένη αιτία είναι η αποστολή payload που υπερβαίνει το όριο μεγέθους σώματος 8 MB. Μεγάλα context windows με πολλά μηνύματα μπορούν εύκολα να ξεπεράσουν αυτό το όριο. Ελέγξτε το μήκος του πίνακα μηνυμάτων και τον αριθμό tokens πριν την αποστολή.
- Βεβαιωθείτε ότι ο header Authorization χρησιμοποιεί σωστά το πρόθεμα 'Bearer'.
- Verify the request body size stays under 8 MB.
- Ελέγξτε ότι το κλειδί API είναι ενεργό και δεν έχει λήξει.
Κατανόηση των ορίων παραθύρου συμφραζομένων
Το παράθυρο συμφραζομένων περιλαμβάνει τόσο την εισαγωγή όσο και την παραγόμενη συμπλήρωση. Η API μας υποστηρίζει παράθυρο 100,000 tokens, αλλά πρέπει να λάβετε υπόψη και τις δύο πλευρές. Αν στείλετε 80,000 tokens συμφραζομένων, έχετε μόνο 20,000 για την απάντηση.
Οι περισσότερες μονάδες έχουν προεπιλεγμένο μικρό όριο εξόδου αν δεν καθορίσετε max_tokens. Αυτό μπορεί να περικόψει απροσδόκητα μακροσκελείς απαντήσεις. Ορίστε το max_tokens στο επιθυμητό μήκος μόνο αν θέλετε ένα όριο. Θυμηθείτε ότι το όριο ισχύει για τη συνολική αίτηση, όχι μόνο για την εντολή.
Χειρισμός διακοπών ροής δεδομένων
Η ροή δεδομένων μέσω Server-Sent Events (SSE) απαιτεί ισχυρή διαχείριση σφαλμάτων. Αν η σύνδεση διακοπεί, ενδέχεται να χαθεί το τελευταίο token ή τα μεταδεδομένα χρήσης. Αποθηκεύστε πάντα τα εισερχόμενα κομμάτια (chunks) και ανακατασκευάστε την πλήρη απάντηση στην πλευρά του πελάτη.
Τα δεδομένα χρήσης tokens στέλνονται συνήθως στο τελευταίο chunk του stream. Αν κλείσετε τη σύνδεση νωρίτερα, μπορεί να χάσετε τον ακριβή αριθμό tokens. Αυτό επηρεάζει την ακρίβεια της χρέωσης σε συστήματα προπληρωμής. Υλοποιήστε έναν μηχανισμό επανάληψης με εκθετική backoff για να διαχειριστείτε προσωρινά προβλήματα δικτύου.
Χρησιμοποιήστε έναν εξειδικευμένο πελάτη streaming που διαχειρίζεται αυτόματα την ανάλυση SSE. Αυτό μειώνει τον κίνδυνο σφαλμάτων ανάλυσης και διασφαλίζει ότι θα συλλάβετε όλα τα δεδομένα.
Σφάλματα ανάλυσης λειτουργίας JSON
Όταν χρησιμοποιείτε response_format: {"type": "json_object"}, το μοντέλο πρέπει να επιστρέφει έγκυρο JSON. Οποιαδήποτε απόκλιση προκαλεί σφάλματα ερμηνείας στην εφαρμογή σας. Βεβαιωθείτε ότι η εντολή σας καθοδηγεί ρητά το μοντέλο να εξάγει μόνο JSON.
Σε ορισμένες περιπτώσεις, το μοντέλο περιλαμβάνει μπλοκ κώδικα markdown γύρω από το JSON, κάτι που διαταράσσει τους αυστηρούς αναλυτές. Αφαιρέστε τους περιβλήματα πριν την ανάλυση. Επιπλέον, επαληθεύστε τη δομή JSON στον πελάτη πριν χρησιμοποιήσετε τα δεδομένα.
Χρησιμοποιήστε μια βιβλιοθήκη επικύρωσης σχήματος για να εντοπίζετε σφάλματα νωρίς. Αυτό αποτρέπει καταρρεύσεις όταν το μοντέλο επιστρέφει απροσδόκητες κλειδιά ή τύπους.
Απρόσμενες εκπλήξεις στον υπολογισμό και την χρέωση των tokens
Η χρέωση με προκαταβολική πληρωμή αφορά μόνο την πραγματική χρήση tokens. Τα σφάλματα και οι απορρίψεις είναι δωρεάν, κάτι που αποτελεί σημαντικό πλεονέκτημα σε σύγκριση με τα μοντέλα συνδρομής. Ωστόσο, ο μετρητής tokens μπορεί να είναι περίπλοκος αν δεν ληφθεί υπόψη το πλήρες context.
Κάθε μήνυμα στην ιστορικό συνομιλίας μετράει για το όριο των tokens εισόδου. Οι μακροχρόνιες συνομιλίες εξαντλούν το προπληρωμένο υπόλοιπό σας γρηγορότερα από όσο ίσως περιμένατε. Παρακολουθήστε τακτικά τη χρήση σας για να αποφύγετε την εξάντληση των credits κατά τη διάρκεια της συνεδρίας.
Ρυθμίστε ειδοποιήσεις για χαμηλά υπόλοιπα πιστωτικών. Αυτό διασφαλίζει ότι μπορείτε να προσθέσετε χρήματα πριν αποτύχουν τα αιτήματά σας. Θυμηθείτε ότι τα πιστωτικά δεν λήγουν ποτέ, οπότε μπορείτε να προσθέσετε χρήματα όποτε σας βολεύει.
Αποφυγή ήπιων απορρίψεων σε prompts NSFW
Οι μαλακές απορρίψεις συμβαίνουν όταν το μοντέλο διστάζει ή παρέχει μια μερική απάντηση αντί για μια άμεση. Αυτό συμβαίνει συχνά με αμφιλεγόμενα ή ενήλικα θέματα. Ακόμα και σε ένα μοντέλο χωρίς λογοκρισία, ορισμένα ερεθίσματα μπορούν να προκαλέσουν δισταγμό.
Ρυθμίστε την παράμετρο temperature για να μειώσετε την τυχαία συμπεριφορά. Μια χαμηλότερη θερμοκρασία κάνει το μοντέλο πιο ντετερμινιστικό και λιγότερο πιθανό να κάνει επιφυλάξεις. Επίσης, βεβαιωθείτε ότι το prompt είναι σαφές και ευθύγραμμο. Αποφύγετε ασαφή γλώσσα που μπορεί να μπερδέψει το μοντέλο.
Αν αντιμετωπίζετε συχνές ήπιες απορρίψεις, προσπαθήστε να διατυπώσετε ελαφρώς διαφορετικά το ερώτημα. Μικρές αλλαγές στη διατύπωση μπορούν συχνά να παρακάμψουν την διστακτικότητα και να αποδώσουν μια άμεση απάντηση.
Ροές ορίων ταχύτητας και στρατηγικές οπισθοδρόμησης
Η API επιτρέπει 300 αιτήματα ανά λεπτό και 8 ταυτόχρονες συνδέσεις ανά κλειδί. Οι αιφνίδιες αυξήσεις στην κίνηση μπορούν γρήγορα να φτάσουν αυτά τα όρια. Εφαρμόστε εκθετική επαναπροσπάθεια για να διαχειριστείτε τα σφάλματα ορίου ρυθμού με ευγένεια.
Όταν λάβετε κωδικό κατάστασης 429, περιμένετε πριν κάνετε επανάληψη. Ξεκινήστε με μια μικρή καθυστέρηση και αυξήστε την με κάθε επανάληψη. Αυτό αποτρέπει την υπερφόρτωση του διακομιστή κατά τις περιόδους αιχμής.
Παρακολουθήστε τον ρυθμό των αιτημάτων σας και προσαρμόστε τα επίπεδα ταυτόχρονης εκτέλεσης ανάλογα. Αν κάνετε πολλές ταυτόχρονες αιτήσεις, σκεφτείτε να τις κατανείμετε στο χρόνο. Αυτό εξασφαλίζει σταθερή απόδοση χωρίς να φτάσετε στα όρια.
Δομές φορτίου κλήσης λειτουργίας
Η κλήση συναρτήσεων απαιτεί μια συγκεκριμένη δομή payload. Ορίστε τις συναρτήσεις σας στην παράμετρο tools και καθορίστε το tool_choice. Το μοντέλο θα επιστρέψει μια κλήση συνάρτησης αν κρίνει ότι αυτή είναι η κατάλληλη απάντηση.
Βεβαιωθείτε ότι οι ορισμοί των συναρτήσεών σας είναι ακριβείς και ολοκληρωμένοι. Τα λείποντα ορίσματα ή οι λανθασμένοι τύποι μπορεί να οδηγήσουν το μοντέλο σε δημιουργία μη έγκυρων κλήσεων. Πάντα να επαληθεύετε τα ορίσματα της κλήσης συνάρτησης πριν την εκτέλεσή τους.
Χρησιμοποιήστε την παράμετρο tool_choice για να ελέγξετε πότε το μοντέλο καλεί συναρτήσεις. Μπορείτε να αναγκάσετε μια κλήση συνάρτησης, να αφήσετε το μοντέλο να αποφασίσει ή να απενεργοποιήσετε εντελώς τις κλήσεις συναρτήσεων. Αυτό σας δίνει λεπτομερή έλεγχο της συμπεριφοράς του μοντέλου.
Αποσφαλμάτωση σφαλμάτων 400 έναντι 500
Τα σφάλματα 400 υποδηλώνουν προβλήματα στην πλευρά του πελάτη, όπως μη έγκυρο JSON ή λείποντες παράμετροι. Τα σφάλματα 500 υποδηλώνουν προβλήματα στην πλευρά του διακομιστή, όπως εσωτερικά σφάλματα ή χρονικές εκτροπές. Η διάκριση μεταξύ των δύο σας βοηθά να εντοπίζετε σφάλματα πιο γρήγορα.
Για σφάλματα 400, ελέγξτε το μήνυμα σφάλματος που παρέχεται στην απόκριση. Συνήθως υποδεικνύει άμεσα το πρόβλημα. Για σφάλματα 500, δοκιμάστε ξανά το αίτημα μετά από μια μικρή καθυστέρηση. Αν το σφάλμα επιμένει, επικοινωνήστε με την υποστήριξη παρέχοντας το ID του αιτήματος.
Καταγράψτε τις λεπτομέρειες τόσο της αίτησης όσο και της απόκρισης για κάθε σφάλμα. Αυτό βοηθά στον εντοπισμό μοτίβων και επαναλαμβανόμενων προβλημάτων. Χρησιμοποιήστε μια υπηρεσία καταγραφής για να παρακολουθείτε τα σφάλματα με την πάροδο του χρόνου και να βελτιώσετε την ενσωμάτωση της API σας.
