Prompt Caching

Prompt caching : diviser ses couts d'API LLM par 10

Vous envoyez le meme contexte de 50 000 tokens a chaque requete : un long system prompt, la documentation de votre application, des exemples few-shot, l'historique recent de la conversation. Sur 1 000 requetes par jour, c'est 50 millions de tokens d'entree facturees, soit environ 150 dollars par jour, soit 4 500 dollars par mois rien que pour le contexte que vous envoyez en boucle. Cette situation, courante en 2026, est exactement celle que le prompt caching resout. La technique, generalisee che