LLMの出力は非決定論的
GPTモデルは、同じ入力に対して常に同じ出力を返すとは限りません。構造化された出力の強制、JSONのパース、検証層がなければ、あなたのアプリケーションは予期しない応答で壊れます。
管理なしではコストが膨らむ
最適化されていないプロンプトやリトライループは、数時間でAPI予算を使い果たしかねません。トークンカウント、モデル選択ロジック、キャッシュがなければ、コストは予測不能で、必要額の5〜10倍になることもしばしばです。
レート制限とダウンタイム
OpenAIのAPIにはレート制限、時折の障害、変動するレイテンシーがあります。キューイング、指数バックオフ、フォールバックプロバイダーがなければ、APIが苦戦するとあなたのアプリケーションは失敗します。