APIドキュメントだけでは不十分
LLM APIを呼び出すのは簡単です。本番環境で一貫した、構造化された高品質な出力を得るのは困難です。プロンプトエンジニアリング、エラー処理、レート制限、コスト管理には深い専門知識が必要です。
コストはあっという間に膨らむ
適切なキャッシュ、トークン最適化、使用状況の監視がなければ、AI APIのコストは予測不能に増大しかねません。たった1つの暴走したループが、数時間で月間予算を使い果たすこともあります。
信頼できない出力
LLMはハルシネーションを起こし、不正な形式の応答を返し、モデルのバージョンによって挙動が変わります。検証パイプラインとフォールバック戦略がなければ、ユーザーはエラーや不正なデータを目にすることになります。