多くのチームは、アプリケーションのコードからモデルプロバイダーを直接呼び出しています。API キーは環境変数に置き、SDK の呼び出しは三行で済み、初回から動きます。Cloudflare AI Gateway が存在するのは、その次に起きることのためです。請求書が届いても、どの機能がその金額を生んだのか誰も言えません。プロバイダーが不調な午後を迎えると、あなたの製品も道連れになります。システムプロンプトを書き換えても、以前のものが何を返していたかの記録は残りません。
ゲートウェイとは、アプリケーションとプロバイダーのあいだに置くプロキシです。すべてのリクエストがそこを通るので、すべてのリクエストを数え、記録し、キャッシュし、レート制限をかけ、プロバイダーが落ちたときには別の宛先で再試行できます。放っておけば手作業で、しかも遅れて解決されることになる三つの問題に対する、最も安価な構造的な手当てです。
以下では、何をするのか、単に観測するだけでなく何を強制できるのか、金額とミリ秒で何を払うのか、そして正直なところ限界はどこにあるのかを見ていきます。
モデル API の前にゲートウェイを置くと、本当に費用は下がるのか。 直接には下がりません。Cloudflare AI Gateway の中核はすべてのプランで無料で、推論に上乗せもしないので、節約は遮断した分ではなく、見えるようになった分から生まれます。機能ごとの費用配賦は製品のどの部分が高いのかを教え、キャッシュは安全な場面で同一の呼び出しの繰り返しを消し、フォールバックのルーティングはプロバイダーの障害があなたの障害になるのを防ぎます。予算の強制もありますが、予算が尽きたときに何を起こすかは、設定ではなく製品の判断です。
直接のモデル呼び出しでは答えられない三つの問い
ゲートウェイを入れる理由は、どれも結局、SDK を直接呼ぶかぎり答えの出ない三つの問いのどれかに行き着きます。可視性と制御という抽象的な言い方は、その作業を上に説明しなければならない人を誰も説得しません。
請求書を誰も按分できない
トークン単位の課金は従量制で、プロバイダーの請求書は合算されます。手に入るのは API キーごとの月次合計であって、機能ごとの合計ではありません。要約の機能とチャットアシスタントと夜間の分類ジョブが一つのキーを共有していれば、請求書はそのどれが三倍になったのかを教えてくれません。よくある対応は機能ごとにキーを分けることで、これは機能が十一個になり、そこにキーの入れ替え方針が加わるまでは機能します。
障害を誰も再現できない
アプリケーションのコードのなかで呼び出しが失敗したとき、残るのはロガーが拾ったものだけで、たいていはステータスコードと切り詰められたメッセージです。正確なプロンプトも、応答したモデルのバージョンも、どれだけ待って諦めたのかも、まず残りません。一日たってから障害を再現しようとすると、入力についての当てずっぽうになります。そのあいだにも、プロバイダーの障害はそのまま利用者まで届きます。
暴走したループを止めるものがない
自分で再試行するエージェント、失敗のたびに再配信するキューのコンシューマー、終了条件をモデルが満たされていないと判定し続けるループ。どれも誰かが気づく前に何千回もの呼び出しを生みます。経路のどこかで数えているものがなければ、最初の合図は請求書です。利用者ごとの上限も強制的な停止も、経路上の部品が強制しないかぎり存在せず、アプリケーションのコードはその置き場所として不向きです。すべての呼び出し箇所が忘れずに実装しなければならないからです。
Cloudflare AI Gateway とは何か、リクエスト経路のどこに座るのか
Cloudflare の AI Gateway の概要 は、アプリケーションと AI モデルのプロバイダーのあいだに座り、利用状況を監視し、アプリケーションの拡張のしかたを管理できるようにするサービスだと説明しています。機能は分析、ログ記録、キャッシュ、レート制限、そしてフォールバックを伴うリクエストの再試行で、Cloudflare のすべてのプランで使えます。Cloudflare は一行のコードで始められると謳っており、統合の形を見れば、それがほぼ本当だとわかります。
統合はベース URL の変更だけ
SDK をプロバイダーに向ける代わりに、アカウント識別子とゲートウェイ識別子とプロバイダー名を含むゲートウェイのアドレスに向けます。Cloudflare は OpenAI 向けの形 を https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai と文書化しており、クライアントを構築するときの baseURL として渡します。モデル名もパラメーターもストリーミングも応答の解析も、そのままで構いません。Cloudflare の プロバイダー一覧 は同じ形で二十数種のサービスを扱い、そこには OpenAI、Anthropic、Google Vertex AI、Amazon Bedrock、Azure OpenAI、Mistral、Groq、DeepSeek、xAI、そして Cloudflare 自身の Workers AI が含まれます。
その形が意味すること
導入は本当に安く済みます。サービスごとに設定値が一つ、元に戻せば取り消せるので、プロジェクト計画なしに試せる数少ないインフラ変更のひとつです。
一方で、プロバイダーのキーは Cloudflare を経由するようになります。プロキシがそれを転送しなければならないからで、保存済みのキーや Cloudflare 管理の資格情報に移らないかぎりそうなります。これは細部ではなく、信頼に関する判断です。
そして提供されるものはすべて、プロキシに見えるものの範囲に縛られます。見えるのはリクエストとレスポンスであって、アプリケーションの意図ではありません。だからこそ費用配賦は、呼び出しが何のためだったかをゲートウェイに推測させるのではなく、こちらがリクエストにラベルを付ける作業になります。
費用を減らすのは分析とログ記録のほう
ゲートウェイはすべてのリクエストを数えます。Cloudflare の ログ記録のドキュメント は、一件のエントリが持つ内容を挙げています。利用者のプロンプト、モデルの応答、プロバイダー、タイムスタンプ、リクエストの状態、トークンの使用量、費用、所要時間、そしてクライアントのユーザーエージェントです。月ごとではなくリクエストごとで、しかも問い合わせできます。
なぜ強制の機能ではなくこちらに金額が乗るのか、率直に書きます。支出を遮断して浮くのは止めた呼び出しの分だけで、それには上限があります。支出の行き先を知ることは作るものを変えるので、そちらに上限はありません。
費用配賦は自動ではありません。カスタムメタデータで機能名やテナントといった独自のラベルを付けておけば、分析でそれごとに集計できます。それを省けば手に入るのは合計だけで、それはもう請求書がくれていたものです。
キャッシュと、キャッシュヒットが製品を壊す場面
キャッシュは、間違った理由で有効にされることが最も多く、そして製品を黙って壊す力が最も大きい機能です。
キャッシュキーはどう作られるか
Cloudflare の キャッシュのドキュメント は、キーをプロバイダー、エンドポイント、モデル、認証ヘッダー、そしてリクエストボディ全体の SHA-256 ハッシュとして説明しています。そのすべてが完全に一致すればヒット、それ以外はミスです。つまりヒットにはバイト単位で同一のリクエストが要り、履歴を積み上げていくチャットのエンドポイントでは、最初のターンを過ぎると滅多に起きません。有効期間の最小は 60 秒、最大は一か月です。リクエストごとの制御は cf-aig-cache-ttl、cf-aig-skip-cache、cf-aig-cache-key で行い、cf-aig-cache-status が HIT か MISS を返すので、実際のヒット率を測れます。
ヒットが安全な場合と、そうでない場合
同じ入力からは同じ出力が返るべきで、しかも古い答えでも構わない場面では、ヒットは安全です。分類、構造化された抽出、固定文字列の翻訳、変更のない文書の埋め込み、評価用のトラフィックがそれにあたります。製品の価値がばらつきに依存する場面では安全ではありません。二人の利用者が同じ質問をして、二人目が一人目のために生成された応答を受け取るなら、temperature の設定は飾りです。
より悪い失敗はプライバシーのほうです。リクエストボディに利用者を区別するものが何も入っていなければ、キャッシュされた応答が利用者の境界を越えることがあり、これは品質の問題ではなく情報の開示です。なお、キャッシュの対象はテキストと画像の応答だけです。
レート制限、再試行、フォールバックのルーティング
この三つは信頼性の機能としてまとめて語られます。費用を意味のある形で縛るのは、そのうち一つだけです。
レート制限が数えるのはリクエストで、トークンではない
Cloudflare は 固定ウィンドウとスライディングウィンドウ を用意しており、上限を超えたリクエストには 429 が返ります。数えられているのが何かに注意してください。リクエストです。とても大きなコンテキストを載せた一回の呼び出しは短い呼び出しよりはるかに高くつきますが、制限器はその二つを区別できません。レート制限が守ってくれるのは暴走したループと悪用されたエンドポイントからであって、高価なプロンプトからではありません。これを費用の制御だと思い込むのが、よくある間違いです。
再試行とタイムアウト
Cloudflare の リクエスト処理のヘッダー では、cf-aig-max-attempts で最大 5 回の試行、cf-aig-retry-delay で最大 5000 ミリ秒の待ち時間、cf-aig-backoff で一定、線形、指数のいずれかの戦略を指定できます。cf-aig-request-timeout は応答の最初の部分が届いた時点から測られるので、ストリーミングの呼び出しでは、全体の所要時間の上限ではなく最初のバイトまでの時間の上限になります。最後の試行では、ゲートウェイはどれだけかかってもリクエストが完了するまで待ちます。
フォールバックのルーティングは形が変わった
プロバイダーのオブジェクトの配列を受け取り、失敗するたびに下へ辿っていた Universal Endpoint は非推奨になりました。Cloudflare は現在、新しい統合を OpenAI 互換のエンドポイントへ、そしてフォールバックと再試行と条件付きのルーティングについては Dynamic Routing へ誘導しています。動的ルートは名前とバージョンを持つフローで、画面上でも JSON でも組み立てられ、モデルのノード、リクエストボディやヘッダーやメタデータで分岐する条件ノード、A/B テスト用の割合ノード、そして超過したときにフォールバックへ振り向けるレート制限と予算上限のノードでできています。呼び出すときは、モデル名を書く場所にルート名を書きます。
入るものと返ってくるものを検査する
プロキシはやり取りの両側を持っているので、それを評価できます。Cloudflare の Guardrails は利用者のプロンプトとモデルの応答を捕まえ、内容を確認対象として印を付けるか、そこから先へ進むのを止め、どのプロバイダーが答えたかによらず一つのポリシーを適用します。
ポリシーをコードではなく経路に置くべき理由は、アプリケーション側の内容審査が呼び出し箇所ごとに一度ずつ書かれる必要があり、先週追加された呼び出し箇所こそがそれを忘れる場所だからです。代償は、検査そのものが推論だという点です。Guardrails は Workers AI のトークン単位の利用として課金されるので、価格は検査する対象の長さに比例します。データ損失防止のスキャンは、すべてのプランで無料です。
2026 年 8 月の Agents Week で何が変わったか
Cloudflare は最初の Agents Week を 2026 年 8 月 3 日から 7 日まで開催し、最終日に Workers AI と AI Gateway の統合 を単一のコントロールプレーンとして公表しました。出荷されたものと、告知されただけのものを分けて読む必要があります。
出荷されたもの。バインディングが二つから一つになり、env.AI.run() が Workers AI のモデルと外部のプロバイダーの両方を扱えるようになりました。ゲートウェイ経由のルーティングは Workers AI では任意ではなく既定になり、gateway: { id: 'default' } を指定すれば初回の利用時にゲートウェイが自動で作られ、ほかに何も変えずにリクエストのログ記録、トークンの追跡、費用配賦が手に入ります。クレジットはプロバイダーをまたいで使えるようになったので、Workers AI を OpenAI や Anthropic と同じ前払い残高から支払えます。
出荷されなかったもの。モデルを指定するとプラットフォームがプロバイダーを選ぶモデル優先のルーティングは、利用できるようになったのではなく次に来る予定であり、プロンプトを分類するスマートルーターは社内での試験段階です。これは課金とバインディングとダッシュボードの整理統合であって、新しい能力ではありません。すでにゲートウェイなしで エッジで Workers AI を呼んでいたなら、これからは既定で可観測性が付いてきます。
Cloudflare AI Gateway の費用
Cloudflare の AI Gateway の料金ページ は、現在利用できる中核の機能は無料で提供されると述べており、そこにはすべてのプランでのダッシュボードの分析、キャッシュ、レート制限が含まれます。以下の数字はすべて Cloudflare が公表している米ドル建ての価格で、Cloudflare が公表している通貨のまま記載します。
課金が実際に発生する場所
永続ログの利用そのものは無料ですが、プランごとに上限があります。Workers Free ではすべてのゲートウェイ合計で 100,000 件、Workers Paid ではゲートウェイあたり 1,000万件です。そのログを外部へ書き出す Logpush は有料プランの機能で、月あたり 1,000万件まで、それを超えると追加の百万件ごとに 0.05ドルがかかります。Workers AI そのものは その料金ページ によると、1 日あたり 10,000 ニューロンまで無料で、有料プランではそれを超えた分に 1,000 ニューロンあたり 0.011ドルが課されます。ニューロンは、GPU の計算量に対する Cloudflare の単位です。
統合請求の手数料は 5 パーセント
自分のプロバイダーのキーではなく Cloudflare 管理の資格情報を使う場合、クレジットの購入には 5 パーセントの手数料が乗ります。Cloudflare 自身の例では、100ドルのクレジット購入が 105ドルの請求になります。推論そのものは上乗せなしでそのまま通されます。自分のキーを持ち込めば統合請求は適用されません。プロバイダーの認証情報や保存済みのキーを載せたリクエストは、その仕組みを迂回するからです。
費用の制御を正しくやる
ゲートウェイが確実に強制できるのは三つです。リクエストの流量、動的ルートのなかの予算上限、そしてリクエストをキャッシュから返すかどうかです。それ以外にやっていることは、すべて測定です。この二種類を混同することが、導入してあらゆる項目に印を付けたのに、それでも請求書に驚かされる理由です。
厳格な予算上限は、設定である前に事業の判断です。上限に達したときには何かが起きなければならず、どの選択肢にもそれぞれの悪さがあります。リクエストを失敗させれば、最後に尋ねた人にとって製品が劣化し、それは不具合のように見えます。安いモデルへ落とせば、品質が黙って下がります。待ち行列に入れれば、費用の問題が遅延の問題に化けます。そのどれを選ぶかが、本当の仕事です。
請求書に届く節約は、たいてい強制ではなく可観測性から来ます。支出が機能ごとにまとまると、高くついているものはほぼ必ず、モデルを変えずに直せます。毎ターン送られる大きすぎるシステムプロンプト、要約を回していけば済むのに毎回送り直される会話の全履歴、成功する見込みのなかった失敗に向かって撃ち続ける再試行のループ。ログはそのすべてを見つけます。レート制限はどれも見つけません。
あなたが足している遅延
ホップが一つ増えるのは無料ではありませんし、そうでないふりをすることが、良い判断を悪い理由で下してしまう道です。リクエストは Cloudflare のデータセンターでいったん終端され、そこで処理されてからプロバイダーへ転送されるので、これまで払っていなかった TLS のハンドシェイクとネットワークの一区間が加わります。
通常の場合、それは包み込んでいる対象に比べれば小さな値です。チャットの補完は数百ミリ秒から数秒かかり、その大半は生成の時間です。ゲートウェイは Cloudflare のエッジのネットワーク上にあるので、最初の区間は呼び出し元の近くで終端されます。2 秒かかる補完に対して、この上乗せはノイズです。
ノイズでなくなるのは、短くて安くて量の多い呼び出しです。0.1 秒を大きく下回って返ってくる埋め込みのリクエストは、固定の上乗せが目に見える割合になる例です。もう一つはストリーミングで、利用者が体感する数字は最初のトークンまでの時間なので、そのトークンが届く前に足したものはすべて、いちばん大事な指標に乗ります。ゲートウェイが記録する所要時間を、同じ呼び出しを直接行った場合と突き合わせて測ってください。
複数プロバイダー戦略と、逃れられないロックイン
売り文句は、ゲートウェイがプロバイダーを交換可能にするというもので、転送の層に限ればそれは本当です。OpenAI 互換のエンドポイントはリクエストの形を一つにまとめ、動的ルーティングはデプロイなしのフェイルオーバーを与え、モデル名の変更はコードではなく設定になります。
高くついていたのは、そもそも転送の層ではありませんでした。モデルの乗り換えが高いのは、モデルの振る舞いが違うからです。あるモデルに対して何か月もかけて調整したシステムプロンプトは、別のモデルでは違う出力を返します。ツール呼び出しの形式も信頼度も違います。拒否の挙動も違うので、以前は通っていた内容が断られます。要求した JSON の形にどれだけ従うかも違い、あるモデルの癖に合わせて書いた解析器は、別のモデルでは壊れます。コンテキストの窓の大きさも違います。
買えるのは、乗り換えが配管工事のスプリントではなく評価の午後になること、そして障害を受けた自動切り替えが、自分で作らなくても存在することです。それは持っておく価値がありますが、可搬性ではありません。二次的な依存が一つあり、名前を付けておく価値があります。ゲートウェイはすべてのモデル呼び出しの経路に座るようになったので、その可用性があなたの可用性になります。これは Cloudflare Workers と AWS Lambda を比べたときに検討したのと同じ取引です。
プロンプトを記録することは個人データを処理すること
ここは読み飛ばされる節であり、法的な露出が付いている節でもあります。ログ記録はゲートウェイごとに既定で有効で、一件のエントリには利用者のプロンプトとモデルの応答が丸ごと入ります。利用者が自分自身について何かを打ち込んだり、文書を貼り付けたり、医療や金銭の状況をアシスタントに説明したりすれば、その内容は第三者のログ保管庫に置かれた個人データであり、英国 GDPR のもとで、あなたは引き続きその管理者です。
アプリケーションを出る前に伏せる
何かを取り除く場所として確実なのは、送る前だけです。ゲートウェイには、メタデータを残しつつ本文を落とす cf-aig-collect-log-payload: false と、何も記録しない cf-aig-collect-log: false があります。ただしデータ最小化とは、そもそも必要以上に集めないという話なので、持続する手当ては上流にあります。口座番号、識別子、そしてモデルが必要としない自由記述の項目は、リクエストがプロセスを出る前に落としてください。
保存期間は自分で決めなければならない
保存の制限 に関する ICO の手引きは、固定の期間を定めていません。求めているのは、必要な期間を超えて個人データを保持しないこと、選んだ期間を正当化できること、標準的な期間を定めた方針を持つこと、そして見直したうえで、不要になったものを消去するか匿名化することです。プランごとの上限が付いたログ保管庫は、保存方針ではありません。上限は、正当化された期間ではなく保管容量の限界だからです。
代替案を公平に並べる
本物の代替案は三つあり、選択のほとんどは、誰がそれを運用するのかという話です。
自前で立てるオープンソースの LLM プロキシは、同じリクエスト経路を与えつつ、ログを自分の管理下のインフラに置きます。プロンプトの機微さそのものが問題であるときには、これが正解です。代償は、すべてのモデル呼び出しの重要な経路の上にある部品を運用することです。
LLM の可観測性を専門とするベンダーは、評価、プロンプトのバージョン管理、トレースの検査で、より深いところまで行きます。問題が、費用が不透明なことではなく出力が間違っていることなら、そちらのほうが合いますし、この二つは排他ではありません。
必要が狭い範囲に限られるなら、自作にも理があります。リクエスト、レスポンス、トークン数、機能のラベルを既存の可観測性の基盤に記録するだけのラッパーは、おそらく二日ほどの作業で、費用配賦の問いには答えられます。安く手に入らないのは、正しいキーを持つキャッシュと、プロバイダーをまたぐフォールバックです。
原則はこうです。支出の行き先を誰も知らないなら、ゲートウェイが最も早い手当てで、無料の枠がそれを証明してくれます。プロンプトが自分のインフラから出てはいけないなら、自前で立ててください。出力が間違っているなら、どんなゲートウェイも助けにならず、必要なのは評価の道具です。
実装に何がかかり、何が返ってくるか
すでに一つのプロバイダーを呼んでいる単一のサービスなら、半日です。ゲートウェイを作り、設定のなかのベース URL を変え、切り戻しがリリースではなく環境変数で済むようにフラグの後ろへ配置し、ログが溜まるのを眺め、ストリーミングが今までどおり動くことを確かめます。
本物の製品なら、エンジニアの工数で 3 日から 5 日を見込んでください。その大半はゲートウェイの作業ではありません。実際に尋ねることになる問いに費用配賦が答えられるよう、メタデータのスキーマを決めること。定期実行のジョブや、一年間誰も開いていないコードまで含めて、すべての呼び出し箇所を洗い出すこと。どのエンドポイントなら安全にキャッシュできるかを見きわめること。そして伏せ字の処理を書くこと。フォールバックのルーティングには、もう一日を足してください。フォールバック先のモデルが受け入れられる出力を出すと試して確かめてはじめて、フォールバックは持つ価値が出るからです。
返ってくるものは地味です。請求書に驚かされなくなり、多くのチームにとっては、それが節約の絶対額に勝ちます。プロバイダーの障害は、事故ではなく品質を落とした応答になります。最も得をするのは エージェントのワークフロー を作っているチームです。利用者の一つの操作が数十回のモデル呼び出しに広がる場面こそ、見積もりが現実から離れる場所だからで、これは AI エージェントの費用と失敗のしかた で扱った型でもあります。
本番を壊さずに導入する
うまくいく手順は、わざと退屈です。ログ記録だけを有効にし、ほかは何も有効にしないままゲートウェイを経路に置きます。一週間分のデータを集めます。費用配賦を読みます。そのうえで、データが正当化する機能だけを有効にし、キャッシュは最後に、しかも繰り返しの答えがなぜ正しい答えなのかを言葉で説明できるエンドポイントに限って有効にします。
Mecanik はこの層の構築と運用を AI 統合 の仕事の一部として引き受けており、OpenAI API 連携 のサービスがプロバイダー側を担当します。案件はほぼ必ず同じ形で始まります。一週間のログ記録だけを行い、ほかは何も変えません。費用配賦のデータが、たいてい優先順位を並べ替えるからです。
よくある質問
Cloudflare AI Gateway は無料ですか。 中核の機能はすべてのプランで無料で、Cloudflare の料金ページはそれを、ダッシュボードの分析とキャッシュとレート制限を含むものとして説明しています。データ損失防止のスキャンも無料です。課金は周辺で発生します。Logpush は有料プランの機能で、Guardrails は Workers AI のトークン単位の推論として課金され、ログの保管はログ一件ごとの価格ではなくプランごとの上限で区切られます。
AI ゲートウェイはモデル呼び出しに遅延を足しますか。 足します。TLS のハンドシェイクとネットワークの一区間が増えます。数百ミリ秒から数秒かかるチャットの補完に対しては、その上乗せはたいてい無視できます。目に見えるようになるのは、埋め込みや小さな分類のように短くて量の多い呼び出しと、利用者が体感する指標が全体の所要時間ではなく最初のトークンまでの時間になるストリーミングの応答です。
LLM の応答をキャッシュしてはいけないのは、どんなときですか。 製品の価値が応答のばらつきに依存しているとき、そしてリクエストボディが利用者を区別していないときです。Cloudflare はキャッシュキーをプロバイダー、エンドポイント、モデル、認証ヘッダー、リクエストボディ全体から作るので、ヒットはバイト単位で同一のリクエストを意味します。キャッシュが向くのは分類、抽出、埋め込みであって、利用者ごとに違うべき会話の応答ではありません。
ゲートウェイがあれば、モデルのプロバイダーを簡単に乗り換えられますか。 転送の層に限れば、乗り換えられます。リクエストの形は一つ、設定の変更は一か所、デプロイなしで切り替えられます。ただし乗り換えの高い部分には手が付きません。あるモデルに合わせて調整したプロンプトは別のモデルでは違う振る舞いをし、ツール呼び出しの形式も拒否の挙動も違い、JSON への従い方も違い、コンテキストの窓の大きさも違います。ゲートウェイが取り除くのは配管であって、評価の作業ではありません。
Cloudflare は 2026 年 8 月に何を変えましたか。 2026 年 8 月 7 日、Agents Week の最終日に、Cloudflare は Workers AI と AI Gateway を単一のコントロールプレーンへ統合しました。Workers AI と外部のプロバイダーの両方を扱う一つの AI バインディング、Workers AI での既定のゲートウェイ経由ルーティング、そして一つの前払い残高からプロバイダーをまたいで使えるクレジットです。モデル優先のルーティングは、出荷ではなく次に来るものとして告知されました。
コメント