社内でAIを使い始めると、問い合わせ対応はChatGPT、資料の要約はClaude、画像の処理はGeminiと、呼び出し先のAPIが増えていきます。契約もAPIキーの管理も別々になり、運用が少しずつ煩雑になります。
どこかのAPIが止まったとき、システムを直さなければ別のAIへ切り替えられません。誰がどれだけ使ったのかも、月末に請求書が届くまで分からないのが実情です。
こうした接続先と利用量の管理をまとめて引き受ける中継地点が、LLMゲートウェイです。
この記事では、月のAI利用額が数千円から数万円の中小企業を前提に、LiteLLM・OpenRouter・Amazon Bedrockを中心に比べます。
先に答えを書くと、多くの中小企業は、OpenRouterのような中継サービスで小さく始めるのが近道です。
顧客のデータを社外の中継業者に通せないならLiteLLMを自社で立て、すでにAWSを使っているならBedrockを選びます。
料金・仕様は2026年9月時点の公式情報です。
- LiteLLM・OpenRouter・Bedrockなど5製品の料金と違い
- 自動切り替え(フォールバック)の仕組みの違い
- 顧客データの通り道と、委託先が増えることの扱い
- LiteLLMで2026年に相次いだ脆弱性と、自社運用の注意
LLMゲートウェイの比較表
LLMゲートウェイは、提供の形で「自社で立てる」「中継サービスを使う」「クラウドの機能を使う」の三つに分かれます。違いが大きいのは、データがどこを通るかと、誰が保守するかです。
| 製品 | 提供の形 | データの通り道 | 費用 | 始めるまでの手間 |
|---|---|---|---|---|
| LiteLLM | 自社で立てるOSS | 自社のサーバーだけを通る | ソフトは無料。サーバー代と保守の手間 | サーバーの構築と設定が要る |
| OpenRouter | 中継サービス | OpenRouter社のサーバーを通る | 推論の上乗せなし。カードでのクレジット購入に5.5% | 登録すれば当日から使える |
| Amazon Bedrock | AWSの機能 | AWSの中で処理する | モデルごとの従量課金をAWSの請求にまとめる | AWSアカウントとモデルの利用設定 |
| Cloudflare AI Gateway | Cloudflareの中継機能 | Cloudflareのネットワークを通る | 主な機能は無料。一括請求はクレジット購入額の5% | Cloudflareのアカウントで設定する |
| Portkey | 中継サービス(本体はOSS) | Portkeyのサーバー、または自社 | 無料プランあり。有料は月49ドルから | 登録して設定する |
この分け方は目安で、PortkeyのようにOSSとクラウドの両方を持つ製品もあり、きれいに分かれるものではありません。
中小企業が最初に比べるのは、上の三つ(LiteLLM・OpenRouter・Bedrock)で足ります。
「誰が保守するか」と「データがどこを通るか」の二つで考えると、候補はすぐに絞れます。機能の多さで選ぶと、使わない機能の保守に追われます。
LiteLLM
- 料金
- ソフトは無料(OSS)。サーバー代と保守の手間
- 無料お試し
- 無料版で使える(SSO・監査ログは有償版)
- データの通り道
- 自社のサーバーだけを通る
- 向いている会社
- サーバーを保守できる担当者がいる会社
LiteLLMは、自社のサーバーに立てて使うオープンソースのゲートウェイです。社内のアプリとAIの間に置く中継役(LiteLLM Proxy)として使うのが一般的で、ソフト自体は無料です。
かかるのはサーバー代と、構築・保守の人件費です。サーバーは国内VPSの4GBプランで月2,000円台が目安で、APIの利用料はOpenAIやAnthropicへ直接払うため、手数料の上乗せはありません。
無料版(オープンソース版)でも、社内で使うための主な管理機能がそろっています。
- 仮想APIキーの発行と、キーごとの予算上限
- 呼び出し回数やトークン数のレート制限
- キーごとの利用額の集計
これらの管理機能を使うには、PostgreSQLのデータベースを別に用意します。
管理画面のSSO、監査ログ、キーの自動ローテーションは有償のEnterprise版の機能ですが、中小企業の社内利用なら無料版で足りることが多いです。
OpenRouter
- 料金
- 推論は各社の価格のまま。カードでのクレジット購入に5.5%(最低0.80ドル)
- 無料お試し
- 無料モデルは1日50回まで(10ドル以上の購入で1日1,000回)
- データの通り道
- OpenRouter社のサーバーを通る
- 向いている会社
- すぐに試したい、保守の担当者がいない会社
OpenRouterは、多くのAIモデルを一つの契約とAPIキーで呼べる中継サービスです。各モデルの利用料は提供元の価格のままで、上乗せはありません。
OpenRouterの収益は、前払いのクレジットを買うときの手数料です。
- クレジットカード:5.5%(最低0.80ドル)
- 暗号資産:5%
自社で契約したAPIキーを持ち込むBYOK(Bring Your Own Key)もあり、月25,000ドル分までは手数料がかからず、超えた分に5%がかかります。
月数万円の利用なら、実質の上乗せはクレジット購入時の5.5%ほどと考えてよいでしょう。
処理をEUや米国の中に限る設定は、手数料8%のBusinessプラン以上で使えます(2026年9月時点)。買ったクレジットは、購入から1年で失効させることがあると書かれているため、まとめ買いは控えめにします。
無料で使えるモデルもありますが、クレジットを買っていないと1日50回まで、10ドル以上買うと1日1,000回までです(2026年9月時点)。業務で使うなら、有料のモデルを前提に考えてください。
OpenRouter 公式サイト(openrouter.ai)
Amazon Bedrock
- 料金
- モデルごとの従量課金。AWSの請求にまとめる
- 無料お試し
- 初期費用なし、使った分だけ払う
- データの通り道
- AWSの中で処理。モデルの提供元とは共有しない
- 向いている会社
- 社内のシステムがすでにAWSで動いている会社
Amazon Bedrockは、AWSが提供する生成AIの基盤で、Claude・GPT・Llamaなど複数社のモデルを同じ仕組みで呼べます。
利用料はモデルごとの従量課金で、初期費用はなく、毎月のAWSの請求にまとめられます。
2026年6月にOpenAIのモデルが正式に使えるようになり、9月にはGPT-6 Astraも加わりました。一方、GoogleのモデルはGemmaだけで、Geminiは使えません(2026年9月時点)。
急がない処理はバッチにすると、対応するモデルで通常の半額になります。
モデルを自動で振り分けるプロンプトルーティング(1,000件あたり1ドル)もありますが、対応するのは同じ系統の古いモデルで、英語の指示に合わせて作られています。
AWSは、Bedrockで送ったプロンプトと回答をモデルの学習に使わず、モデルの提供元とも共有しないと説明しています。
Amazon Bedrock 公式サイト(aws.amazon.com)
Cloudflare AI Gateway
- 料金
- 主な機能は無料。一括請求はクレジット購入額の5%
- 無料お試し
- 無料プランで使える(記録の保存に上限)
- データの通り道
- Cloudflareのネットワークを通る
- 向いている会社
- すでにCloudflareでサイトを運用している会社
Cloudflare AI Gatewayは、Cloudflareのネットワーク上に置く中継の機能です。利用状況の集計、キャッシュ、レート制限は無料で使え、再試行とモデルの切り替えも設定できます。
記録(ログ)の保存には上限があり、2026年9月24日以降に初めてゲートウェイを作った場合は、Workers Logsの料金体系になります。
Cloudflareの請求にまとめる一括請求(Unified Billing)を使うと、クレジット購入額に5%の手数料がかかります(2026年9月時点)。
Cloudflare AI Gateway 公式ドキュメント(developers.cloudflare.com)
Portkey
- 料金
- 無料プランあり。有料は月49ドル(記録10万件)から
- 無料お試し
- 無料プランは月1万件の記録、保存3日
- データの通り道
- Portkeyのサーバー、または自社に立てたゲートウェイ
- 向いている会社
- 本番運用の記録と監視を重視する会社
Portkeyは、ゲートウェイ本体をオープンソースで公開し、記録や監視をクラウドで提供するサービスです。自動切り替え・負荷分散・再試行は、無料プランから使えます。
無料プランは月1万件の記録で、保存は3日です。有料のProductionプランは月49ドルで10万件の記録、超えると10万件ごとに月9ドルです(2026年9月時点)。
2026年5月に、セキュリティ企業のPalo Alto NetworksがPortkeyの買収を終えました。今後の料金や単体での提供がどうなるかは発表されていないため、長く使う前提なら動きを見てから決めます。
LLMゲートウェイで解決できること
AIの呼び出し先を一つにまとめると、社内のアプリは「社内AI」という一つの窓口を呼ぶだけで済みます。実際にどのモデルへ振り分けるかは、ゲートウェイの側で決めます。

呼び先が分かれていると困ること
AIの呼び出し先が分かれたままだと、次の三つの問題が起きます。
- 障害で業務が止まる:一社のAPIが止まると、コードを直して入れ直すまで切り替えられない
- 利用量が見えない:誰がどのモデルをどれだけ使ったか分からず、部署ごとの上限も決められない
- モデルを変えるたびに改修が要る:新しいモデルに替えるたびに、社内アプリのプログラムを直す
ゲートウェイを挟むと、この三つを一か所で引き受けられます。
なかでも自動切り替え(フォールバック)は、夜間や休日に担当者を置けない中小企業ほど効果が大きい機能です。

中小企業に要る機能は少ない
ネット上のLLMゲートウェイの比較記事は、多くが社員数百人以上の会社を前提に書かれています。
そこで重視される監査ログ、シングルサインオン(SSO・SCIM)、複数台での冗長化は、従業員が数十人ほどの会社では使わないことがほとんどです。
| 比べる項目 | 大企業の前提 | 中小企業の実情 |
|---|---|---|
| サーバーの構成 | 2台以上で止まらないようにする | まずは1台で足りる |
| 運用の体制 | 専任のIT・セキュリティ部門がある | 情報システムの兼任が1人、または外部委託 |
| セキュリティ | 監査ログ・SSOとの連携が必須 | 当面はAPIキーの管理で足りる |
| 利用の管理 | 部署・プロジェクトごとに権限と予算を分ける | 用途やアプリごとにキーを分ければ足りる |
| 月の利用額 | 月数十万円〜数百万円 | 月数千円〜数万円 |
月の利用額は、当社が見聞きする範囲の目安です。この規模で大企業向けの構成を組むと、AIの利用料より、サーバーの構築と保守の費用のほうが高くつきます。
自動切り替え(フォールバック)の違い
主力のモデルでエラーが出たときに、予備のモデルへ自動で回すのが自動切り替えです。どの製品にもありますが、切り替えの範囲と設定のしかたが違います。
| 製品 | 切り替えの仕組み |
|---|---|
| LiteLLM | 設定ファイル(config.yaml)で主・副・予備の順番を決める。呼び出し回数の超過(429)・サーバーエラー(5xx)・タイムアウトで切り替わる |
| OpenRouter | 同じモデルを出す別の事業者へ自動で回す。models の配列で、別のモデルへの切り替えも指定できる |
| Amazon Bedrock | 混雑時に別の地域へ振り分ける仕組み(クロスリージョン推論)が中心。別のモデルへの切り替えはアプリ側で組む |
| Cloudflare AI Gateway | 再試行とモデルの切り替えを設定できる |
| Portkey | 自動切り替え・再試行を無料プランから使える |
OpenRouterでは、実際に回答したモデルの単価で請求されます。単価の高いモデルへ切り替わると、その分だけ費用が上がる点に気をつけてください。
中継サービスそのものが止まることもあり、OpenRouterは2026年2月に二度、30分余りにわたってAPIの多くが失敗したと公式ブログで説明しています。
中継サービスに一本化するなら、そこが止まったときの手順も決めておきます。
当社もLiteLLMで主モデルのAPIキーをわざと無効にして試し、副モデルへの切り替えが動くことを確かめました。ただ、失敗を待つ時間が毎回上乗せされ、1回の呼び出しに約12秒の遅れが出ています。
設定を書いただけでは、切り替えが思ったとおりに動くとは限りません。本番に入れる前に、実際にエラーを起こして確かめてください。
止まったときの業務の備えと検証で分かった落とし穴はChatGPT・Claudeの障害への備えに、設定ファイルと測った数字はLiteLLM Proxyでフォールバックを実装した記録にまとめています。
顧客データの通り道と委託先
顧客の個人情報や社外秘のデータをAIに渡すなら、データがどこを通るかが、最も大事な選び方の基準になります。

| サービス | データと記録の扱い | 補足 |
|---|---|---|
| LiteLLM | 自社のサーバーにだけ残る | 記録の保存期間や、プロンプトを伏せるかを自社で決められる |
| OpenRouter | 既定ではプロンプトと回答を記録しない | 記録を許すと利用料が1%引き。送り先の事業者を絞る設定が要る |
| Amazon Bedrock | AWSの中で処理し、学習に使わず提供元と共有しない | 処理する地域を限る設定(地域内のクロスリージョン推論)がある |
OpenRouterで先に済ませる設定
OpenRouterを業務で使うなら、管理画面のプライバシー設定で、次の二つを先に済ませてください。
- データを保持しない事業者に限る:ZDR(Zero Data Retention)を、全体かモデルの系統ごとに有効にする
- 学習に使う事業者を外す:プロンプトを学習に使う事業者へ送らない設定にする
設定しないと、同じモデルを出している別の事業者へ振り分けられ、保存や学習の方針がばらばらになります。ZDRはWeb検索などの追加機能には効かないため、そうした機能を使うときは個別に確かめます。
委託先が一社増えることの扱い
OpenRouterのような中継サービスを使うと、データを預ける先(委託先)が一社増えます。顧客から預かったデータを扱う仕事では、プライバシーポリシーの見直しや、顧客への説明が要ることがあります。
委託先の持ち主が変わることもあります。2026年8月にStripeがOpenRouterの買収で合意したと発表し、OpenRouterは名前も製品もAPIも変わらないと説明しています。
Bedrockでも、データはAWSという社外の事業者に渡ります。すでにAWSを委託先として説明しているなら、新たに増える先はありません。
どのデータを社外のAIに渡してよいかは、生成AIに社内データを渡していい範囲で整理しています。
LiteLLMを自社で運用するときの注意
データを守るためにLiteLLMを自社に立てると、オープンソースの製品の保守とセキュリティを、自社で引き受けることになります。2026年は、その重さがはっきり表れた年でした。
相次いだ脆弱性と侵害
2026年3月24日、Pythonのパッケージの配布元(PyPI)に、悪意のあるコードを仕込んだLiteLLMのv1.82.7とv1.82.8が公開されました。
環境変数やSSHの鍵、クラウドの認証情報を盗む仕組みで、公開されていたのは約40分です。
LiteLLMの公式発表では、公式のDockerイメージで動かしていた利用者は影響を受けていません。影響を受けたのは、バージョンを固定せずにpipで入れた環境などです。
その後も、LiteLLMのプロキシには次の脆弱性が公表されています。
| 公表の時期 | 内容 | 直った版 |
|---|---|---|
| 2026年4月 | JWT認証を有効にした環境での認証の回避、設定変更の権限の不備など(CVE-2026-35030ほか) | v1.83.0 |
| 2026年4月 | APIキーを確かめる処理のSQLインジェクション。認証なしで突ける(CVE-2026-42208) | v1.83.7 |
| 2026年4月 | MCPのテスト用の窓口で、ログイン済みの利用者がコマンドを実行できる(CVE-2026-42271) | v1.83.7 |
| 2026年5月 | Hostヘッダーの細工で、認証なしに管理用の窓口へ入れる(CVE-2026-49468) | v1.84.0 |
| 2026年7月 | MCPの窓口で、偽の認証情報のまま接続できる(CVE-2026-59822) | v1.84.0 |
CVE-2026-42208は、公表から間もなく、プロキシに保存された各社のAPIキーを狙う攻撃が観測されました。
CVE-2026-42271は2026年6月に、CVE-2026-59822は9月に、米国のCISAが悪用を確認した脆弱性の一覧に加えたと報じられています。
2026年8月にも、ログイン済みの利用者が各社のAPIキーを外へ持ち出せるおそれのある問題が2件公表されました。
ゲートウェイには各社のAPIキーが集まるため、一か所破られると、すべてのAIの契約を使われるおそれがあります。
自社で運用するときの決まり
自社でLiteLLMを動かすなら、少なくとも次の決まりを守ります。
- v1.84.0より前の版なら、すぐに上げる
- Dockerイメージに
:latestを使わず、バージョンとダイジェストを固定する - 公式のセキュリティ情報を確かめ、署名を照合してから上げる
- 管理用の4000番ポートを、社外へ直接開けない
- アプリには仮想キーだけを渡し、マスターキーは配らない
- 更新のたびに、本番の前に疎通と切り替えの試験をする
v1.83.0以降の公式のDockerイメージには、cosignによる署名が付いています。社内に脆弱性の管理を担う人がいない場合は、この手間を払い続けられるかを先に考えてください。
AIに渡すキーや権限を小さく分ける考え方は、AIエージェントに社内システムの権限を渡すときの設計でまとめています。
一台構成は単一障害点になる
LiteLLMを1台のサーバーで動かすと、そのサーバーが止まったときに社内のAI機能がすべて止まります。これを単一障害点(SPOF)と呼びます。
止まっては困る業務に組み込むなら、2台構成にするか、中継サービスやクラウドの機能を選ぶことを考えてください。
自社に合ったゲートウェイの選び方
迷ったときは、次の三つの質問に順に答えると方向が決まります。

三つの質問で決める
上の図の順に、質問に答えていきます。
- 顧客のデータを社外に出せないか?:出せないなら、LiteLLMを自社のサーバーに立てる
- すでにAWSを使っているか?:使っているなら、Amazon Bedrock。請求も権限の管理(IAM)もまとまる
- システムが三つ以上か、月数万円を超えるか?:当てはまればLiteLLM、当てはまらなければOpenRouter
当社が受託開発でお客様のシステムを組むときは、基本的にLiteLLMの自社構築を提案しています。APIキーの管理と請求の名義をお客様の側に置いたまま、当社がデータや鍵を預からずに済むためです。
LiteLLMへ移る目安
社内で使うだけなら、最初から無理にLiteLLMを立てる必要はありません。まずOpenRouterなどの中継サービスで小さく始め、必要になってから自社構築へ移るのが、安全で費用も抑えられる進め方です。
次のどれかに当てはまったら、移る時期です。
- 顧客との契約で、中継業者にデータを通せない
- AIを呼ぶ社内のシステムやサービスが三つ以上になった
- 月の利用額が数万円を超え、部署ごとの予算管理が要る
費用の管理だけなら、ゲートウェイを入れる前に、各社の管理画面の上限でもできます。各社のAPI料金と上限の設定は、次の記事でまとめています。

向き・不向きの一覧
主な三つのサービスについて、向いている使い方と向いていない使い方をまとめます。
| サービス | 向いている使い方 | 向いていない使い方 |
|---|---|---|
| LiteLLM | 複数のシステムから共通で使う、用途や部署ごとに予算の上限を決める、社外の中継業者にデータを出せない | サーバーやDockerを保守できる人が社内にいない |
| OpenRouter | すぐにAIの検証や社内展開を始めたい、多くのモデルを試したい、環境づくりの手間をなくしたい | 厳しく管理する個人情報や機密データを扱う、委託先を増やせない |
| Amazon Bedrock | 社内のシステムがすでにAWSで動いている、支払いの窓口をAWSにまとめたい | Geminiを使いたい |
まとめ
- 違いは機能の多さより、誰が保守するかとデータがどこを通るか
- まず中継サービスで小さく始め、データや規模の条件でLiteLLMへ移る
- LiteLLMを自社で動かすなら、版の固定と更新、切り替えの試験を欠かさない
LLMゲートウェイの違いは、機能の有無よりも、誰が保守を担うかと、データがどこを通るかの二つに集約されます。中小企業なら、まず手軽な中継サービスで小さく始め、業務への効果を確かめるのが近道です。
扱うデータ、システムの数、月の費用が変わったときに、LiteLLMの自社構築へ移ります。導入後に見る数字は、導入後の月次点検でまとめています。
どれを選んでも、実際にエラーを起こして自動切り替えが動くかを確かめる試験だけは、本番の前に必ず行ってください。
どのモデルを主に使い、どれを予備にするかは、業務タスクで3社を比べた次の記事が参考になります。



