自社LLM基盤の構築判断 — 機密データを扱う業務でAPIと自社ホスティングを分ける軸

「APIか自社ホスティングか」という問いは、技術の問いではなく情報統制の設計です。生成AIの活用が業務の中枢に入るにつれ、どの業務データをどこに送るかを経営が定義しなければ、IT部門はセキュリティ規程と利便性の板挟みのまま動けません。正確な問いは「APIか自社か」ではなく「どの業務データを自社ネットワークの外に出してよいか」という線引きの設計です。この判断を後回しにしたまま全社展開に踏み出す企業が、現場の野良利用やシャドーAIという形で後から痛手を受けています。

クラウドAPIを提供する主要ベンダーは、エンタープライズ契約において「顧客データを自社モデルの学習に使わない」と約束しています。しかしこれは「データが自社ネットワークの外に出ない」ことを意味しません。ゼロデータリテンション条項があっても、入力データはいったんベンダーのインフラを経由して推論処理されます。金融・医療・法務のような規制業種では、外部送信そのものが社内の情報セキュリティポリシーや業法上の制約になるケースがあり、「ベンダーが安全と言っている」だけでは社内承認も監査対応も通りません。

実務での第一歩は、業務を「外部API可」「グレー」「外部NG」の3ゾーンに分類することです。議事録の自動化・受発注処理・社内FAQへの回答といった汎用業務は、一般的に外部API利用の障壁が低い。一方、未公開のM&A情報・特許出願前の設計データ・患者の医療情報・特定顧客の信用情報は、外部送信自体が規程や法規制で制限される「外部NG」に分類されます。グレーゾーンには文脈によって重要度が変わる営業メモや内部報告書が含まれ、個人情報のマスキング処理を介することで「外部API可」に転換できるケースもあります。

自社ホスティングの主な障壁はコストと人材です。GPU（NVIDIA H100）は1基400〜500万円程度で、本格的な推論基盤を構成するとハードウェアの初期費用だけで数千万円から1億円規模になります。これにML人材の人件費・電力費・保守コストが固定負担として乗るため、クラウドAPIとのTCO比較では、自社ホスティングが有利になるのは利用量が相当規模に達した場合に限られます。多くの企業では、利用量が増加する前に変動費型のAPIを選ぶ方が合理的であり、初期の段階で大規模なGPU投資に踏み込む判断は慎重に検討する必要があります。

完全な自社ホスティングとパブリックAPIの間に、第三の選択肢があります。主要クラウドベンダーが提供するVNet統合・プライベートエンドポイント構成では、データが公共のインターネットを経由せずベンダーのインフラ内で推論処理されます。フロンティアモデルの性能を維持しながら通信経路の統制と監査ログを確保できるため、「外部NGには自社ホスト、グレーにはプライベートエンドポイント、外部可の業務にはパブリックAPI」という3段構成が多くの企業にとって現実的な着地点です。この構成は、全面自社ホスティングに比べて初期投資を大幅に抑えながら、規制対応の厳格さを段階的に設計できます。

経営が確認すべき判断軸は4つです。第一に、対象業務のデータが規制・社内規程上クラウドへの送信を許容されるか。第二に、利用量の見通しが自社ホスティングのTCO損益分岐点を超えるか。第三に、推論基盤の構築・セキュリティ設計・運用監視を担えるML人材が社内に存在するか、または確保できるか。第四に、モデルのプロンプト統制・ファインチューニング・監査ログをどこまで自社で握る必要があるか。この4軸を経営が同時に確認しない限り、判断は技術部門の好みかベンダーの営業力によって決まります。

当社がヘルスケア経営の現場で磨いてきた方法論では、まず業務ごとのデータ分類を先に固め、基盤の選択はその後に行います。技術から入ると「このモデルは性能が高いから採用する」という逆順の判断が起きやすく、後から規制対応や社内規程の壁にぶつかります。実装の順序として、最初にデータ分類と規程の整合確認を経営・法務・IT三者で行い、次に業務ゾーンごとの基盤を決め、最後にモデルを選ぶ。この順序を守ることで、自社ホスティングへの不要な投資と規制違反のリスクを同時に下げられます。

自社LLM基盤の構築を検討している経営者が最初に決めるべきことは、技術スペックではなく「どの業務データを自社の外に出してよいか」の線引きです。この定義があって初めて、API・プライベートエンドポイント・自社ホスティングの最適な組み合わせが定まります。当研究所では、業務分類から基盤設計まで、ヘルスケアと一般企業の両現場で検証した実装アプローチを経営層ブリーフィング（ https://fujii-consulting.jp/contact ）でご提供しています。LLM投資の方向性を整理したい経営者・役員の方は、ぜひご活用ください。