LibreChatによる社内生成AI環境の構築と活用

シナプスの技術部システム開発課の小園です。

近年、生成AIは急速に進化しており、業務での活用も広く求められるようになっています。
シナプスでも2024年に、「サポートセンター課の業務効率向上」と「生成AIを活用した新たな業務フローの模索」を目的として、社内向けAIチャット環境の導入プロジェクトを開始しました。

今回その基盤として採用したのが、OSSの「LibreChat」です。
LibreChatは、生成AIモデルそのものではなく、OpenAIやGeminiなど複数の生成AIモデル（LLM）を1つのWeb UIから利用できるOSS製のAIチャット基盤です。
ChatGPTに近い操作感を持ちながら、認証連携やモデル切り替え、各種拡張機能にも柔軟に対応できるため、企業内での生成AI活用基盤として導入しやすい点が特長です。

本記事では、社内活用の第一歩として取り組んだAIチャット環境の変遷と、最終的にLibreChatを採用した経緯をご紹介します。
なお、本記事の執筆にあたっても、実際に社内へ導入したLibreChat環境を活用し、生成AIと協力しながら構成・推敲を行いました。

なぜ社内専用のAIチャット基盤が必要だったのか
独自開発からOSSへ移行した理由
選定要件と決め手
システム構成とLibreChatの特長
チャットLLMとコーディングエージェントの役割分担
LibreChatの活用方法と運用上の工夫
今後の展望
おわりに

なぜ社内専用のAIチャット基盤が必要だったのか

社員が生成AIを業務で利用する際、最大の壁となるのが 情報漏えいリスク です。

一般的なコンシューマー向け生成AIサービスでは、設定や契約形態によっては入力データがモデル改善に利用される可能性があります。
そのため、機密情報を含む業務データの取り扱いには慎重さが求められ、利用ルールによっては入力自体が制限されることも少なくありません。
そこで、入力データが学習に利用されないAPIなどを活用し、安全に利用できるAI環境を社内に構築する必要がありました。

また、社内専用のWeb UI経由でAPIモデルを利用する運用には、セキュリティ面だけでなく、運用や活用の面でも大きなメリットがあります。

全スタッフのAI活用スキルの底上げ
- 特別なプログラミングスキルがなくても、言葉（プロンプト）だけでAIに指示を出せます。誰もが「自分の日々の業務をどう便利にできるか」を直感的に試行錯誤できる環境を提供します。
鮮度とコストの両立
- 日々進化する最新のAIモデルを、いち早く社内へ提供できます。
- 使った分だけ支払う従量課金制により、無駄なコストを削減できます。
今後の「AIエージェント化」を見据えた拡張性
- 未知の技術にも追従できる柔軟な基盤づくりが可能です。RAG（社内文書などを参照しながら回答する仕組み）を用いた社内ナレッジ連携はもちろん、MCP（LLMから外部ツールを利用するための仕組み）やSkillsなど、今後登場する新たなAI技術をいち早く社内環境に統合・実験できるエコシステムを構築できます。
マルチモデル対応
- OpenAI（GPT）、Google（Gemini）、Anthropic（Claude）などの複数の生成AIモデルを共通のチャットUIから利用できる構成を目指しました。
  現在、社内環境ではOpenAIとGeminiのモデルを提供しており、業務内容に応じて使い分けることが可能です。

独自開発からOSSへ移行した理由

プロジェクト初期には、まずシンプルなWeb UIをベースに独自カスタマイズを行い、社内向けに提供していました。
スモールスタートで開始できたことに加え、自ら実装することで生成AIの裏側の挙動や仕組みを深く理解できた点は、大きな収穫だったと感じています。

一方で、運用を続ける中で、会話の継続、Markdown対応、ファイル添付、マルチモデル対応など、チャットUIとして求められる機能が徐々に増えていきました。こうした機能を独自実装で継続的に維持・改善していくことには、次第に限界を感じるようになりました。

そこで、今後の運用性と拡張性を考慮し、UI部分はOSS（オープンソースソフトウェア）製品へ切り替える方針を決定しました。

選定要件と決め手

OSS製品の選定にあたっては、以下の項目を基準に比較・検討しました。

開発活動の活発さ: オープンソースとして継続的かつ活発に更新されているか
ライセンス形態: 社内利用や改変の自由度が高いか（MITライセンスなど）
マルチモデル対応: 用途に応じて複数の生成AIモデルを使い分けられるか
UIの日本語対応: ユーザーが操作する画面が多言語化されており、日本語でも利用しやすいか
認証機能: 既存のAD（LDAP）認証や、移行中であるMicrosoft Entra IDに対応できるか

これらの要件をもとに、最終候補として「LibreChat」と「Open WebUI」を比較しました。

どちらも基本要件は満たしていましたが、最終的に 「LibreChat」 を採用しました。
最終的な決め手は、本家ChatGPTに近いUIによる学習コストの低さでした。加えて、認証連携やマルチモデル対応、今後見据えているMCPやRAGなどの拡張性も十分であり、社内の生成AI基盤として継続運用しやすいと判断しました。

ユーザーにとってなじみやすいUIである点も好評で、導入後は「使い方が分からない」といった社内からの問い合わせもなく、スムーズな社内浸透につながっています。

www.librechat.ai

システム構成とLibreChatの特長

現在の社内環境のシステム構成は以下のようになっています。

flowchart TD
    subgraph internal["内部ネットワーク（自社環境）"]
        U["ユーザー"]
        subgraph Server["LibreChat 環境"]
            L["LibreChat<br/>(Web UI / Backend)"]
            DB[(Database)]
        end
        Auth["AD / Entra ID (認証)"]
        
        U -->|HTTPS| L
        L --> DB
        L -->|認証連携| Auth
    end

    subgraph external["外部クラウドサービス"]
        O["OpenAI API"]
        G["Gemini API"]
    end

    L -->|"HTTPS API<br/>(データ学習なし)"| O
    L -->|"HTTPS API<br/>(データ学習なし)"| G

現在、社内のLibreChat環境では、クラウドAPIモデルとしてOpenAIとGeminiを提供しています。

LibreChatは、単なるChatGPTライクなUIにとどまらず、複数のLLMや外部ツール連携を前提とした拡張性の高い構成を備えています。
個人的には、特に以下の2点が大きな魅力だと感じています。

RAG、MCP、Skillsなど、生成AIの最新技術への積極的な対応
- 生成AI領域の技術進化は非常に速いですが、LibreChatはそうした最新トレンドをスピーディに取り込んでいます。
ローカルLLMを含む、多種多様なLLMへの対応
- 単一ベンダーに依存しない、優れたマルチモデル対応力を備えています。
- 現在はOpenAI（GPT）とGoogle（Gemini）を社内提供していますが、Anthropic（Claude）をはじめとする主要なクラウドAPIモデルにも対応可能です。
- さらに、Ollama（ローカルLLMを実行するための仕組み）などを介して、自社環境で動作するローカルLLMを統合することも可能です。
- このように、クラウドAPIモデルからローカルLLMまで、用途に応じて柔軟に選択できる点が大きな強みです。
- 加えて、OpenRouterのようなモデル集約サービスや、LiteLLMのようなプロキシ／抽象化レイヤーを組み合わせることで、複数モデルをLibreChat上でまとめて扱いやすくし、利用者にとっても切り替えやすい構成を実現できます。

チャットLLMとコーディングエージェントの役割分担

最近の開発現場では、ChatGPTのような対話型AIや、LibreChatのようなチャット基盤に加え、Claude Codeのようなコーディングエージェントも注目を集めています。
一見すると似た技術に見えますが、実際には競合するものではなく、それぞれ得意な役割が異なります。

チャットLLMは、情報整理、要件の言語化、観点出し、文章のたたき台作成など、探索的な作業に向いています。
一方で、コーディングエージェントは、実装、修正、テスト、反復的な改善といった、より制約の明確な作業に向いています。

たとえばシステム開発の現場では、まずLibreChatのようなチャットLLMで要件や設計の壁打ちを行い、方針が固まった段階でコーディングエージェントに実装や修正を任せる、といった使い分けが効果的です。
このように、チャットLLMは業務全体の入口として広く活用しやすく、コーディングエージェントは実装工程を強力に支援する存在だと捉えています。

そのため、コーディングエージェントの活用が進んでも、誰もが使えるチャット基盤の重要性が低下するわけではありません。むしろ、非エンジニアを含めた幅広い業務で活用できる共通基盤としてLibreChatを整備しつつ、開発現場ではコーディングエージェントも併用する形が、実務においては自然だと考えています。

用途	チャットLLM	コーディングエージェント
主な役割	整理・要約・壁打ち・文章化	実装・修正・テスト
向いている場面	調査、要件整理、比較検討	開発、修正、検証
位置づけ	業務全体の入口	実装工程の支援

LibreChatの活用方法と運用上の工夫

LibreChatには多くの機能がありますが、実際に社内で活用しやすいと感じているのは、単に「できることが多い」という点だけではありません。日常業務の中に組み込みやすく、利用の広がりにつなげやすい点にも大きな価値があると感じています。ここでは、特に便利だった機能と、運用上の工夫をご紹介します。

複数モデルの同時実行
- 異なるAIモデルを同時に実行し、回答を比較できます。
- たとえば、調査結果の要約、FAQ案の作成、メール文面の下書きなどでは、GPTとGeminiの出力を見比べることで、観点の抜け漏れや表現の違いを確認しやすくなります。
- 運用面では、特定のモデルだけを前提にせず、まずは比較しながら使う習慣づけにも役立っています。
ファイルを起点にした情報整理
- PDFや画像、各種ドキュメントをアップロードし、その内容をもとに要約や情報抽出を行えます。
- 議事録、仕様書、マニュアル、問い合わせ履歴などをもとに、要点整理や確認事項の洗い出しを行う用途と相性が良いと感じています。
- 一方で、重要な数値や固有名詞については読み取りミスが含まれる可能性もあるため、最終的な確認は原文を参照しながら人が行う運用を基本としています。
MCPによる外部ツール連携
- MCPを利用することで、LLMから各種ツールやデータソースへ接続できるようになります。
- 将来的には、GitLab/GitHub、社内ドキュメント、BIツールなどと連携し、単なるチャットにとどまらず、実際の業務データを参照しながら回答や補助ができる環境へ発展させたいと考えています。
- ただし、接続先を増やすほど権限管理や利用ルールも重要になるため、まずは用途が明確なものから段階的に広げていく方針です。
エージェント・プロンプトの共有
- 定型的なプロンプトを登録し、他のユーザーと共有できます。
- たとえば、議事録の整理、問い合わせ文面の整形、社内向け説明文の下書きなど、繰り返し発生する作業では特に有効です。
- AI活用は個人ごとの工夫に閉じやすい面がありますが、よく使うプロンプトを共有資産として蓄積していくことで、社内全体の活用レベルを底上げしやすくなると考えています。

LibreChatは高機能なOSSですが、重要なのは機能そのものよりも、それをどのように業務へなじませ、継続的に活用できる形にするかだと感じています。
今後も、単に使える機能を増やすだけでなく、社内で無理なく使い続けられる運用のあり方をあわせて整えていく予定です。

今後の展望

今後は、さらにLibreChat環境をアップデートしていく予定です。

社内ドキュメントを横断的に活用できる基盤の整備
社内に散在するナレッジを、AIを通じてシームレスに引き出せる環境を作りたいと考えています。そのための手段として、以下の連携を進めます。
- MCPの活用・拡張
  - GitLab/GitHub、社内ドキュメント、社内BIなどと連携させ、LLMから各種業務データにアクセスできるようにする
- Microsoft 365リソースとの連携
  - ログインプロバイダーをEntra IDに変更し、SharePointやOneDrive上のファイルとの直接連携を実現する
管理面の強化（利用状況の把握と活用スキルの底上げ）
社内でどのようにAIが使われているかを分析し、効果的なプロンプトを横展開したり、コストを最適化したりすることを目指します。
- Langfuse（LLM利用状況の可視化ツール）を利用した利用状況・ログの可視化
ローカルLLMへの対応（コスト削減と機密データの処理）
簡単な作業による無駄なAPI課金を防ぐことや、完全オフラインでの機密データ処理を視野に入れています。
- クラウドLLMに加え、用途を限定したローカルLLMの活用検討

おわりに

LibreChatの導入により、セキュアかつ最新のAIモデルを、誰もが簡単に利用できる環境を整えることができました。
今後は、単なるチャット基盤にとどまらず、社内データや各種業務ツールと連携した、より実務に近い生成AI活用へ発展させていきたいと考えています。
引き続き、現場で無理なく使える形を意識しながら、社内基盤の整備と機能拡張を進めていきます。