RAGとは？仕組みとLLMとの違い、活用例・導入の評価ポイント

RAGとは、生成AIが外部の文書やデータベースを検索し、その情報をもとに回答を生成する技術です。 近年、ChatGPTなどの生成AIが抱えるハルシネーションや最新情報への対応不足を補う手法として注目され、企業での活用が広がっています。本記事では、RAGの基本概念や仕組み、LLM・ChatGPTとの違い、メリット・デメリット、活用例をわかりやすく解説します。自社の業務やシステムへの導入を検討する際の判断材料としてお役立てください。

RAG（検索拡張生成）とは

RAG（検索拡張生成）とは、LLMが回答を生成する前に外部の情報源を検索し、取得した情報を質問と一緒に読み込ませて回答させる仕組みです。名称は、検索（Retrieval）で情報を集め、その情報でプロンプトを拡張（Augmented）し、回答を生成（Generation）するという処理の流れをそのまま表しています。

LLM単体とRAGの違いは、試験にたとえると分かりやすくなります。LLM単体が記憶だけで解答する「持ち込み不可の試験」だとすれば、RAGは解答の前に資料の該当ページを開ける「持ち込み可の試験」です。記憶にない問題でも資料から答えを探せるうえ、どのページを根拠にしたかも示せるため、業務で使える回答に近づきます。

RAGとLLM・ファインチューニング・ロングコンテキストの違い

RAGはLLMを置き換える技術ではなく、LLMに知識を渡す方法のひとつです。LLMに知識や振る舞いを与える方法には主に次の4つがあり、目的に応じて使い分けたり、組み合わせたりします。

手法	知識の与え方と特徴	向いている用途
LLM単体（プロンプトの工夫）	学習済みの知識と指示文で回答する。社内・最新情報には対応できず、根拠の提示も難しい	文章作成・要約・翻訳など汎用業務
RAG	質問のたびに関連文書を検索して渡す。文書を更新すれば回答に反映され、出典も示せる	規程・マニュアルに基づく回答、問い合わせ対応
ファインチューニング	追加データでモデル自体を再学習する。知識の更新には再学習が必要で、根拠の提示は難しい	出力形式・文体・専門用語の扱いの統一
ロングコンテキスト	資料をまるごとプロンプトに入れる。入力した資料の範囲で回答でき、根拠も示せる	少数の長文資料の要約・分析

表1: LLMに知識や振る舞いを与える4つの方法の比較

※各手法の負担や対応範囲は、利用するサービスや構成、利用規模によって異なります。

4つの手法を比べると、社内の事実情報を最新の状態で答えさせることと、出典を示すことの両方を満たしやすいのはRAGです。ただし、主な負担は手法ごとに異なります。

• RAG：文書の整備と、検索の設計・運用
• ファインチューニング：学習データの準備と再学習
• ロングコンテキスト：入力する文字量に応じた利用料と応答時間

社内情報を必要としない文章作成などでは、負担の小さいLLM単体で十分なケースも少なくありません。

1. RAGとLLM単体の違い

LLM単体は、学習済みの知識だけをもとに回答します。これに対してRAGは、回答の前に社内文書などを検索し、見つけた情報をLLMに渡してから回答させる点が異なります。

なお、ChatGPTはLLMを使った対話サービスで、ChatGPTに資料を添付して質問する使い方も、RAGと同じく「資料を渡して答えさせる」発想に基づいています。企業向けのRAGは、これを大量の社内文書・閲覧権限・最新版の管理まで含めて仕組み化したものと捉えると理解しやすくなります。

2. RAGとファインチューニングの違い

ファインチューニングとの違いは、知識を足すのか、振る舞いを変えるのかで整理できます。最新の料金プランや改定された規程を答えさせたい場合はRAGが適しており、回答の文体・形式や業界特有の言い回しを安定させたい場合はファインチューニングが向いています。

両者は対立するものではなく、ファインチューニングで応対の文体を整えたモデルに、RAGで最新の情報を渡す併用も可能です。ただし、ファインチューニングには学習・評価用データの準備が必要になるため、まずRAGとプロンプトの工夫で要件を満たせるかを確かめ、不足する部分にだけ追加学習を検討するのが効率的です。

RAGを含むAI開発の進め方全体については、AI開発のアプローチの選び方と実運用までの進め方で、SaaS・API活用・ファインチューニングなどの選択肢と比較しながら確認できます。

3. RAGとロングコンテキストの違い

近年のLLMは一度に読み込める文字量（コンテキストウィンドウ）が大きく拡大しており、「資料をすべてプロンプトに入れればRAGは不要ではないか」という議論もあります。しかし、スタンフォード大学などの研究チームが2024年に発表した論文では、関連情報が長い入力の中ほどに置かれるとGPT-3.5-Turboの正答率が20%以上低下し、条件によっては資料を与えない場合（56.1%）を下回ったと報告されています。

同研究では、検索した文書を20件から50件に増やしても、正答率の改善は約1.5%にとどまりました（2023年時点のモデルによる検証）。入力を増やすほど利用料と応答時間も増えるため、関連性の高い情報を検索で絞り込んでから渡すRAGの考え方は、長文を扱えるLLMでも有効です。少数の長い資料を丸ごと要約するならロングコンテキスト、多数の文書から必要な箇所を探すならRAG、と使い分けるのが現実的です。

RAGが必要とされる理由

RAGが必要とされるのは、生成AIの用途が社内の情報を必要とする業務へ広がる一方で、LLM単体では社内情報や最新情報に基づいて正しく答えられないためです。具体的には、生成AIの用途の広がり、出力の精度と情報漏えいへの懸念、AIエージェントの普及という3つの理由があります。

1. 生成AIの用途が社内業務に広がっている

何らかの業務で生成AIを利用している日本企業は86.4%に達し、前年度の調査から大幅に上昇しました。業務別に見ると、利用の割合が高いのは次の3つです。

• 議事録・メール作成補助：約7割
• 営業・販売：約6割
• 社内ヘルプデスク：約5割

― 出典：総務省「令和8年版 情報通信白書｜生成AIの業務利用状況」（2026年）

議事録やメールの作成は、公開情報で学習したLLMだけでも対応できます。一方、社内ヘルプデスクでは自社の規程や手順に沿った回答が欠かせず、LLM単体では正しく答えられません。生成AIの用途が社内固有の知識を必要とする業務へ広がるほど、LLMに社内情報を参照させるRAGのような仕組みが必要になります。

2. 出力の精度と情報漏えいへの懸念が大きい

同白書の調査では、日本企業が生成AIの活用で懸念するリスクとして「社内情報の漏洩などのセキュリティリスク」が46.4%で最も多く、「出力結果の精度に問題がある」が35.3%で続きました。RAGは回答の根拠を示せるうえ、閲覧権限に応じて参照範囲を絞れるため、この2つの懸念に応えやすい仕組みです。

3. AIエージェントでの活用が広がっている

Gartnerは2025年、エージェント型AIを組み込むエンタープライズ向けソフトウェアの割合が、2024年の1%未満から2028年には33%に拡大すると予測しています。AIが回答するだけでなく、調べた情報をもとに申請や発注などの作業まで実行するようになると、参照する情報の誤りは誤った行動に直結します。こうした流れを受けて、エージェントが検索の要否や検索先を自ら判断する「エージェント型RAG（Agentic RAG）」という使い方も広がっています。

RAGのメリット

RAGのメリットというと、回答の根拠を示せることで、AIの回答を信頼して使いやすくなる点が注目されがちです。しかし実際には、それだけでなく、LLMが学習していない社内情報に基づいて答えられる、モデルを再学習せずに知識を更新できる、利用者の権限に応じて答えを出し分けられるなど、業務でAIを使い続けるうえで欠かせないメリットがあります。主なメリットは次の4つです。

1. 社内情報や最新情報に基づいて回答できる

RAGを使えば、LLMが学習していない社内規程、製品仕様、前日に更新されたFAQなどに基づいて回答できます。LLM単体では一般論にとどまるか、知らない内容を推測で補ってしまうのに対し、RAGは自社の文書に書かれた内容を根拠にします。その結果、社内問い合わせや顧客対応のように、自社固有の正解がある業務にも生成AIを使えるようになります。

2. 回答の根拠を示せる

RAGは、回答に使った文書や該当箇所を出典として回答と一緒に表示できます。LLM単体の回答は、どの情報に基づくのかを利用者が確認できず、正しさを判断するには別途調べ直す必要がありました。出典が示されれば原文を開いて内容を確かめられるため、AIの回答を検証可能な情報として業務に組み込めます。

3. 再学習なしで知識を更新できる

RAGでは、検索対象の文書を差し替えたり追加したりするだけで、回答に反映される知識を更新できます。LLMそのものに新しい知識を覚えさせるファインチューニング（追加学習）では、学習データの準備と再学習に時間とコストがかかり、規程が改定されるたびに作業が発生します。文書の更新がそのまま回答に反映されるため、改定や追加が頻繁な情報を扱う業務ほど運用負荷を抑えやすくなります。

4. 権限に応じて参照範囲を制御できる

RAGは検索の段階で、利用者の部署や役職に応じて参照できる文書を絞り込めます。LLMに社内情報を直接学習させた場合、モデルの内部に取り込まれた情報を利用者ごとに出し分けることは困難です。文書ごとの閲覧権限を検索時に反映させれば、人事・経理など機密性の高い文書を含めても、見てよい人にだけ答える運用が可能になります。

RAGの仕組み

RAGの処理は、あらかじめ文書を検索できる形に整える「事前準備」と、質問のたびに実行される「検索・拡張・生成」の2段階に分かれます。たとえば社員が「海外出張の日当はいくら？」と尋ねた場合、RAGは次の4ステップで回答を組み立てます。

1. 文書を分割してデータベースに登録する

事前準備として、旅費規程や経費マニュアルなどの文書を、段落や見出し単位の小さな「チャンク」に分割して検索用データベースに登録します。このとき各チャンクを、文章の意味を数値の並びで表した「ベクトル」に変換しておくことで、言い回しが違っても内容の近い文章を探せるようになります。

文書の更新日や閲覧できる部署といった属性情報（メタデータ）も一緒に登録しておくと、古い版の除外や権限に応じた絞り込みに使えます。回答精度はこの準備段階に大きく左右されるため、どの文書を、どの単位で登録するかが設計の要になります。

2. 質問に関連する情報を検索する

社員が質問を入力すると、質問文も同じ方法でベクトルに変換され、データベースの中から意味の近いチャンクが関連度の高い順に数件取り出されます。「日当」という語を含まない「海外出張時の手当は1日単位で支給する」といった記述も、意味が近ければ検索結果に含まれます。

実務では、意味の近さで探すベクトル検索と、型番や条文番号などの完全一致に強いキーワード検索を組み合わせた「ハイブリッド検索」もよく使われます。この段階で正しい情報を拾えなければ、後続のLLMがどれほど高性能でも正しい回答にはなりません。

3. 検索結果を質問と一緒にLLMに渡す

取り出したチャンクは、元の質問と一緒に1つのプロンプトにまとめられ、LLMに渡されます。プロンプトには「以下の資料の内容だけに基づいて回答し、該当箇所を示すこと」「資料に記載がなければ、分からないと答えること」といった指示を加えるのが一般的です。

この指示によって、LLMは自分の記憶よりも渡された資料を優先して回答します。LLMそのものは何も学習し直しておらず、その場で読む資料を差し替えているだけという点が、RAGを理解するうえで最も重要なポイントです。

4. LLMが資料をもとに回答を生成する

LLMは渡された資料を読み解き、「海外出張の日当は、出張先の地域区分と職位によって定められています（旅費規程 第8条・別表2）」のように、出典を添えて回答を生成します。利用者は回答と一緒に根拠となった条文も確認できるため、内容を検証したうえで業務に使えます。

RAGのデメリット・注意点

RAGのメリットは、適切な文書が見つかり、LLMに正しく渡されることが前提です。次の5点は、RAGを使っても残る課題です。

1. 回答品質が文書と検索精度に左右される

RAGは見つけた文書をもとに回答するため、検索対象に古い版の規程や重複した資料が混在していると、誤った情報を根拠に回答してしまいます。スキャンしたPDFや画像のままの資料は文字情報を持たず、そもそも検索の対象になりません。

対策としては、検索対象の文書の最新版を決め、紙やスキャンPDFはOCRで画像・PDFをテキスト化してから取り込む方法が一般的です。

2. ハルシネーションを完全には防げない

検索結果に答えがない場合や、LLMが資料を読み違えた場合には、RAGでも誤った回答が生じます。スタンフォード大学などの研究チームが2025年に発表した評価では、RAGを採用した法律分野の商用AIリサーチツールでも、17〜33%の割合で、誤った記述や、引用した出典が内容を裏付けていない回答が確認されました（対象は2024年時点の製品）。

同研究では汎用チャットボットのGPT-4より誤りは減ったと報告されており、RAGは誤りを減らす手段であって、なくす手段ではありません。実務では、出典の表示、資料にない場合は「分からない」と答えさせる指示、重要な判断での人による確認を組み合わせて、誤りの影響を抑えます。

3. 文書全体の集計や傾向の把握が苦手

一般的なRAGは質問に近い数件のチャンクだけを取り出して回答するため、「過去3年間のクレームで多い原因は何か」のような文書全体の集計・比較には正確に答えられず、一部の事例だけを根拠に傾向を述べてしまうことがあります。

集計が目的であればデータベースやBIツールを組み合わせるのが一般的です。文書全体のテーマや関係性を把握したい場合は、文書群から知識グラフを構築して全体を問う質問に答えやすくした「GraphRAG」のような手法もあり、Microsoft Researchが2024年に公開しています。

4. LLM単体より応答時間と運用コストが増える

RAGは、モデル自体を再学習するファインチューニングと比べると知識の追加や更新にかかる費用を、資料をすべてプロンプトに入れるロングコンテキストと比べると1回の回答で処理する文字量を抑えやすい方法です。

一方で、LLM単体で使う場合と比べると、回答のたびに検索を行い、取り出した文書をプロンプトに加える分だけ応答に時間がかかり、LLMに渡す文字量（トークン数）に応じて利用料も増えます。さらに、検索用データベースの構築・更新や回答品質の確認といった作業も継続的に発生するため、費用は構築時だけでなく、導入後の利用料と運用工数としてもかかります。

5. 情報漏えいの経路になり得る

RAGは社内文書をLLMに渡すため、検索時の権限制御が不十分だと、本来閲覧できない人事情報や契約内容が回答に含まれるおそれがあります。外部のLLMサービスでは、入力データが学習に利用されない設定かどうかも情報の扱いを左右します。

文書に紛れ込んだ不正な指示文がLLMを操作する「プロンプトインジェクション」にも注意が必要です。こうしたリスクには、閲覧権限の引き継ぎ、データ利用規約の確認、取り込む文書の事前確認、参照履歴のログ管理といった対策が取られます。

RAG導入の評価ポイント

RAGが効果を発揮するかどうかは、扱う業務と文書の状態によって大きく変わります。次の8項目のうち、自社に当てはまるものの数を数えると、RAGを導入する必要性の高さを判断する目安になります。

評価項目	確認する内容
問い合わせの多さ	社内や顧客から、同じような質問が繰り返し寄せられている
情報を探す手間	必要な規程やマニュアルを探すのに時間がかかっている
回答のばらつき	担当者によって、回答の内容や正確さに差がある
答えの所在	回答の正解が、規程・マニュアル・FAQなどの文書に書かれている
情報の更新頻度	規程や製品情報などの改定・追加が定期的にある
根拠の必要性	監査対応や顧客への説明で、回答の根拠を示す必要がある
生成AIの回答精度	生成AIを使っているが、社内固有の質問には正しく答えられない
閲覧権限の管理	部署や役職によって、参照できる情報を分ける必要がある
評価の目安（当てはまる項目の数）
6〜8項目	必要性が高い：対象業務を1つに絞り、RAGの検証を始める段階
3〜5項目	必要性は中程度：効果が出やすい業務から、RAGの活用を検討する
0〜2項目	必要性は低い：現時点ではLLM単体やほかの方法で足りる可能性がある

表2: RAG導入の評価ポイントと評価の目安

ただし、評価が高くても、文書の状態によってはRAGの効果が出にくくなります。特に「答えの所在」が当てはまらない業務は、回答のもとになる文書がないため、RAGだけでは解決できません。また、最新版の文書を特定できない、紙やスキャン画像のままの資料が多い、閲覧権限が整理されていないといった場合は、RAGの構築より先に文書の整理や権限の見直しから始めたほうが、結果的に早く成果につながります。

RAGの活用例

RAGが効果を発揮しやすいのは、答えが社内の文書に書かれていて、同じ種類の質問が繰り返し発生する業務です。代表的な活用例と、検索対象になるデータ、期待できる効果をまとめると次のとおりです。

活用シーン	検索対象になる主なデータ	期待できる効果
社内ヘルプデスク（人事・総務・情報システム）	就業規則、経費・旅費規程、ITマニュアル、社内FAQ	定型的な問い合わせへの自動回答、担当部署の対応工数の削減
カスタマーサポート	製品マニュアル、FAQ、過去の対応履歴	回答品質の標準化、オペレーターの回答作成支援
営業・提案活動	製品資料、過去の提案書、価格表、導入事例	提案書作成や情報探索の時間短縮
製造・保守の技術継承	設計書、点検記録、トラブル報告書	類似トラブルの迅速な参照、ベテランのノウハウ共有
法務・コンプライアンス	契約書ひな形、社内規程、法令の解説資料	条項の確認・比較の効率化（最終判断は専門家が実施）
システム開発・運用保守	設計書、仕様書、運用手順書、障害対応履歴	仕様確認や障害の一次調査の迅速化

表3: RAGの主な活用例と検索対象データ・期待できる効果

6つの活用例に共通するのは、担当者が文書を探して読み、要点をまとめて回答する作業をRAGが肩代わりする点です。なかでも社内ヘルプデスクは、問い合わせの多くが規程やマニュアルの記載で解決でき、利用者も社内に限られるため、最初の活用領域として効果を検証しやすい業務です。

一方、法務や医療のように誤りの影響が大きい領域では、RAGを調査・確認の補助として位置づけます。回答をそのまま顧客対応や判断に使わず、専門家が出典を確認したうえで最終判断する流れを業務フローに組み込みます。

まとめ

RAGは、LLMに外部情報の検索機能を組み合わせ、必要な情報を参照しながら回答を生成する仕組みです。社内文書や最新情報を回答に反映できるため、ハルシネーションのリスクを軽減し、生成AIを企業固有の業務に活用しやすくなります。

ただし、すべての業務にRAGが適しているわけではなく、導入の必要性は業務目的やデータの状況、求める回答精度によって異なります。自社に適したAI活用方法を検討したい場合は、AI開発の豊富な実績を持つカオピーズまでお気軽にご相談ください。課題や要件に合わせた最適な導入方法をご提案します。

よくある質問（FAQ）

Q1. RAGとベクトル検索は何が違うのですか？

ベクトル検索は意味の近さで文書を探す検索技術で、RAGの検索部分によく使われます。RAGは検索から回答の生成までを含む仕組み全体を指します。

Q2. RAGを使えばハルシネーションはなくなりますか？

なくなりません。誤りは減らせますが、出典を確かめ、重要な判断は人が確認するといった使い方を組み合わせる必要があります。

Q3. RAGとファインチューニングはどちらを選べばよいですか？

最新情報や社内知識を答えさせたいならRAG、文体や出力形式を揃えたいならファインチューニングが適しています。併用も可能です。

Q4. 長文を読み込めるLLMがあればRAGは不要ですか？

不要にはなりません。多数の文書から関連部分を絞り込んで渡すRAGは、精度・利用料・応答速度の面で有利な場面が多くあります。

Q5. RAGの導入費用はどのくらいかかりますか？

対象文書の量、権限設計、既存システムとの連携範囲で大きく変わります。費用の内訳はAI開発費用の相場と内訳で解説しています。

参考文献

1. Liu, N. F. et al.（2024）.
   「Lost in the Middle: How Language Models Use Long Contexts」（Transactions of the Association for Computational Linguistics）.
   https://aclanthology.org/2024.tacl-1.9/
2. 総務省.（2026）.
   「令和8年版 情報通信白書｜生成AIの業務利用状況」.
   https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r08/html/nd121130.html
3. 総務省.（2026）.
   「令和8年版 情報通信白書｜懸念されるリスク及びリスク対策のための取組状況」.
   https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r08/html/nd121140.html
4. Gartner.（2025）.
   「Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027」.
   https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027
5. Magesh, V. et al.（2025）.
   「Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools」（Journal of Empirical Legal Studies）.
   https://nlp.stanford.edu/~manning/papers/Magesh-Hallucination%E2%80%90Free-2025.pdf
6. Microsoft Research.（2024）.
   「GraphRAG: Unlocking LLM discovery on narrative private data」.
   https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/