RAGとは？社内文書をAIに答えさせる仕組みと中小企業の始め方

「就業規則や作業手順書の内容を、AIに聞けば答えてくれる状態にしたい」というご相談が急増しています。ChatGPT や Claude に自社の規程を質問し、違う内容が返ってきて驚いた方も多いはずです。これを解決するのがRAG（ラグ）です。

RAGは専門用語が多い分野ですが、中小企業が実際にやることは地味な作業です。定義から3つの選択肢、進め方の6ステップ、料金の考え方、精度が出ない原因までを、支援現場の実感を交えて整理します。

RAGとは、AIに社内文書を検索させてから答えさせる仕組みです

RAGとは、Retrieval-Augmented Generation（検索拡張生成）の略で、AIが回答を作る前に指定の文書群を検索し、その内容を根拠に答えさせる仕組みです。「AIに社内文書を読ませて答えさせる」はこれを指します。

生成AIは、自社の規程やマニュアルを何ひとつ知りません

ChatGPT や Claude は一般的な文章を大量に学習していますが、貴社の就業規則や作業手順書、過去案件の見積根拠は持っていません。それでも聞かれれば一般論で答えます。この「事実と異なる内容を自信のある文章で答える現象」をハルシネーションといい、AIが使えないと判断される原因の大半です。

ファインチューニングとの違いは「学習させ直すか、回答時に参照させるか」です

ファインチューニング（追加学習）はAIモデル自体に自社データを学習させる方法で、専門知識と費用、更新ごとの再学習が要ります。一方RAGはモデルに手を加えず、質問された瞬間に文書を検索して渡します。文書を差し替えれば回答もその日から変わるため、規程が頻繁に改定される実務に向きます。

出典付きで答えられるから、はじめて業務で使えます

最大の利点は、根拠の文書と箇所を示せることです。「繰り越しは最大20日です（就業規則第32条より）」と出典が付けば、担当者は条文を開いて数秒で検証できます。出典のない回答は確認に手間がかかり、結局誰も使いません。使えるかは検証しやすさで決まります。

仕組みは4段階に分けると理解できます

①文書を数百〜千字程度の塊に分割します。この塊をチャンクと呼びます。②各チャンクを意味の近さを数値で比較できる形に変換します。これがベクトル化で、データはベクトルデータベースに保存します。③質問文も同じく変換し、意味が近いチャンクを数件抜き出します。完全一致ではなく意味で探すため、「有休は何日繰り越せる？」でも「年次有給休暇の繰越」の条文を拾えます。④そのチャンクを質問と一緒にAIへ渡し、範囲内で回答を作らせます。

中小企業がRAGを始める選択肢は3つに整理できます

①ツールに文書を入れるだけの方法が最も手軽です

NotebookLM、Claude のプロジェクト機能、ChatGPT のファイル添付は、指定文書から答えさせる仕組みを標準で備えます。開発は不要で当日から使えます。特に NotebookLM は出典箇所が付く設計です。

②グループウェアの標準機能なら、既存文書をそのまま活かせます

Google Workspace や Microsoft 365 には、自社のドライブやメールを横断検索・要約する機能があり、プランやアドオンで使えます。ファイルをコピーせず既存の権限を活かせる反面、対象が広く精度は安定しにくくなります。

③自社構築は、業務システムへ組み込む段階で検討します

AIのAPIとベクトルデータベースを組み合わせて構築します。社内システムや顧客向けチャット窓口へ組み込めますが、開発費と保守の担い手が要ります。

中小企業は①から始めるのが定石です。①で精度が出ないなら原因はほぼ文書側にあり、②や③へ投資しても改善しません。

進め方は6つのステップで整理します

Step 1：答えさせたい質問を20個書き出します

最初はツール選びではなく質問リストです。「有給は何日繰り越せるか」「A社の納品は何時までか」など、繰り返し聞かれる質問を20個挙げます。ここで用途が決まります。

Step 2：その20問の根拠になる文書だけを集めます

20問に答えるために必要な文書だけを選びます。共有フォルダを丸ごと対象にしてはいけません。多くは5〜20ファイルに収まります。

Step 3：文書を整えます

ここが成否を分ける工程です。同じ規程の旧版を外して1版だけ残し、スキャンしただけのPDFはテキスト化されたものへ差し替えます。複雑な表は条件を箇条書きに直します。

Step 4：読み込ませて、20問で精度を検証します

20問をそのまま質問し、正答・出典の妥当性・誤答を記録して正答率を出します。支援現場の実感では、文書が整っていれば初回7割前後、整っていなければ3割程度です。

Step 5：答えられなかった質問から文書を補います

誤答の原因は、根拠文書が入っていないか表現が曖昧かです。該当箇所を追記して再検証します。この往復を2〜3回回すと実務で使える水準に届きます。

Step 6：社内公開と利用ルールを同時に決めます

「答えられる範囲」「出典を必ず確認する」「顧客への回答にそのまま使わない」の3点を明文化して周知します。ルールなしで公開すると、誤答が出た時点で不信感につながります。

当協会が支援先で社内文書のAI活用を試すとき、精度が出ない原因がモデルの性能にあったケースはほとんどありません。圧倒的に多いのは、同じ規程の新旧版が両方フォルダに残り、AIが古いほうを根拠に答える問題です。詰まり方はこうです。「残業申請は前日まで」と答えたので確認すると根拠は2年前の旧版で、現行版は「当日中」に改定済み。しかしファイル名が「就業規則_最新」と「就業規則_改定版」で並び、どちらが新しいか判別できない。RAGの精度検証は文書の棚卸しそのものです。進め方は中小企業のDX・AI活用情報（当協会オウンドメディア）でも発信しています。

料金は「定額か従量課金か」で考え方が分かれます

ツール型とグループウェア型は、1人あたりの定額で考えます

NotebookLM は Google アカウントで基本機能を試せ、機能や文書量を増やす有料プラン、Google Workspace の一部プランでの利用が用意されています。Claude や ChatGPT の有料プランは1ユーザー月額数千円程度が目安で、1〜2名分で検証できます。

自社構築は従量課金と保守費の合計で考えます

API利用料（質問数と文書量に応じた従量課金）、ベクトルデータベース利用料、開発・保守費の合計です。変動幅が大きいため、検証段階で1問あたりのコストを実測して予算を組みます。

料金・プラン構成は改定される場合があるため、最新の金額は各サービスの公式サイトでご確認ください。

中小企業での活用事例を3件紹介します

製造業のお客様（従業員60名規模）：手順書と不具合報告を検索できるようにした事例

入れた文書は主要製品の作業手順書と過去3年分の不具合報告書だけです。答えさせたのは「この工程で寸法が出ないときの確認順序」「同じ不具合が過去に起きた原因」など現場の20問。従来はベテラン1名に問い合わせが集中し、不在の日は作業が止まっていました。導入後は若手が自分で過去事例を確認でき、問い合わせは半分程度に減っています。

士業事務所のお客様（従業員15名規模）：照会回答と解釈メモを資産化した事例

過去の照会回答書と、法令改正時の解釈メモを対象にしました。答えさせたのは「類似の照会に過去どう回答したか」「この論点の判断根拠はどこか」です。以前は担当者の記憶を頼りに探していましたが、検索で該当メモに届くため初動が短縮しました。最終確認は有資格者が行います。

卸売業のお客様（従業員40名規模）：取引条件を新人が自分で確認できるようにした事例

取引先ごとの取引条件表と納品ルール一覧を入れました。「締め時間は何時か」「返品の可否と条件は何か」と、新人が何度も先輩に聞いていた質問群です。条件表の旧版整理に2週間かかり、AIの精度以前に「最新版へ統一された」ことが大きな効果になりました。

デメリットと注意点は導入前に押さえておきます

文書が古い・矛盾していると、自信たっぷりに間違えます

RAGは渡された文書を正しいものとして扱うため、旧版が混在すればそれを根拠に誤答します。出典が付くぶん、確認せず信じるリスクは逆に上がります。鮮度管理は運用の前提です。

機密文書を外部サービスへ入れる際は、設定と契約の確認が必須です

入力データがAIの学習に使われるかは、各サービスの設定と契約形態で異なります。無料プランと法人プランで扱いが違う場合もあります。特定のサービスを一律に安全・危険と断じられる話ではないため、導入前に規約と管理者設定を必ず確認してください。

スキャン画像のPDFや複雑な表は、読み取り精度が落ちます

紙をスキャンしただけのPDFは画像であり文字情報を持ちません。セル結合の多い表や複数ページにまたがる表も構造が崩れ、誤読の原因になります。重要な条件は箇条書きで書き起こします。

対象範囲を広げすぎると、精度と権限管理の両方が崩れます

文書が増えるほど無関係な文書が検索で拾われ、どの質問にも中途半端に答える状態になります。さらに人事評価や給与のように閲覧者を限定すべき文書を含めると、権限のない社員がAI経由で内容を知り得ます。用途ごとに対象を分け、正しさは人が確認する前提を崩さないことが重要です。

よくある失敗パターンと対策を整理します

失敗1：共有フォルダを丸ごと入れて精度が出ない

最も多いパターンです。無関係な議事録や提案書まで検索対象になり、回答が散漫になります。対策は用途を1つに絞り、必要な文書だけを入れ直すこと。文書を減らすと精度が上がるのは、試さないと信じにくい事実です。

失敗2：文書の棚卸しをせず旧版が混在している

対策は、投入前にファイル名と更新日を一覧化し、同一文書の複数版を1版に絞ることです。旧版は削除せず対象フォルダの外へ出します。どれが有効版かは管理部門でなければ判断できず、情報システム担当だけでは進みません。

失敗3：用途を決めずに「何でも聞ける」状態を目指す

ゴールが曖昧だと精度を判断できず、評価も「なんとなく使えない」で終わります。対策は Step 1の20問を先に確定させ、それ以外を対象外と宣言することです。

失敗4：精度の合格基準を決めていない

「20問中16問が出典付きで正答できたら社内公開」のように数値基準を先に決めます。基準がないと導入判断が感覚論になり、稟議も通りません。検証結果は表で残します。

まとめ：RAGの成否は文書の整理状況でほぼ決まります

今日から着手できることは2つです

答えさせたい質問を20個書き出し、その根拠文書だけを集めて旧版を外すことです。ツールは NotebookLM や Claude、ChatGPT で足ります。まず1業務から始めてください。

迷ったときは「AIではなく文書を疑う」に戻ります

精度を左右するのはAIの性能ではなく、貴社の文書が最新版に整理されているかです。思ったように答えないときは、乗り換える前に根拠文書を確認してください。RAGは社内文書を整える機会にもなります。