サイトを直したあとにChatGPTに聞いたら自社が出た。翌日もう一度聞いたら出なかった。「対策は効いたのか、効いていないのか」が分からない、というご相談があります。先に結論を書きます。AIの回答は同じ質問でも毎回変わるため、1回の回答の中身で効果を判断することはできません。判断できるのは「同じ質問を複数回投げたうち、何回、根拠つきで自社が出たか」という割合の変化だけです。つまり必要なのは、対策そのものより先に、変化を見るための「観測の設計」です。この記事では、なぜ回答が変わるのか、1回の回答で判断すると何を間違えるのか、費用ゼロで観測を組む手順、効いた・効かないをどう言い切るかを扱います。「自社が出てくるかどうか」の最初の確認と、構造化データのような一つの施策の効果の測り方は、それぞれ別の記事で扱っており、ここでは回答全体の再現性と、その見方に絞ります。
同じ質問なのに、答えが変わる理由
ChatGPTやGemini、Perplexityのような対話型AIは、辞書のように「この質問にはこの答え」と固定された答えを引いているのではなく、そのつど文を生成しています。同じ質問でも、生成のたびに言葉の選び方が変わる仕組みだとされています。これが変動の一つめです。
二つめは、材料の側です。多くのAIは回答の前に検索を行い、そのとき取得したページを材料にして文を組み立てます。検索結果は日によって、地域によって、ログインしているかどうかによって入れ替わります。材料が変われば、挙がる会社も変わります。三つめは、AI側のモデルや仕様が予告なく更新されることです。先週と今週で、同じ質問に対する答え方そのものが変わっていることがあります。
この三つは、こちらの対策とは無関係に起きます。したがって「昨日は出たのに今日は出ない」は、対策が効かなくなったことを意味しません。同じように「今日出た」も、対策が効いたことを意味しません。当社が観測した範囲でも、サイトに何も手を入れていない期間に、出たり出なかったりが繰り返されています。
1回の回答で判断すると、2つの間違いが起きる
一つめの間違いは、偶然の出現を効果だと思うことです。サイトを直した翌日に自社が出ると、経営者は「効いた」と感じます。ただ、同じ質問を直す前に5回投げていれば、そのうち1回は出ていたかもしれません。比べる前の状態を測っていないので、効いたとも効いていないとも言えないのが実際のところです。
二つめは、偶然の非出現を失敗だと思うことです。直したのに出なかった、だからこの対策は無駄だった、と判断して次の施策に移る。ところが実際には、出る回数が5回に1回から5回に3回へ増えていたかもしれません。1回だけ見ていると、この増え方は見えません。
どちらの間違いも、原因は同じです。AIの回答を「出る・出ない」の二択で、1回だけ見ていることです。見るべきなのは回数のうちの割合であり、それを比べるためには、対策の前に同じ条件で測っておく必要があります。
回答から数えられる4つの項目
1回の回答から読み取って記録できるのは、次の4つです。当社が自社サイトとお客様のサイトで見ている項目で、どれも「あった・なかった」で記録できます。
| 項目 | 何を見るか | 記録の仕方 | この項目が動くと何が分かるか |
|---|---|---|---|
| ① 出現 | 回答の中に自社名があるか | ○／× | AIが自社を候補として知っているか |
| ② 根拠 | 自社名に理由（〇〇に強い、〇〇を行っている）が添えられているか | ○／× | 名前だけでなく、選ぶ理由まで拾えているか |
| ③ 出典 | 出典リンクがあり、その中に自社サイトが含まれるか | ○／×（他社サイトのみなら×） | 自社の情報が直接読まれているか、第三者経由か |
| ④ 正誤 | 自社について書かれた内容に、事実と違う点がないか | ○／×（誤りがあれば内容をメモ） | 読まれてはいるが、誤解されていないか |
4つは、上から順に前提の関係になっています。①が×なら②③④は測れません。①が○で②が×なら、名前は知られているが根拠が拾われていない状態で、これは別の記事（形容詞を事実に置き換える話）の範囲です。③が×で他社サイトだけが出典なら、自社サイトが材料として読まれていないので、先にAIクローラーがサイトを読めているかの確認が要ります。
「効果」とは、この4つのどれかの○の割合が、対策の前後で変わることです。どれが動いたかを分けて見ないと、「出るようになったが誤解されたまま」のような状態を、効いたと誤認します。
費用ゼロで、観測を設計する手順
必要なのは、ChatGPTなど対話型AIを2〜3種類、紙かスプレッドシート1枚、1回あたり10分程度の時間です。対策を始める前に、まずこれを1周します。
手順1：質問を3つに固定し、文面をそのまま書き留める
見込み客が実際に入力しそうな質問を3つ決めます。「〇〇市で△△を頼める会社は」「△△に強い会社を教えて」「〇〇株式会社はどんな会社」のように、認知（出るか）・比較（選ばれるか）・確認（正しく説明されるか）の3種類を1つずつ入れると、4項目がまんべんなく測れます。文面は一字も変えずに使い回します。言い回しを変えると、変動の原因が質問なのかAIなのか分からなくなります。
手順2：同じ質問を、日を変えて5回投げる
1日に5回まとめてではなく、5日に分けます。日ごとの材料の入れ替わりを含めて測るためです。可能であれば、会話履歴が残らない状態（新しいチャット、または一時的なチャット）で投げます。過去の会話に自社名を入れていると、AIがそれを引きずって答えることがあり、実際の見込み客が見る答えとずれます。
手順3：4項目を○×で記録する
回答の文章を保存する必要はありません。①出現・②根拠・③出典・④正誤の4つを○×で書くだけにします。文章を残そうとすると続きません。3質問×5回×AI 2〜3種類で、30〜45行の表ができます。これが「対策前」の現在地です。
手順4：対策のあとに、同じ表をもう一度作る
サイトを直したあと、同じ質問・同じ回数・同じAIで、もう1周します。反映には時間がかかるため、直した直後ではなく、AIの検索側が新しいページを取得したことを確認してから（サイトへのアクセス記録で、AIのクローラーが来ているかを見ます）始めるのが確実です。当社の無料診断でも、まずこの「対策前の表」を作るところから始めています。
効いた・効かないは、割合の変化で言う
前後の表がそろったら、項目ごとに○の割合を比べます。言い方は「5回中1回だった出現が、5回中4回になった」のように、回数をそのまま書きます。パーセントに直す必要はありません。むしろ、この回数の程度では、割合が少し動いただけでは差があるとは言えないことを前提にしておきます。
- 0回から複数回に変わった場合。これは意味のある変化として扱ってよい、と当社は考えています。まったく出なかった会社が繰り返し出るようになるのは、偶然では起きにくいためです。
- ①出現は変わらず、②根拠や③出典が変わった場合。名前は前から知られていて、今回の対策で自社サイトが直接読まれるようになった、というように、どの層が動いたかを書きます。これが次に直す場所を決める材料になります。
- 1回が2回に増えた程度の場合。効いたとも効かないとも言い切らず、もう1周（さらに5回）測って判断を先に送ります。ここで「効いた」と言い切る会社は多いのですが、根拠になりません。
※ 当社は、対策からAIの回答が変わるまでの期間や、変わる確率を、長期の実績として持っていません。技術面の前提として、自社サイトについては AIクローラー6種を名乗った取得がすべて正常応答（200）であることを2026年8月16日に確認していますが、それは「読める状態にある」ことの確認であり、回答に出る保証ではありません。この記事の観測方法は、効果を約束するものではなく、効果の有無を自分の目で判断できるようにするためのものです。
一つの施策（たとえば構造化データ）だけを取り出して効いたかどうかを見たい場合は、他の変更と時期を分ける必要があります。その線引きは構造化データは入れる意味があるのかで扱っています。そもそも自社が一度も出てこない段階であれば、観測の前にAIに聞いても自社が出てこないで書いた仕組みの確認を先に済ませてください。
この考え方の呼び名
ここまで、専門用語を使わずに書いてきました。最後に名前を渡しておきます。
AIの回答や検索結果に自社が根拠つきで出るように、サイト上の情報を設計することはAIO（AI Optimization）、LLMO（大規模言語モデル最適化）、GEO（生成エンジン最適化）と呼ばれています。この記事で扱った「同じ質問を複数回投げ、出現・根拠・出典・正誤の割合を前後で比べる」作業は、その中の計測にあたる部分で、AI可視性の計測（AI visibility tracking）などと呼ばれ、ツールとして提供しているサービスもあります。ただし、何を「出現」と数えるかの基準は各社で異なり、業界として統一された指標はまだありません。名前や道具より先に必要なのは、対策の前に同じ条件で測っておくことです。当社の「AIに選ばれる設計」の考え方と、無料診断の内容はAIO・LLMOコンサルティングのページに公開しています。
よくある質問
5回では少なすぎませんか。何回測れば十分ですか。
多いほど判断は安定しますが、経営者が自分で続けられる回数でないと1周目で止まります。まず3質問×5回で現在地を作り、判断に迷う項目だけ回数を足す、という順番をすすめています。0回から複数回への変化のような大きな差は5回でも見えます。1回か2回かの差を論じるには足りません。
ChatGPTだけで測ればいいですか。
AIによって材料の集め方も答え方も違うため、2〜3種類で測ると、変化が「その1つのAIの仕様変更」なのか「自社の情報の変化」なのかを切り分けやすくなります。見込み客が実際に使っているものを優先し、1種類しか手が回らないなら、その1種類で回数を守るほうが、種類を増やして回数が減るより役に立ちます。
有料の計測ツールを使えば、この手間は不要ですか。
ツールは回数を増やす作業を代わりにやってくれますが、「どの質問を固定するか」「4項目のうち何が動いたか」を決めるのは会社側の仕事です。まず手作業で1周して、自社にとって意味のある質問と項目が分かってから、必要なら道具に置き換える順番をすすめます。
対策のあと、出る回数が減りました。対策が逆効果だったのでしょうか。
1周（5回）の結果だけでは、逆効果とも偶然とも言えません。AI側のモデル更新や検索結果の入れ替わりが同じ時期に重なることは珍しくないためです。まずもう1周測り、それでも減っているなら、④正誤の欄を見て、直した内容がAIに誤って読まれていないかを確認します。減った理由を1回の結果から特定することはできません。
