GoogleBotについてBardに聞いてみました

GoogleBotのWordPressサイトに対する振る舞い Gemini(旧:Bard)

目次

「GoogleBotのWordPressサイトに対するクロール」について

WordPressでサイトを運用された方の中には、一度は「xmlrpc.php」、「wp-login.php」、「wp-config.php」、「wp-admin」ディレクトリのいずれかに外部からの攻撃を受け、サイトへのアクセスが困難になったり、サイトがダウンしたりといった経験をされたことがあるかもしれません。
実際、例えばnginxのアクセスログに「grep ‘wp-login|xmlrpc|wp-config|admin’ /var/log/nginx/access.log | more」といったコマンドを実行すると、多くのアクセスがあることがあります。
そういったファイルへのアクセスに対して、ほとんどの方はnginxやapacheなどで「403 Forbidden(403エラー)」を返すといった対応をされているかと思います。
しかし、GoogleBotからも「xmlrpc.php」と「wp-login.php」へのアクセスがあったため、「Google Bard」に疑問を投げかけました。

GoogleBotの動作に関するBardの回答

GoogleBotも攻撃することがあるかどうか

GoogleBotに詳しいと思われる「Google Bard」に、「WordPressで作成されたサイトでは、wp-login.phpやxmlrpc.phpなどの脆弱性を伴うファイルが存在する場合がありますが、それらのファイルに対して、Googleの重要な役割を担う検索クローラーであるGoogleBotがアクセスして、擬似的に攻撃することはあるのでしょうか?」と、直截(ちょくせつ、ちょくさい)に質問してみました。

(WordPressで作成されたサイトには、wp-login.phpやxmlrpc.phpなど脆弱性を伴うファイルがありますが、それらのファイルに対して、google検索で重要な役割を担うgoogle botがアクセスし、擬似的に攻撃することはありますしょうか?)(いいえ、Googlebotは、脆弱性を伴うファイルにアクセスして擬似的に攻撃することはできません。Googlebotは、Google検索でウェブサイトをクロールおよびインデックス化するのに使用されるクローラーです。Googlebotは、ユーザーと同様、ウェブサイト上のすべてのページをクロールすることはできません。Googlebotは、ウェブサイトのrobots.txtファイルで許可されているページのみをクロールできます。robots.txtファイルは、Googlebotやその他のクローラーがクロールしてはならないページを指定するために使用されます。
WordPressで作成されたウェブサイトのrobots.txtファイルには、通常、wp-login.phpやxmlrpc.phpなどの脆弱性を伴うファイルがブロックされています。これにより、Googlebotはこれらのファイルにアクセスして擬似的に攻撃することはできません。
ただし、Googlebotは、ウェブサイトの脆弱性を悪用する攻撃者を模倣するスパムボットによってウェブサイトにアクセスされる可能性があります。スパムボットは、ウェブサイトの脆弱性を悪用して、ユーザーの個人情報やその他の機密情報を盗む可能性があります。スパムボットからウェブサイトを保護するには、ウェブサイトを最新のセキュリティパッチに更新し、セキュリティ対策を実施することが重要です。)

「Google Bard」は、「Googlebotは、脆弱性を伴うファイルにアクセスして擬似的に攻撃することはできません」と回答しました。
また、「robots.txtファイルは、Googlebotやその他のクローラがクロールしてはならないページを指定するために使用されます」と回答されていますので、robots.txtに「xmlrpc.php」と「wp-login.php」の指定がなかったためにアクセスしたと思われます。

また、「Googlebotは、ウェブサイトの脆弱性を悪用する攻撃者を模倣するスパムボットによってウェブサイトにアクセスされる可能性があります」とも回答しております。
これは、検索エンジンやウェブサイトのセキュリティを迂回し、スパムや悪意のある目的でサイトにアクセスする自動化されたスパムボットが、クローラとして振る舞いながら、不正なリンクを作成したり、コンテンツを不正に操作したりすることがあることを意味していると思われます。

SEOでのデメリット

またSEOについて気になりましたので、「Google Bard」に「wp-login.phpやxmlrpc.phpなどの脆弱性を伴うファイルにアクセス制限をかけていない場合、Google検索において、劣位となる可能性はありますか?」と質問してみました。

(wp-login.phpやxmlrpc.phpなど脆弱性を伴うファイルに対してアクセス制限をかけていない場合、Google検索において、劣位となりえますでしょうか?)(はい、wp-login.phpやxmlrpc.phpなど脆弱性を伴うファイルに対してアクセス制限をかけていない場合、Google検索において、劣位となる可能性があります。Googleは、ウェブサイトのセキュリティを評価する際に、ウェブサイトの脆弱性を考慮します。脆弱性を伴うファイルにアクセス制限をかけていないウェブサイトは、セキュリティが低いとして評価され、検索結果で上位に表示されなくなる可能性があります。
脆弱性を伴うファイルにアクセス制限をかけるには、ウェブサーバの設定を変更する必要があります。ウェブサーバの設定を変更する方法は、ウェブサーバの種類によって異なります。ウェブサーバの設定を変更する方法については、ウェブサーバの説明書を参照してください。
また、ウェブサイトの脆弱性を悪用する攻撃者を防ぐために、ウェブサイトを最新のセキュリティパッチに更新し、セキュリティ対策を実施することも重要です。セキュリティ対策については、ウェブサイトのセキュリティガイドラインを参照してください。)

「Google Bard」は「wp-login.phpやxmlrpc.phpなど脆弱性を伴うファイルに対してアクセス制限をかけていない場合、Google検索において、劣位となる可能性があります。」と回答しました。
さらに、「Googleはウェブサイトのセキュリティを評価する際に、ウェブサイトの脆弱性を考慮します。脆弱性を伴うファイルにアクセス制限をかけていないウェブサイトは、セキュリティが低いと評価され、検索結果で上位に表示されなくなる可能性があります。」と回答しております。
記事(メディア)の投稿のみを運用している場合でも、SEOは重要な要素ですので、WordPressで作成したサイトにおいてもセキュリティ対策に鋭敏かつ迅速に対応する必要がありますね。

なぜアクセスするのか?

そもそもの話ですが、robots.txtに記載がないからといって、GoogleBotが「xmlrpc.php」と「wp-login.php」などのファイルにアクセスすること自体が疑問でしたので、「Googlebotが、wp-login.phpやxmlrpc.phpなどのファイルにアクセスしているのは、そのサイトがWordPressで作成されたサイトであるという前提で、一度アクセスしてアクセス制御などの最低限の対策がされているかどうかを確認することが目的なのでしょうか?」と、「Google Bard」に質問してみました。

(Googlebotが、wp-login.phpやxmlrpc.phpといったファイルにアクセスしているのは、そのサイトがWordPressで作成されたサイトであるという前提で一度アクセスし、アクセス制御など最低限の対策をしているかどうかを確認するのが目的でしょうか?)(はい、Googlebotが、wp-login.phpやxmlrpc.phpといったファイルにアクセスしているのは、そのサイトがWordPressで作成されたサイトであるという前提で一度アクセスし、アクセス制御など最低限の対策をしているかどうかを確認するのが目的です。
Googlebotは、ウェブサイトをクロールしてインデックスに登録するために、ウェブサイトのすべてのページにアクセスします。しかし、WordPressのサイトでは、wp-login.phpやxmlrpc.phpといったファイルは、ユーザーがログインするために使用されるファイルであり、一般ユーザーには表示する必要のないファイルです。そのため、Googlebotは、これらのファイルにアクセスしたときに、アクセス制御などの最低限の対策をしているかどうかを確認しています。
アクセス制御などの最低限の対策がされていない場合、Googlebotは、これらのファイルをインデックスに登録しません。そのため、サイトの検索エンジンでの評価が低下する可能性があります。)
「Google Bard」は、予想通り「Googlebotが、wp-login.phpやxmlrpc.phpなどのファイルにアクセスしているのは、そのサイトがWordPressで作成されたサイトであるという前提で、一度アクセスしてアクセス制御などの最低限の対策をしているかどうかを確認するのが目的です。」と回答しました。

質問内容を変えても、「アクセス制御などの最低限の対策がされていない場合、Googlebotはこれらのファイルをインデックスに登録しません。そのため、サイトの検索エンジンでの評価が低下する可能性があります。」と「Google Bard」が続けて回答しているため、WordPressで脆弱性の高い「xmlrpc.php」、「wp-login.php」、「wp-config.php」、「wp-admin」といったファイルやディレクトリには、アクセス制限を設定することが必須といえるでしょう。

まとめ

WordPressのサイトに含まれる「xmlrpc.php」、「wp-login.php」、「wp-config.php」、「wp-admin」ディレクトリへのGoogleBotのアクセスについて、「Google Bard」に質問してみました。
「Google Bard」は試験運用中のステータスのため、不正確または不適切な回答を生成する可能性も高く、Googleの公式見解ではありませんが、GoogleBotがサイトのセキュリティ対策やそれに伴うSEOの評価判定を行っていることは事実であると考えられえます。
したがって、WordPressで脆弱性の高い「xmlrpc.php」、「wp-login.php」、「wp-config.php」、「wp-admin」といったファイルやディレクトリには、アクセス制限を設定することが必須ですね。