Google、クロールの統計情報レポートのヘルプ記事を更新。Googlebot がサイトをクロールする際に robots.txt ファイルをリクエストして使用する仕組みをより詳細に説明
クロールの統計情報レポートについて解説するヘルプ記事を Google は更新した。Googlebot がサイトをクロールする際に robots.txt ファイルをリクエストして使用する仕組みの説明がよ…
結果的にrobots.txtの有無し関係なしにクロールするので大体の人はスルーする話ですね。 ポイントとしては、indexさせたくないページがある場合のrobots.txtが消えた場合の猶予期間は30日ということですね👍 #インデックス
