Googleがクロールバジェットに関するドキュメントを更新し、クロール効率の最適化に関する内容が追記されました。追加されたのは主に2点です。
・複数のGooglebotが1つのサイトのクロール容量を共有しているという仕様の明文化。複数のbotが並走する場合、一方の需要が高まるともう一方のクロール容量が減少する
・ページに変更がない場合は304 Not Modifiedの使用を推奨。Googlebotにキャッシュ済みバージョンを再利用させることで、サーバーのデータ転送量とリソースを節約できる
なお、このドキュメントの推奨事項は100万ページ超の大規模サイトや、1万ページ超で更新頻度が高いサイトを主な対象としています。しかし、クロールの仕組みを理解する上では規模を問わず参考になる内容です。
クロール効率の改善とサーバー負荷の軽減の対策として、304 Not Modifiedの設定が1つの選択肢になりそうです。