Increase in authorization permission errors

公開したくないファイルがクロールされていたので要認証にしたら、再クロール時に多量に 403になってアラートメールが来た模様。
robots.txtで対処するのが王道だと思うのだけど、そもそもどこから飛んできたのかが不明。
robots.txtで対処したとしても、見られたくないファイルのパスを公開しているのと同じなので制限をかけるの自体は当然だとは思う。