クローラーに対して5回に4回の頻度で503（Service Temporarily Unavailable）を返す方針でPHPを書いたら、4時間くらいでサーバのエラーログに503エラーが1500回くらい記録されていた。この対処方法だと、本当に何らかの問題で503エラーが発生している場合と区別を付けにくくなってしまうので、やはり429（Too Many Requests）を返すように変更した。クローラーがHTTPレスポンスコード429の意図を把握してくれるのかどうかは分からないが、別に何を返そうが、APIにリクエストを送るより前にPHPスクリプトを終わらせれば（APIへのリクエスト数を削減するという意味では）同じことだから問題はない。行儀の良いクローラーなら問答無用で大量アクセスをしてくるわけではなく、おそらく相手先Webサーバの反応によってアクセス頻度を調節しているのではないかと思うので、503を適宜返していればそのうち頻度を下げてくるのではないかと思ったのだが。429でもそう動作してくれるだろうか。HTTPレスポンスコード429の本来の用途がまさにそれなので、たぶんGoogleのBotなら対応してくれるのではないかと期待しているが、他のクローラーはどうだろうか。（どこからBotが来ているかまでは調べていない。ユーザエージェント文字列に「bot」が含まれることを条件に制限してみたら効果があったので、いま詳細を調べる手間は掛けなくても良いかなと考えた。）📗