bingbot 一直抓重覆的網頁
這幾天一直查到 bingbot 一直抓重覆的網頁 『GET /search』。從行為為來理解，個人就會覺得很奇怪，是微軟的程式沒寫好還是怎樣，同一頁一直抓一直抓有義意嗎？如果說是隔陣子或隔天就算了，它是同時間一直抓取。任務排程壞了嗎？
問題是針對這種必要的爬蟲好像也不能隨意擋。只能期望它自已趕快好吧。不過它昨天跑了 22192 次。前天跑了 24780 次。算次數的指令如下。有需要的自已可參考一下
cd /var/log/apache2
cat log檔案 | grep "GET /search" | wc -l
