禁止垃圾蜘蛛访问

平常网站比较多垃圾蜘蛛访问，如果不做禁止的话，不仅消耗服务器资源，也会对搜索产生影响；

可以在nginx的配置文件那个做个限制，在location里加上以下，就可以仅限制某些设备访问，其他返回499

 if ($http_user_agent ~* "(Bytespider|bytespider)") {

          return 499;

          break;

      }

      if ($http_user_agent !~* "(Android|UCBrowser|sogou|yisouspider|iPhone|android|ipad)") {

          return 499;

          break;

      }