宝塔面板Nginx 屏蔽搜索引擎蜘蛛抓取访问网站的方法

一些不做SEO的网站，不想蜘蛛来爬取我们的网站，而且大量的蜘蛛爬取记录也会占用服务器资源，严重的可能导致服务器CPU飙升到100%

这时候我们就有必要屏蔽掉蜘蛛抓取我们的网站。

使用”robots.txt”规范

在网站根目录新建空白文件，命名为”robots.txt”，将下面内容保存即可，更多蜘蛛标识可以参考继续添加。

User-agent: Baiduspider
Disallow:
User-agent: YisouSpider
Disallow:
User-agent: 360Spider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: sogou spider
Disallow:
User-agent: YodaoBot
Disallow:
User-agent: Googlebot
Disallow:
User-agent: bingbot
Disallow:
User-agent: *
Disallow: /

但是有些爬虫是不按规则出牌的，我们必须要能自己控制，就加上下面的方法

修改 Nginx 配置文件

以宝塔面板为例，找到网站修改，点击配置文件

    #禁止Scrapy等工具的抓取
    if ($http_user_agent ~ (Scrapy|Curl|HttpClient)) {
      return 403;
    }
    #禁止指定UA及UA为空的访问
    if ($http_user_agent ~ "SemrushBot|qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot|YandexBot|Bytespider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Ezooms|^$" ) {
		return 403;
    }
    #禁止非GET|HEAD|POST方式的抓取
    if ($request_method !~ ^(GET|HEAD|POST)$) {
      return 403;
    } 

注意：~为模糊匹配，~*为模糊匹配不区分大小写

一般这样设置后，识别到蜘蛛访问就会返回403代码了