Blackhole for Bad Bots – 坏爬虫的黑洞

Blackhole for Bad Bots是什么

Blackhole是一个WordPress安全插件，可以检测并在虚拟黑洞中捕获不良的爬虫/机器人，并拒绝它们访问您的整个网站。

一句话简介：这个插件提供了一段代码，需要你自己加代码到robots里头（大部分时候能自动加代码，不需要你动手/一般SEO插件都提供修改robots.txt的功能），代码告知爬虫们：不要爬代码里头的指定链接，当爬虫来爬网站内容时，如果它不遵守规则，就会被封禁，等于进入了宇宙黑洞中。

当然，不用担心常见的搜索引擎爬虫被屏蔽，譬如google、bing、百度、yandex、yahoo等，他们已经被加入白名单了。

注意：这个插件目前不支持多站点（multisite）

安装插件Blackhole for Bad Bots并激活
进入左侧菜单Blackhole>setting，如果你使用的是WordPress自动生成的robots，那么，这段代码会自动添加。你可以点击下图中图注3左上方的robots.txt file链接查看是否添加成功，如果添加成功，你不需要额外做其他配置了，这个功能已经生效了；如果未查看到代码被自动添加，请将robots rules复制下来，以便添加到robots文件中。此外你还可以按需调整通知邮箱以及爬虫白名单等，通常保持默认即可。

你也可以使用SEO插件来查看或修改Robots.txt的内容，譬如，我用的是Rank Math SEO插件，进入左侧菜单RANK MATH > general settings，然后进入edit robots.txt，即可查看与修改robots的内容。

不过，当你的网站还未开启搜素引擎收录时，则需要先开启搜素引擎收录，才能修改robots。