semrushbot是国外一家提供seo数据分析的网站蜘蛛，在中文站长圈并不多见，并且对于我们来说没有什么意义，建议中文网站直接屏蔽。这个网站也有中文版的seo工具，但是鲜为人知。

屏蔽方法：直接在robots.txt加入下面代码：

User-agent: SemrushBot
Disallow: /

还有一种方法

 linux nginx 服务器配置， 宝塔面板可以在 网站配置里加上屏蔽 这些垃圾蜘蛛在来的时候 只能得到444 没有任何数据 然后就不会再来了

if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) {
return 444;
}
这样 网站日志会显示出 444 0数据。

不影响正常蜘蛛抓取

这样 谷歌蜘蛛，百度蜘蛛都是 显示正常抓取。正常发送数据