meta标签robots写法详解及对SEO的影响
现在建站,经常会使用别人做好的现成的模板,比如wordpress模板,织梦模板等,用起来简单省事。
但是使用现有的cms模板的时候一定要自己查看一下模板的meta标签robots这一项,因为这个标签不同的写法对于网站的影响是非常大的。如果这个meta标签里的robots协议被写成noindex的话,网站的收录就悲剧了。
现在像谷歌、百度、360搜索、搜狗搜索、神马搜索等主流搜索引擎都已经很好地支持了tobots标签。那么这些html中meta有什么用?该怎么写呢?
现在来看一下robots标签的写法和对应的意义:
<meta name='robots' content='index,follow'/>
HTML
上面这个例子是一个标准的robots写法,前面robots指明这个meta标签的属性,是固定的,后面的index表示可以收录当前页面,follow表示可以爬取此页面上的其他链接。这个值是可变的。一共有八项。分别是:index、noindex、follow、nofollow、all、none、nodp、nodir。现在最后两项已经没多少实用价值了。所以介绍一下前几个。
index:允许收录当前页
noindex:禁止收录当前页
follow:允许爬取当前页面上的其他链接
nofollow:禁止爬取当前页面上的其他链接
all:允许收录当前页并且允许爬取当前页面上的其他链接(与上面的index,follow的组合作用相同,所以可以简写成all)
none:禁止收录当前页并且禁止顺着当前页爬取其他链接(效果等同于noindex,nofollow)
meta name=“robots”可以使用标签组合来表达不同意思:
比如下面这个写法:
<meta name='robots' content='index,nofollow'/>
HTML
表示可以抓取当前页但是禁止顺着当前页爬取其他链接。
但是,不可以使用相互冲突的组合,比如index,noindex这样写是不行的。
这个标签的默认值为all,所以如果从模板中删掉这个标签,的话跟写上all的意义是一样的。我们可以灵活运用这个meta标签的不同组合来提高网站对于搜索引擎的友好度。
- Pingback: SemrushBot是什么蜘蛛能否禁止抓取,宝塔应该怎么屏蔽 - 水木生活