meta标签是放在html网页中head头部标签内的,我们可以通过设置html元素标签中name="robots"相应的content属性值来告诉所有搜索引擎蜘蛛爬虫如何抓取页面。 在SEO中,对于蜘蛛的控制是非常重要的一部分内容,所以希望各位看官准确把握这部分的内容。
<meta name="robots" content="index">
但是要禁止所有搜索引擎蜘蛛爬虫抓取页面,就像这样写:
<meta name="robots" content="noindex">
<meta name="robots" content="属性值">
content="属性值"就是用来指定搜索引擎抓取方式,其属性值有all, none, index, noindex, follow, nofollow等。
2、指定单个搜索引擎写法:
我们已经知道,name=“robots”表示的是,所有的搜索引擎,如果想要content属性值的规则只适合被我们指定的搜索引擎的话,就把robots替换成你想要指定的搜索引擎种类。
比如,我只想禁止百度搜索引擎抓取页面,我们就应该这样写:
<meta name="baiduspider" content="noindex">
content的属性值也可以多个值,若包含多个属性值的时候,则需要用英文逗号隔开,注意同种属性正反两个方面(例如:index与noindex)不能同时出现在content之中。
< meta name="robots" content="index,follow">
< meta name="robots" content="noindex,follow">
< meta name="robots" content="index,nofollow">
< meta name="robots" content="noindex,nofollow">
content="index,follow",也可以直接用 content="all"代替,两者作用是相同的;同理,content="noindex,nofollow",可以直接用 content="none"代替;
还有需要注意的是,我们不能把对立的两个属性值写在一起,例如:"index,noindex"和"noindex,nofollow"两种组合是不成立的!
129 天前