这些元标记控制搜索引擎如何抓取和索引页。
一、name值
name值指示搜索引擎机器人列表,值为"robots"时指定的规则适用于所有搜索引擎,值为"googlebot"时指定的规则只适用于Google。
搜索引擎机器人(Specific Search Robots)列表
搜索引擎 Robots(机器人)
Google -- googlebot
MSN Search -- msnbot
Yahoo -- yahoo-slurp
Baidu -- baiduspider
Ask/Teoma -- teoma
Cuil -- twiceler
GigaBlast -- gigabot
Scrub The Web -- scrubby
DMOZ Checker -- robozilla
Nutch -- nutch
Alexa/Wayback -- ia_archiver
Naver -- naverbot, yeti
AltaVista -- scooter
AllTheWeb -- FAST-WebCrawler
Inktomi -- Slurp
特殊用途搜索引擎机器人(Specific Special Bots)列表
搜索引擎 Robots(机器人)
Google Image -- googlebot-image
Google Mobile -- googlebot-mobile
Yahoo MM -- yahoo-mmcrawler
MSN PicSearch -- psbot
SingingFish -- asterias
Yahoo Blogs -- yahoo-blogs/v3.9
二、content值
指定引擎机器人搜索规则,有以下几种值:
1、none 搜索引擎将忽略此网页,等价于noindex,nofollow。
2、noindex 搜索引擎不索引此网页,防止网页被索引。
3、nofollow 搜索引擎不继续通过此网页的链接索引搜索其它的网页。
4、nosnippet: 在搜索结果中显示当前页时,不要显示页面摘要(google用)
5、all 搜索引擎将索引此网页与继续通过此网页的链接索引,等价于index,follow。
6、index 搜索引擎索引此网页。
7、follow 搜索引擎继续通过此网页的链接索引搜索其它的网页。
8、noodp/noydir 不使用DOMZ、Yahoo!目录中描述作为网页摘要
了解更多关于电商方面的知识,请访问上海电商培训学校