meta标签name="robots" content="index,follow"用法简介
name值
name值指示搜索引擎机器人列表,值为"robots"时指定的规则适用于所有搜索引擎,值为"googlebot"时指定的规则只适用于Google。
搜索引擎机器人(Specific Search Robots)列表
搜索引擎 Robots(机器人)
Google -- googlebot
MSN Search -- msnbot
Yahoo -- yahoo-slurp
Baidu -- baiduspider
Ask/Teoma -- teoma
Cuil -- twiceler
GigaBlast -- gigabot
Scrub The Web -- scrubby
DMOZ Checker -- robozilla
Nutch -- nutch
Alexa/Wayback -- ia_archiver
Naver -- naverbot, yeti
AltaVista -- scooter
AllTheWeb -- FAST-WebCrawler
Inktomi -- Slurp
特殊用途搜索引擎机器人(Specific Special Bots)列表
搜索引擎 Robots(机器人)
Google Image -- googlebot-image
Google Mobile -- googlebot-mobile
Yahoo MM -- yahoo-mmcrawler
MSN PicSearch -- psbot
SingingFish -- asterias
Yahoo Blogs -- yahoo-blogs/v3.9
了解更多关于数据库方面的知识,请访问上海数据库培训学校