meta标签name="robots" content="index,follow"用法简介

　　meta标签name="robots" content="index,follow"用法简介

　　name值

　　name值指示搜索引擎机器人列表，值为"robots"时指定的规则适用于所有搜索引擎，值为"googlebot"时指定的规则只适用于Google。

　　搜索引擎机器人(Specific Search Robots)列表

　　搜索引擎 Robots(机器人)

　　Google -- googlebot

　　MSN Search -- msnbot

　　Yahoo -- yahoo-slurp

　　Baidu -- baiduspider

　　Ask/Teoma -- teoma

　　Cuil -- twiceler

　　GigaBlast -- gigabot

　　Scrub The Web -- scrubby

　　DMOZ Checker -- robozilla

　　Nutch -- nutch

　　Alexa/Wayback -- ia_archiver

　　Naver -- naverbot, yeti

　　AltaVista -- scooter

　　AllTheWeb -- FAST-WebCrawler

　　Inktomi -- Slurp

　　特殊用途搜索引擎机器人(Specific Special Bots)列表

　　搜索引擎 Robots(机器人)

　　Google Image -- googlebot-image

　　Google Mobile -- googlebot-mobile

　　Yahoo MM -- yahoo-mmcrawler

　　MSN PicSearch -- psbot

　　SingingFish -- asterias

　　Yahoo Blogs -- yahoo-blogs/v3.9

　　了解更多关于数据库方面的知识，请访问上海数据库培训学校