Robots文件生成器(Robots.txt是放在站点根目录下一个纯文本文件,指定搜索引擎蜘蛛抓取指定的内容,或是禁止搜索引擎蜘蛛抓取网站部分或全部内容)
限制目录:
每个路径之前都要包含:"/"
增加限制目录
Sitemap: (留空为无):
谷歌为xml格式,百度为html格式
增加Sitemap
默认-所有搜索引擎:
允许
拒绝
检索间隔:
不限
5 Seconds
10 Seconds
20 Seconds
60 seconds
120 Seconds
国内搜索引擎
百度
默认
允许
拒绝
SOSO
默认
允许
拒绝
搜狗
默认
允许
拒绝
有道
默认
允许
拒绝
国外搜索引擎
谷歌
默认
允许
拒绝
Bing
默认
允许
拒绝
雅虎
默认
允许
拒绝
Ask/Teoma
默认
允许
拒绝
Alexa/Wayback
默认
允许
拒绝
Cuil
默认
允许
拒绝
MSN Search
默认
允许
拒绝
Scrub The Web
默认
允许
拒绝
DMOZ
默认
允许
拒绝
GigaBlast
默认
允许
拒绝
特殊搜索引擎(机器人)
Google Image
默认
允许
拒绝
Google Mobile
默认
允许
拒绝
Yahoo MM
默认
允许
拒绝
Yahoo Blogs
默认
允许
拒绝
MSN PicSearch
默认
允许
拒绝
提示:请将以下结果保存到记事本,命名为robots.txt上传到网站根目录(点击复制可复制全部结果)
生成的robots结果:
# robots.txt generated at http://www.jsons.cn/robots/ User-agent: * Disallow: