最近使用

热门推荐

限制目录:

每个路径之前都要包含:"/"

(留空为无)Sitemap:

谷歌为xml格式,百度为html格式

检索间隔:
所有搜索引擎:
  • ##
    允许
    拒绝
国内搜索引擎
  • 百度
    默认
    允许
    拒绝
  • SOSO
    默认
    允许
    拒绝
  • 搜狗
    默认
    允许
    拒绝
  • 有道
    默认
    允许
    拒绝
国外搜索引擎
  • 谷歌
    默认
    允许
    拒绝
  • Bing
    默认
    允许
    拒绝
  • 雅虎
    默认
    允许
    拒绝
  • Ask/Teoma
    默认
    允许
    拒绝
  • Alexa/Wayback
    默认
    允许
    拒绝
  • Cuil
    默认
    允许
    拒绝
  • MSN Search
    默认
    允许
    拒绝
  • Scrub The Web
    默认
    允许
    拒绝
  • DMOZ
    默认
    允许
    拒绝
  • GigaBlast
    默认
    允许
    拒绝
特殊搜索引擎(机器人)
  • Google Image
    默认
    允许
    拒绝
  • Google Mobile
    默认
    允许
    拒绝
  • Yahoo MM
    默认
    允许
    拒绝
  • Yahoo Blogs
    默认
    允许
    拒绝
  • MSN PicSearch
    默认
    允许
    拒绝

请将以下结果保存到记事本,命名为robots.txt上传到网站根目录

工具简介

Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

关于站长之家 | 联系我们 | 广告服务 | 友情链接 | 网站动态 | 版权声明 | 人才招聘 | 帮助

© CopyRight 2002-2024, CHINAZ.COM, Inc.All Rights Reserved.闽ICP备08105208号增值电信业务经营许可证闽B2-20120007号亿速云提供云服务器支持