Google 网站管理员工具增加 - 生成 robots.txt
生成 robots.txt 文件:
1. 使用 Google 帐户登录 Google 网站管理员工具
2. 在左侧列中, 点击工具, 并点击生成 robots.txt
3. 选择您的默认漫游器访问权限, 我们建议您允许所有漫游器, 并通过以下步骤排除您不希望访问您网站的特定漫游器. 这将有助于防止您的网站发生意外拦截关键抓取工具的问题
4. 指定任何附加规则. 例如, 将 Googlebot 拦截于您的网站的全部文件及目录之外:
4.1. 在操作列表中, 选择 Disallow
4.2. 在漫游器列表中, 点击 Googlebot
4.3. 在文件或目录对话框中, 输入 /. 要指定一项以上条目, 请在每一行后点击 ENTER, 并在新的一行中输入新的条目
4.4. 单击添加. robots.txt 文件代码将自动生成
5. 保存 robots.txt 文件, 方法是下载文件或将内容复制到文本文件并保存为 robots.txt. 将文件保存到您网站的顶级目录下
了解更多关于 robots.txt 的信息.
郑州网站优化小组