robots.txt

2021-01-01

该项为必选置项，map类型，包含站点 robots 信息

在项目目录 public/robots.txt，可配置该项

配置

1User-agent: *
2Allow: /
Notice:
  • 该项为字典类型，支持配置多个非重名[name]配置项

释义

  1. User-agent

    指定爬虫的标识

  2. Allow

    指定允许的资源

举例