{$Think.lang.coll_name}
网页编码
内容解压缩
自动补全网址
是 否

将所有页面源码中的相对地址转换成绝对地址（包含超链接、图片、JS链接等）

重复采集网址
是 否

默认将已采集网址排重过滤，选择“是”允许重复采集

网址中文转码
是 否

网址中如果存在中文、特殊字符和空格会导致抓取失败，需要对中文、特殊字符和空格进行转码才能正常解析

网址去除锚点
是 否

通常情况下网址中有锚点（#）和无锚点解析出的内容是相同的，为避免采集到重复内容可去除网址锚点

网址采集顺序
乱序 倒序 正常

以哪种顺序采集内容页网址，默认按正常顺序采集

页面渲染
是 否

需先配置页面渲染，可自动加载ajax内容，注意：渲染后的html源码与未渲染时的不相同，html的变动可能会导致原来的规则失效！

正则匹配模式
区分大小写 识别unicode字符

使用正则规则时进行以上模式匹配，默认情况下仅忽略大小写

#### 请求头信息

#### 抓取页面

全局开启
是 否

采集前置页、起始页、多级页、内容页和关联页时使用请求头信息

UserAgent 浏览器标识
Cookie 缓存数据
Referer 来源网址
自定义

名称 | 值 | 删除

添加新的或者覆盖已有的请求头信息

#### 下载图片

开启
是 否

下载图片时使用请求头

使用全局请求头
默认：否 是 否

默认使用采集器设置»请求头信息»抓取页面中的配置（受全局开启状态影响）

自定义

名称 | 值 | 删除

添加新的或者覆盖已有的请求头信息

#### 下载文件

开启
是 否

下载文件时使用请求头

使用全局请求头
默认：否 是 否

默认使用采集器设置»请求头信息»抓取页面中的配置（受全局开启状态影响）

自定义

名称 | 值 | 删除

添加新的或者覆盖已有的请求头信息

#### 前置页列表

前置页规则

名称 | 内容标签 | 操作
--- | --- | ---

#### 起始页列表

起始网址

添加起始网址作为抓取入口

{include file="cpattern:set_page" _page_type="source_url" /}
{if condition="!empty($collData['id'])"}
{/if}
注意：起始页网址已设置为内容页网址！

#### 多级页网址获取

多级页规则

级别 | 名称 | 内容标签 | 操作
--- | --- | --- | ---

#### 内容页网址获取

{include file="cpattern:set_page" _page_type="url" /}

#### 关联页网址获取

关联页规则

名称 | 从页面中提取 | 内容标签 | 操作
--- | --- | --- | ---

{if condition="!empty($collData['id'])"}
{/if}
字段列表 添加默认

字段 | 数据来源 | 获取方式 | 操作 | 标题排重 | 内容排重
--- | --- | --- | --- | --- | ---

开启循环入库后，将以第一个循环字段的数量为准，后面的循环字段会映射第一个循环字段的索引并自动获取相应位置的值入库，非循环字段则以当前值入库；如开启了分页，分页内容也会循环入库

#### 数据处理（通用）

通用数据处理
{include file="cpattern:set_pagination" _page_type="url" /} {if condition="!empty($collData['id'])"}
{/if}
{include file="cpattern:set_tpl" /}