蓝天采集器设置

点击任务列表可以看到自己新建的任务,点击规则进入规则编辑界面也就是“采集器设置”界面

 

  • 输入采集规则名称和目标网站编码(可自动检测)
  • 页面渲染可自动加载出ajax内容,适用于js脚本较多的页面
  • 自动补全网址可以将网页中的相对地址(不包含域名的网址)转为绝对网址(包含域名)
  • 网址不排重,默认会将采集过的内容页排重处理,不排重适用于更新频繁的动态页面
  • 修改请求头信息以适应需要登录的、手机浏览的等界面

起始页网址

添加需要采集的目标列表页(比如说一个分类)

点击“+”号可批量添加网址,勾选“设置为内容页网址”可直接采集输入的网址,否则作为列表页需要进行分析提取出内容页网址

内容页网址

编写提取内容页网址的规则,默认提取所有网址,如需精准可设置“提取网址规则”(只提取文章网址)

多级网址获取:适用于小说、影视等连载形式的内容

只要内容页网址不是直接从起始页抓取的,都可以通过多级来获取

获取内容

“添加默认”可以自动设置几个常见的字段,能满足大部分文章类型的站点采集

如果目标数据格式比较复杂,可点击“+”自行编写字段规则,支持正则表达式、xpath、json等多种匹配方式

“数据处理”可将采集到的字段值进行过滤或替换内容,每个字段都可单独处理或使用通用处理

如需抓取分页,点击开启“内容分页”并编写规则,程序会自动抓取每个分页中的字段内容

测试规则

采集器配置完成后一定要记得击保存按钮,刷新后可在“内容页网址”选项卡和“获取内容”选项卡中看到测试按钮

测试列表页中抓取网址

测试页面中抓取数据

 

给TA打赏
共{{data.count}}人
人已打赏
蓝天采集器

蓝天采集器的安装以及升级

2021-7-3 13:41:20

蓝天采集器

蓝天采集器发布设置

2021-7-3 15:11:39

⚠️
wp百科网上的部份代码及教程来源于互联网,仅供网友学习交流,若您喜欢本文可附上原文链接随意转载。
无意侵害您的权益,请发送邮件至 aqiang-212@qq.com 或点击右侧 私信:wpbkw 反馈,我们将尽快处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索