例:一、网址 www.ABC.COM
二、获取到列表网址
- 1.ABC.COM/info.html
- 2.ABC.COM/info.html
- 3.ABC.COM/info.html
三、但是有一部分内容要从列表源代码中拼接得到网址获取的
- 1.ABC.COM/idkey=xxxxxxxxxx
- 2.ABC.COM/idkey=xxxxxxxxxx
- 3.ABC.COM/idkey=xxxxxxxxxx
1.ABC.COM/info.html和 1.ABC.COM/idkey=xxxxxxxxxx
现在遇到问题是:
如果第二步和第三步用多级网址的方式,在采集字段的时候不能获取到1.ABC.COM/info.html
如果用关联网址方式,则不能得到拼接网址
编辑字段可以指定数据源,起始页、多级、关联都可以抓取数据
admin 发表于 2018-8-6 23:25
编辑字段可以指定数据源,起始页、多级、关联都可以抓取数据
指定数据源之后,测试采集就不显示这个字段 测试采集因为直接输入内容页网址,所以抓取不到多级和起始页
测试发布可以显示
admin 发表于 2018-8-7 22:20
测试采集因为直接输入内容页网址,所以抓取不到多级和起始页
测试发布可以显示 ...
相关知识点: 网址 字段 测试
- 1蓝天采集器如何卸载删除操作教程
- 2PbootCMS配置面包屑导航
- 3蓝天采集器dede5.7发布不发标题
- 4蓝天采集器想爬去的页面 需要点击开始后才能出结果 怎么爬取
- 5蓝天采集器数据库问题
- 6蓝天采集器管理员账号密码限制有些短
- 7狂雨小说CMS-狂雨小说下载-采集规则-导入方法
- 8pbootcms常见的导航高亮下拉标签设置教程
- 9蓝天采集器循环入库的数据不到数据库
- 10蓝天采集器蓝天采集器V1.3版本更新文档,升级必看!
- 11蓝天采集器求助大神,这个规则怎么写
- 12新手站长快速操作PbootCMS安装百度统计代码教程
- 13蓝天采集器请问什么时候支持多页采集?
- 14PbootCMS前台和后台搜索中带字符搜不到结果,例如·:
- 15蓝天采集器Wordpress文章远程免登录发布接口插件操作教程
- 16蓝天采集器求教内容页网址采集规则设置
- 17蓝天采集器wordpress发布插件BUG
- 18蓝天采集器数据库发布时遇到组合的怎么办
- 19影视站建设教程-零基础搭建影视站
- 20蓝天采集器发布时绑定cms插件的时候提示搜索不到程序解决办法
-
极致cms公共配置
系统配置统一使用规则:{$webconf[配置参数]} 或者 通过方法获取{fun webConf(配置参数)} 扩展配置统一使用规则:标签名{$customconf[配置参数]["title"]} 【v1.3取消】标签···
-
蓝天采集器wrodpress本地调试···
wrodpress本地调试发布时显示 cURL error 28: Operation timed out after 922 milliseconds with 246537 out of 575991 bytes received 怎么···
-
蓝天采集器百度知道问题列表页测试抓取···
测试页面:https://zhidao.baidu.com/list?cid=110 使用采集器的 “测试抓取” 获取源码 问题列表部分只有一行字“当前没有适合您回答的问题,您可以尝试订阅更多兴趣标签。” 用QQ浏览器内的小号功能打开新···
-
蓝天采集器请问一下,多个任务是否可以···
请问一下,多个任务是否可以单独控制采集数量 比如说我有多个任务 第一个任务我只想采集10条数据 第二个任务我想采集100条 可以这样分别设置采集数量不 不能.
-
蓝天采集器米拓安装蓝天采集器详细教程···
米拓安装蓝天采集器详细教程哪位高人有啊? 和cms一样安装使用就可以,要绑定米拓程序需要开发cms发布应用,cms发布应用有bug还在完善中,暂时可以使用其他发布方式 admin 发表于 2018-3-21 11:24 和cms一样安装···