我们在使用蓝天采集器采集内容的时候会遇到一些加载在别的页面上的信息;但是呢有一些内容呢又需要在内容里面关联获取到这个时候呢我们就需要加上关联页。
何为关联页呢:比如从内容页面获取到ID;但是没有相关的url链接,这个时候呢我们就需要把采集到的ID和相关联的链接进行组合为一个内容链接,这个就是关联页。
我们采集这个新浪体育的评论;
https://sports.sina.com.cn/basketball/nba/2020-09-26/doc-iivhuipp6514843.shtml
我们的内容直接在页面上可以采集到,但是评论确不在页面上,这种情况就需要我们用关联页来进行采集。
操作教程如下:直接F12查看源代码;查找我们需要采集的的内容;如上图所示是我们的内容所在区域,通过这里的开头和结尾标签就可以直接把内容采集到。接下来我们就需要找评论链接了。
源代码里面是没有我们的评论链接的直接点击页面查看所有评论;
以上的链接就是我们评论的链接,但是我们查看源代码的时候发现页面上没有需要的内容说明它是ajx传输的,直接F12刷新。
我们刷新看到内容已经出来了;链接为:
http://comment5.news.sina.com.cn/page/info?format=json&channel=ty&newsid=comos-ivhuipp6514843
到这里的我们的评论就已经找到了接下来就是在采集器里面添加规则了;
comos-ivhuipp6514843 复制这个ID在内容页面搜索即可找到;
添加好了记得保存点击测试一下;
关联页测试成功说明我们的规则是对了的,接下来就是写内容字段了。
相关知识点:- 1蓝天采集器怎么才能循环采集某个页面的相同值
- 2蓝天采集器数据库问题
- 3PbootCMS出现登录失败,表单提交校验失败等情况怎么办?
- 4蓝天采集器无法安装怎么回事???
- 5蓝天采集器本地安装操作教程-蜀戎cms网录制
- 6蓝天采集器BUG反馈:标题排重无法正常使用
- 7蓝天采集器蓝天采集器安装好后仍提示安装
- 8蓝天采集器入库SQLSTATE23000: Integrity constraint violation: 1048 Column 'post_author' cannot be null
- 9蓝天采集器请在官方推荐的站点下载,勿下载任何第三方提供的软件
- 10pbootcms系统网站必须要做的seo要点
- 11蓝天采集器安装问题求助!安装后index.php丢失index问题,附解决方法
- 12163K网站系统微信支付、支付宝支付,实时原路退款,设置教程(X版)
- 13蓝天采集器无法检测到本地CMS
- 14蓝天采集器内容页网址保存后自动被替换,然后导致无法采集
- 15163K系统S2版升级S3前注意事项和准备工作
- 16蓝天采集器系统内核会升级吗
- 17RGCMS在线安装操作教程
- 18163K网站系统微信小程序注册流程与代码发布教程
- 19蓝天采集器如何加大采集数量!!!设置自动采集
- 20蓝天采集器自动采集不定时停止运行
-
emlog6.0在线安装程序教程
先去官网下载最新的安装包https://emlog.net/em_download/emlog/emlog_6.0.0.zip 将src文件夹下的所有文件上传到服务器或者虚拟主机你要安装emlog的目录,注意是src下的内容,不是把src这···
-
蓝天采集器需要多表发布,ID关联,能···
绑定表中有这个功能说明: 如需获取表的自增主键值,选择“自定义内容”输入“auto_id@表名”,例如“auto_id@table123”,注意:表是按顺序插入数据,前面的表不能获取后面表的自增主键值
-
七牛云加速域名开启https教程
作为一名站长来说网站页面的打开访问速度是非常重要的一环,如果一个页面加载时间过长,前提:七牛云加速域名开启https,需要有加速域名的ssl证书。一、登录七牛云 http://www.qiniu.com,进入控制台,在产品主页-S···
-
化妆品/服装行业网站建设方案
服装/箱包/皮具行业网络营销需要一整套模式,服装行业网站是要建设,但是必须是建立一个具有高营销力的营销型网站,服装行业网站不只是一个名片网站,而是要让你的网站为您带来价值,为您企业创造利润,通过网站带来成交客户,让您公司的形象在互联网上更好···
-
蓝天采集器无法检测到本地CMS
无法正确检测到本地dedecms 和 phpcms ,是要把skycaiji放到cms的子目录吗? 手动填写cms目录D:/wwwroot/dedecms@dedecms后,又提示发布错误:没有数据库配置 放哪个目录都可以,但必须和cms···