1、新增cli命令行采集模式(可稳定自动采集),优化传统自动采集触发问题
2、数据处理增加关键词过滤、条件判断功能(根据是否满足条件决定采集或不采集)
3、新增应用程序开发,独立且打通蓝天采集器的应用
4、开发者可以安装“第三方平台”应用发展自己的业务
5、用户可以通过开发者搭建的“第三方平台”下载规则、插件等
6、使用json时可自动识别jsonp格式数据,字段》json提取增加循环入库功能
7、修复采集https网址报错,官方云平台升级https(2.1版本之前的云平台会打不开)
8、修复若干bug等
牛皮顶起来!
遇到一个奇葩的问题,从json获取内容页地址的时候,估计是网站为了防抓取,将内容页网址中加入了混淆字符串,采集的时候就出错了。所以需要一个功能在匹配出的内容页网址加一个处理方法,替换字符串。目前没办法对获取的网址进行再处理
- 1蓝天采集器抓取不了相对地址
- 2网站SEO优化100条解答经验分享1-30
- 3蓝天采集器在测试爬取字段的时候,一直在转圈
- 4蓝天采集器关于标题获取,部分标题带“-”获取不完整的解决办法
- 5蓝天采集器建议
- 6蓝天采集器js分页怎么解决
- 7蓝天采集器使用中发现几个问题
- 8蓝天采集器自动采集不定时停止运行
- 9盘企建站CMS在线宝塔安装操作教程
- 10蓝天采集器安装程序连接数据库时出错提示
- 11蓝天采集器请问一下,能采集JS渲染的内容吗?
- 12蓝天采集器自动采集插件在米拓5.3.19下无法采集
- 13蓝天采集器无法检测到本地CMS
- 14火车头使用5118伪原创出现采集内容处理插件运行出错:【errcode】:20031 【errmsg】【errcode】:200313 【errmsg】动态加载dll失败
- 15蓝天采集器这种情况怎么解决呀
- 16如何获取当前页面cookie填写在蓝天采集器里面
- 17蓝天采集器自动采集具体怎么用呢,需要服务器支持什么
- 18蓝天采集器1.1版,无法MYSQL入库
- 19163K网站系统X10_V1升级教程
- 20蓝天采集器如何导入函数插件使用操作教程
-
蓝天采集器远程图片采集下来能否保存至···
不支持oss 你可以将oss挂载到服务器
-
蓝天采集器保存图片超时
图片本地化大多数站基本都超时,请教下怎么修改下载时间。还有自动采集完全不运行,两个模式都不行,还有,有办法采集分页是动态加载的网站吗? 这些问题下个版本都将解决 分页是动态,如果能在页面中获取到下一页的页码,直接拼接成下一页网址就行了
-
wordpress升级主题出现Bri···
wordpress主题在全球范围内使用人数都是非常的多,就目前的外贸站几乎都在使用这个主题。在使用中我们也是会遇到各种各样的问题,今天刚安装好wordpress主题,由于安装的是一个老版本需要升级到最新版本,就直接在后台点击更新插件,更新主···
-
163K网站系统支付宝支付配置说明(···
在配置支付宝接口前,请确保您的网站已经部署HTTPS!相关教程:http://fuwu.163k.com/thread-64599-1-1.html 进入 支付宝的 蚂蚁开放平台https://open.alipay.com/登陆(老用···
-
网站的外链资源圈如何来建立
在网站优化中外链是我们必不可少的,每一个优秀的网站都有20+左右的优质外链资源,网站的排名和外链是有着直接的影响的。外链怎么样来添加发布,去那里寻找优质的外链如何来操作?外链资源圈又如何来建立呢今天蜀戎网络就给大家分享一下。一个网站没有多少···