如果一次采集的数据量过多,超过1W条左右,集采完毕入库后最后出现这种情况。
建议:可不可以边采集边入库,不要一次都采完了再一起入库。
我亲身体验好几回,手动采集时,如果意外把页面关掉了,之前采集的都白采了,再采还要从头再来
如果变成边采集边入库,就不会出现这种情况,比如说我采集到第650条时,页面被意外关闭了。
那我再打开页面再采的时候,之前那650条已经入库了。会从第651条继续开始采,这样就不会出现重新开始的情况。
----------------------------------------------------
还有,再提个建议,
正在采集的实时状态,
把“采集内容页:http://"前面加上排序
比如说:
当前采集总页数为:16500页
正在集采第:
1、采集内容页:http://www.xxx.com
2、采集内容页:http://www.xxx.com
3、采集内容页:http://www.xxx.com
4、采集内容页:http://www.xxx.com
...........
16500、采集内容页:http://www.xxx.com
采集完毕。
谢谢反馈,这个问题在下个版本修复,暂时可以设置下php的memory_limit参数
下个版本什么时候出来呀,现在有好多问题呀,影响使用啊,甚至使用不了啊。
嗯,正在开发中,最晚7月底
- 1蓝天采集器保存到本地文档excel后面后缀会变成几位随机字母
- 2蓝天采集器入库SQLSTATE23000: Integrity constraint violation: 1048 Column 'post_author' cannot be null
- 3影视站建设教程-零基础搭建影视站
- 4影视听书系统苹果cmsv10安装操作教程
- 5PbootCMS如何单独给某个栏目下的内容详情页设定seo标题规则
- 6极致cms使用常见问题集合
- 7蓝天采集器如何开启渲染模式触发防采集功能
- 8pbootcms在打开首页的时候No input file specified.解决办法
- 9蓝天采集器管理员账号密码限制有些短
- 10蓝天采集器为啥我的不能自动采集,有没有和我遇到同样问题的?
- 11proc_open函数如何开启操作教程
- 12蓝天采集器WordPress子比主题Zibll 版本:5.7.1入库插件使用说明
- 13MetInfo企业网站管理系统(米拓cms)火车头采集入库使用教程
- 14蓝天采集器资讯列表页链接采集规则教程分享
- 15蓝天采集器求助-内容页网址获取- 测试时和实际采集时结果不同
- 16蓝天采集器安装到最后一步出错了!怎么回事啊
- 17蓝天采集器采集两个就停下不动了
- 18163K网站系统X10_V1升级教程
- 19新手站长快速操作PbootCMS安装百度统计代码教程
- 20蓝天采集器WordPress采集发布是直接是html文本,求解决!
-
蓝天采集器求教高手,安装完成后,进后···
Call to undefined function AdminControllermysql_get_server_info()什么情况 PHP是什么版本? PHP Version 7.1.1 用php7以下版本试试,高版本···
-
蓝天采集器群主希望能支持destoo···
群主希望能支持destoon7.0 谢谢支持,cms开发都会完善
-
pbootcms详情页判断有无轮播图···
现在许多详情页都有多图轮播的情况,但是一些少数内容确没有这个图片,就会出现空白不太美观,针对这种情况呢我们就需要写一个判断,当没有多图时候,就换别的图片代替,话不多说一起跟着蜀戎网络来学习一下吧。{pboot:if('{conten···
-
蓝天采集器求助大神,这个规则怎么写
研究了好久,获取内容网址总是失败,实在没办法了!麻烦大神帮我写一下吧!谢谢讲解一下做个参考 http://bbs.paidai.com/kj 想要采集这个页面所有的主题 该怎么写,越详细越好 1.起始网址:http://bbs.paida···
-
蓝天采集器关于判断
本帖最后由 chinapostm 于 2018-8-3 15:13 编辑 有没有办法让 如果某个字段等于N时就跳过这条信息不采集 排重功能,我绑定了其中一个字段也没有起到排重的作用 试试数据处理》过滤词》检测到过滤词跳过采集(字段值···