因为web服务器有运行时间限制,所以只要采集执行时间太长都会导致程序中断,需要修改web服务器的超时时间
IIS服务器:
桌面>计算机>右键>管理>服务和应用程序>IIS>根目录>FastCGI 设置>双击"php-cgi.exe">活动超时
apache服务器:
apache目录confextrahttpd-default.conf,修改Timeout
nginx服务器:
nginx目录conf
ginx.conf,修改 fastcgi_connect_timeout
修改以上的参数值可让采集不再中断,修改完后记得重启服务器!
其他服务器请自行百度
如果你是虚拟主机无法修改配置,唯一方法就是设置采集数量,每次不要采集太多,一般web服务器运行时间为30秒,尽量不要超时!
网页自刷新执行采集,可以做到无人值守一直抓取。
代码大概如下:设置的2分钟采集间隔,下面代码设置的125秒刷新一次。
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <meta http-equiv="refresh" content="125"> <div id='numDiv'>...</div> <script src="http://www.xxx.cn/caiji/index.php?s=/admin/Task/collect&id=3"></script> <script type="text/javascript"> var num=125; var interval=setInterval(function(){ if(num==0){ clearInterval(interval); } numDiv.innerHTML=num--; numDiv.innerHTML=numDiv.innerHTML+"秒后刷新本页面"; },1000); </script> </body>相关知识点: 蓝天采集器 自动采集停止 图片下载不了
- 1蓝天采集器采集小说示例教程
- 2蓝天采集器请求MAC如何设置渲染采集?
- 3蓝天采集器怎么取到图片的名字啊
- 4163K网站系统升级S版后注意事项(含S5)
- 5PbootCMS性能优化研究之网页响应速度
- 6蓝天采集器测试的时候没有问题。真正采集出现这种问题
- 7蓝天采集器请问下discuz采集别人网站的iframe视频链接发布没内文如何...
- 8PbootCMS中文域名获取授权码注意点
- 9蓝天采集器发布设置,点击保存后,没有任何变化
- 10蓝天采集器关于列表页当作内容页采集的疑问
- 11蜀戎seo教你分分钟破解eval(function(p,a,c,k,e,d){}))的JavaScript代码
- 12蓝天采集器请在官方推荐的站点下载,勿下载任何第三方提供的软件
- 13Bty分销系统v5忘记密码找回的2个操作方法
- 14wordpress升级主题出现Briefly unavailable for scheduled maintenance. Check back in a minute解决方法
- 15狂雨小说CMS模版下载与设置
- 16蓝天采集器支持苹果cms吗
- 17蓝天采集器可以在任务列表做一个复制的功能吗?
- 18pbootcms您访问路径含有非法字符,防注入系统提醒您请勿尝试非法操作!
- 19163K网站系统结算/提现自动支付到微信零钱的教程(X版)
- 20蓝天采集器自动采集-访问触发 里面的参数怎么啊?有没有大神解答一下
-
蓝天采集器管理员可以加个功能不
可以在发布项加个模拟发布的功能吗?可以自定义发布参数字段,拼接采集后的结果,模拟发布 其实直接写好规则,测试发布就可以看到效果了 模拟发布不好做,因为和cms打通是单向的,发布后数据就已经在cms中了,删除只能登陆cms后台操作
-
蓝天采集器图片本地化问题,请问一下站···
已经提取出图片地址 发布方式 是直接提交到数据库了,请问一下应该怎么设置,能先把图片本地化,然后再提交数据库。 暂时还不支持链接形式下载图片,可以参考下http://bbs.skycaiji.com/forum.php?mod=vie···
-
蓝天采集器Discuz发布帖子不显示···
内容里面有图片,有什么方法可以解决吗
-
蓝天采集器图片本地化的功能,目前貌似···
设置》采集设置中 选中图片本地化,windows,linux测试均正常 图片保存在根目录data/images中,文件名会根据图片网址和时间自动生成,不会起冲突 请提供下你的服务器环境,且安装程序时php的gd库提示是否已安装 我的也···
-
蓝天采集器Z-BlogPHP 1.5···
没搞定,配置好后抓瞎了,不会操作,有搞定的能否分享个,谢谢了