我们来自五湖四海,不为别的,只因有共同的爱好,为中国互联网发展出一分力!
领航时时彩重庆版

破解时时彩北京赛车:使用shell脚本找出网站的空页面和404错误页面

2014年11月29日03:27 阅读: 30862 次

领航时时彩重庆版 www.9nwl5.cn 标签: 使用shell脚本找出网站的空页面和40

这篇文章主要介绍了使用shell脚本找出网站的空页面和404错误页面,本文使用一句话实现,需要的朋友可以参考下

早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。


记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和404错误页面。


废话不多说,直接上shell代码:




复制代码 代码如下:

time cat sitemap.txt|while read line;do
curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}"
"%{size_download}"\n";done

前面加了一个time是为了看看代码执行所花的时间


%{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的200链接,还是404错误链接;


%{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。

分享到: 更多
©2019 安全焦点 版权所有.

  • 这些“难民”大部分好吃懒做,无一技之长,犯罪率又高,你要接回去就噹祖宗供着吧。[哈哈] 2019-04-23
  • 铜梁这位30岁小伙抱上吉他骑着摩托去北极过生! 2019-04-23
  • 2018年世界杯防骗宝典!拒绝和骗子一起狂欢! 2019-04-16
  • [微笑]其实很简单就能破这个局:立法禁止通过房地产二次交易获利,炒房就会被杜绝,炒房一旦被杜绝,房价就会受正常供需关系影响波动在合理范围内。 2019-04-16
  • 中国人打仗?被逗了。独生子一代、捧在手里长大的90后00后、站在甲板上飒爽英姿、硝烟战火血肉横飞的场景、会失去行动能力的。这不是耸人听闻。 2019-04-14
  • 乌鲁木齐市水磨沟区开建两座立体停车库 2019-04-14
  • 吕洪蕾:网络信息技术在干部工作中的运用研究 2019-04-04
  • 聚焦中央经济工作会议 2019-03-30
  • 沈杰:在北京打拼的“90后”台湾律师 2019-03-30
  • 法国总统马克龙首次访华 法国居民期待成果 2019-03-25
  • 【新媒体矩阵】长城编小厨 2019-03-25
  • 1949年刚刚进入北平的人民日报校对科夜班工作场面 2019-03-22
  • 江西省“放管服”改革再出实招 2019-03-21
  • 让“毒跑道”绝迹 内蒙古各方联手共同监管校园跑道 2019-03-20
  • 宁夏石嘴山支队隆重举行退伍老兵欢送仪式 2019-03-19
  • 577| 193| 855| 183| 217| 926| 230| 110| 98| 991|