我们来自五湖四海,不为别的,只因有共同的爱好,为中国互联网发展出一分力!
领航时时彩重庆版

时时彩不定位胆算法:使用shell脚本找出网站的空页面和404错误页面

2014年11月29日03:27 阅读: 29288 次

领航时时彩重庆版 www.9nwl5.cn 标签: 使用shell脚本找出网站的空页面和40

这篇文章主要介绍了使用shell脚本找出网站的空页面和404错误页面,本文使用一句话实现,需要的朋友可以参考下

早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。


记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和404错误页面。


废话不多说,直接上shell代码:




复制代码 代码如下:

time cat sitemap.txt|while read line;do
curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}"
"%{size_download}"\n";done

前面加了一个time是为了看看代码执行所花的时间


%{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的200链接,还是404错误链接;


%{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。

分享到: 更多
©2018 安全焦点 版权所有.

  • 奚国华委员:新兴际华将党建六大优势转化为发展优势 2018-12-06
  • 创业女青年哈丽娟:世界是自己的 与他人没关系 2018-12-06
  • 移植2胚怀5胎 一针减3化风险 十堰市人民医院再创生命奇迹 2018-11-06
  • 首届妈祖信俗“立德”论坛成功举办 2018-10-25
  • 郧西男孩两条腿“长”在一起 十堰市人民医院手术整形帮他迈开双腿 2018-10-25
  • 重磅 江西省委副书记李炳军同志任省委党校校长 2018-10-19
  • 商务部新闻发言人对美白宫6月18日声明发表谈话 2018-10-12
  • 从献血条件,看看你的身体是否达标 2018-09-26
  • 全国“非遗”保护工作先进名单公布 2018-09-26
  • 储大同 中国医学科学院肿瘤医院首席科学家 2018-08-15
  • 【理上网来·喜迎十九大】扶贫也创新!十八大以来年均减贫人数超1300万 获历史突破 2018-08-15
  • 开创美丽中国建设新局面 2018-08-13
  • 毛泽东三游故宫看了些什么 2018-08-13
  • 独家视频:新时代来啦! 2018-08-12
  • 旅游市场再创佳绩端午假期河北接待游客2026.77万 揽金147.79亿 2018-08-12
  • 748| 626| 156| 444| 263| 226| 702| 913| 542| 505|