谈谈网站开发中的跳转方式
互联网是一个大杂烩，一个系统在公网上运行，随时面临着傻逼程序的进攻，在互联网的大家庭里，鱼龙混杂，技术水平参差不齐，特别是各种傻逼爬虫。这也是我写这篇文章的原因。本文主要讲解如何更好的在网站开发中使用跳转。当我在我的统计日志中发现大量的重定向之后，我觉得这些爬虫怎么可以这么傻逼，请看下面的日志，我截取的是比较短的一个记录，事实上最长的记录已经达到了 GET 请求的最大限制："GET //mall.db...
浅谈三大搜索引擎爬虫性感 B-G-B
，本篇给大家带来帮助。会 SEO 不一定懂技术，不懂技术怎么能精通 SEO？来看看吧？让你提升一个档次。就干货吧，不饶弯子了，直接上福利。先说说度娘吧？度娘你们懂的，顾名思义，就是很娘的意思，所以它的爬虫也比较娘，以前我就说过 2000 秒一次抓取，虽然不是每次都是 2000 秒，但基本就是非常不积极，非常不积极。一天抓个几百次就不得了了，每次间隔时间都很长，给人感觉很温柔，生怕被操痛了。就是这样吧。...
写网页爬虫遇到标签匹配难题
段时间写优化网页节点的程序时，遇到了标签匹配的难题。在匹配图片标签时，由于标签里面的 JavaScript 代码中含有大于号“>”导致无法匹配完整的标签内容。将这样的问题分享出来，不知道像百度啊他们的爬虫是如何处理这样的问题的。请看下面的代码： <!-- HTML DOCUMENT --> <IMG onmousewheel="return imgzoom(this);" onmouseover="i...
百度的爬虫 Baiduspider 也不过尔尔
针对性的对一些出名的大站的内容进行特别的优化和搜索处理。当然，它们干搜索这么多年，的确积累了一些经验，然后用这些不怎么样的经验强加给哪些影响力不大的网站，结果互联网的阶级就这样固化了。分析了下搜索引擎爬虫的行为。baidu spider 一般用的北京的联通 IP 地址进行网络抓取，baidu spider 对于新链接的态度异常缓慢，一般十天半个月才会去请求一次，请求了之后呢，然后进行两次渲染，分别是以...
从SEO效果看谷歌百度360搜狗有道bing技术现状
的，我的一位好朋友曾经这样对我说。 咱且先不管靠不靠谱，但是通过 SEO，可以看出当今互联网技术现状。 首先，如果你有一个大公司，有足够强的技术团队。那么我让你来做一个搜索引擎。你会怎么做？首先一定是爬虫设计，它的频率，它的对象，匹配入库，然后建立索引，分析链接，搜出结果，大概也就是这样的流程。你会去频繁的去抓取网页，当一篇文章被多个网站转载后，你会去对比时间吗，你能判断出正确的时间吗？你会通过谁是原...
使用Flask的redirect遇到的坑
方法跳转会将 https 地址跳转到 http 页面。为了解决这个问题，找了好多关于 flask 的文档，依然讲的不够详细，后来直接搜索 Python http 跳转，依然不知道怎么弄的，全是一些关于爬虫的文章，全是一样的内容。如果是 PHP，使用 header 函数就解决了，不知道 flask 为什么封装的那么不好用，还设计出 url_for 这个方法，并且跳转为什么要带上域名，站内跳转完全没有必要...
从网站统计功能看百度图片蜘蛛抓取错误地址
里面是否含有图片链接，然后试图抓取这些链接指向的图片。但是让我失望的是，它竟然分析错了，直接将图片的链接当做了相对路径来请求，这样就直接被网站统计捕捉到了。 从这些错误的抓取来看，虽然不能肯定百度图片爬虫最终是不是抓取了正确了图片，但至少可以肯定百度图片蜘蛛的程序不够严谨，链接里面带有了http协议头，竟然还会把它作为相对路径去请求资源。 下面附上百度图片蜘蛛错误抓取记录： 最后，祝福所有的朋友们平安...
一颗巨星的陨落 CodeWeBlog
音播放,服务器安全,JavaIO,工作资料,数据结构和算法,PHP开发,研发,汇编,【23】、架构师,转贴MultiMedia文章,EZ430-Chronos开发,nio,cloudify,高级进阶：爬虫-Nutch,免费PHP空间,服务器配置,Activiti,服务器开发,其它相关,iPhone,Language,每天一点点,脚本语言|PHP,我的生活,笔记,软件工程,JSUED,DICOM,C#研...
谷歌的原创检测是个小儿科
了最初的互联网机会，其技术真的很一般。相反大洋彼岸的 度娘 更注重技术。直接上结论。懒得比比了！谷歌做为互联网首屈一指的公司，其实它真实的技术能力只能说是一般般。相反的我认为其技术能力不如百度，从它的爬虫和网络技术就能看出来，操蛋！。谷歌搜索引擎的原创检测太傻逼了，直接就是从页面里面的链接来判断的，如果你把页面中的外链去掉，它就以为你是原创，以至于谷歌系的网站中出现了大量的采集站获取了它巨大的流量，变...
发现了某搜的惊天大 Bug
杂，屁民是局外人，不会明白的。最近的 Tesla 事件，有多少人看不明白，有多少人看的明白，若是按照外媒的分析，G J 怎么那么多阴谋啊，那么闲的？也不至于吧！！！ 可见搜索引擎内部错的离谱。。。1，爬虫抓取的内容窜台了，一定是把不同网站的内容搞混了，而产生了严重错误的统计。。。后台显示，屏蔽了某度 100 多个 ip，估计 ip 池都被屏蔽了，站长发现系统自动屏蔽了搜索引擎，第一时间进行检查，发现的...