方法1.
以前因为企业新项目必须，收集过google舆地数据信息，另有一些商业网站数据信息。
简历以下：
1.IP务必必须，像@alswl 说的出现异常精确，ADSL。倘若有标准，确实能够跟主机房多申请办理外网IP。
2.在有外网IP的机械设备上，布署代理网络服务器。
3.你的程序流程，应用轮流培训更换代理网络服务器来会见要想收集的网址。
权益：
1.程序结构变化小，只必须代理作用。
2.凭证另一方网址天然屏障标准区别，你只必须加上大量的代理就可以了。
3.即使详尽IP被天然屏障了，你能立即把代理网络服务器退出就OK，程序结构不用变化。
方法2.
有小一部分网址的预防措施对比弱，能够掩藏下IP，改动X-Forwarded-for（好像那么拼。。。）就可以绕开。
绝大多数网址么，倘若要频繁爬取，一样平时仍旧要多IP。我对比喜爱的解决方法是国外VPS另配多IP，根据默认网关转换来完成IP转换，比HTTP代理高效率得多，估算也比大部分状况下的ADSL转换更高效率。
方法3.
ADSL 台本，检测是不是封号，随后不断转换 ip
设定查看頻率限定
正统的作法是侵吞该网址出示的服务项目插口。
方法4.
八年多网络爬虫简历的人对你说，国内ADSL是关键，多申请办理些路线，漫衍在好几个区别的电信网区局，能跨地区跨地区更强，自身写好断开重拨部件，自身写动态性IP跟踪服务项目，远程控制硬件配置重设（关键对于ADSL猫，避免 其服务器宕机），其他的责任分派，数据信息接受，都并不是问题。我的早已牢固运作了很多年了，稳稳的！
方法5.
1 user agent 掩藏和交替
2 应用代理 ip 和交替
3 cookies 的应急处置，有的网址对成功客户现行政策肥款些
友情提示：思考网络爬虫给别人网址产生的担负，be a responsible crawler :)
方法6.
尽量的仿真模拟客户个人行为：
1、UserAgent常常换一换；
2、会见時间间距设长一点，会见时间设置为随机数字；
3、会见网页页面的次序还可以任意着来
方法8.
网址封的根据一样平时是模块時间内特殊IP的会见频次.
我是将收集的责任按 目地网站的IP举办排序 根据操纵每一个IP 在模块時间内传出责任的数量,来劝阻封号.虽然,这一前题就是你收集很多网址.倘若仅仅收集一个网站,那麼只有根据多外界IP的方法来完成了.
方法9.
1. 对网络爬虫爬取举办工作压力操纵；
2. 能够思考应用代理的方法会见目地网站。
-减少爬取頻率，时间设置长一些，会见時间接受随机数字
-频繁转换UserAgent（仿真模拟电脑浏览器会见）
-多网页页面数据信息，任意会见随后爬取数据信息