博客
关于我
Python爬虫IP代理教程,让你不再为IP被封禁发愁!
阅读量:645 次
发布时间:2019-03-15

本文共 1053 字,大约阅读时间需要 3 分钟。

文章目录

本文来源没啥特别,因为没使用ip代理导致爬取boos直聘数据时,ip被封了,不过好在已解决,想看看博主的爬虫文章的可以点击下方链接,还是蛮全的。

一、免费代理ip地址推荐

芝麻代理需要注册,但注册后每天可以领取代理,还是很不错的

站大爷和快代理都有免费的开放代理
快代理也可以注册账号,在免费代理页面通过人工客服也可以领取试用独有IP

二、reuqests的ip代理

文章使用 http://httpbin.org/ip 这个测试 HTTP 请求及响应的网站

没使用ip代理之前

import requestsresponse = requests.get("http://httpbin.org/ip")print(response.text)

在这里插入图片描述

使用ip代理之后

import requestsproxy = {       'http': '171.35.171.247:9999'}response = requests.get("http://httpbin.org/ip",proxies=proxy)print(response.text)

可以看见返回的ip和代理的ip一样

在这里插入图片描述

三、selenium的ip代理

没使用代理之前

from selenium import webdriverdriver = webdriver.Chrome()driver.get("http://httpbin.org/ip")

在这里插入图片描述

使用代理之后

from selenium import webdriveroptions = webdriver.ChromeOptions()#添加IP代理options.add_argument("--proxy-server=http://183.166.149.193:20005")driver = webdriver.Chrome(chrome_options=options)driver.get("http://httpbin.org/ip")

在这里插入图片描述

四、ip代理大坑(重点)

ip代理有http和https的区别,但很多小伙伴不清楚到底有什么区别,经过博主踩坑后终于搞懂了,在线分享给大家

1.

在这里插入图片描述
在这里插入图片描述

2.

在这里插入图片描述

在这里插入图片描述

结论:如果请求的ip是https类型的,但代理的ip是只支持http的,那么还是使用本机的ip,

如果请求的ip是http类型的,那么代理的ip一定要是http的,前面不能写成https。

尾声

觉得博主写的不错的读者大大们,可以点赞关注和收藏哦,谢谢各位!

在这里插入图片描述

转载地址:http://tdolz.baihongyu.com/

你可能感兴趣的文章
NASA网站曝严重漏洞,或将沦为黑客钓鱼网站?
查看>>
Nash:轻量级、安全且可靠的脚本语言
查看>>
NAS、SAN和DAS的区别
查看>>
NAS个人云存储服务器搭建
查看>>
NAT PAT故障排除实战指南:从原理到技巧的深度探索
查看>>
nat 网卡间数据包转发_你是不是从来没有了解过光纤网卡,它跟普通网卡有什么区别?...
查看>>
NAT-DDNS内网穿透技术,快解析DDNS的优势
查看>>
NAT-DDNS内网穿透技术,快解析DDNS的优势
查看>>
NAT-DDNS内网穿透技术,解决动态域名解析难题
查看>>
natapp搭建外网服务器
查看>>
NativePHP:使用PHP构建跨平台桌面应用的新框架
查看>>
Native方式运行Fabric(非Docker方式)
查看>>
Nat、端口映射、内网穿透有什么区别?
查看>>
Nat、端口映射、内网穿透有什么区别?
查看>>
nat打洞原理和实现
查看>>
NAT技术
查看>>
NAT模式/路由模式/全路由模式 (转)
查看>>
NAT模式下虚拟机centOs和主机ping不通解决方法
查看>>
NAT的两种模式SNAT和DNAT,到底有啥区别?
查看>>
NAT的全然分析及其UDP穿透的全然解决方式
查看>>