您现在的位置是:课程教程文章
爬虫中如何使用代理服务器爬取数据
2023-12-14 21:07课程教程文章 人已围观
Python全栈开发/爬虫/人工智能/机器学习
Python全栈开发/爬虫/人工智能/机器学习(此课程为Python全栈开发+人工智能 VIP班体验课,是免费公开课的形式) Pytho...2022造价考试计算器如何使用?杨润东老师
2022造价考试计算器如何使用?杨润东老师纯净考试学习交流群,共同通关2021考试!群内会安排出题、做题、练题、讨论...python爬虫特训营【爬虫工程师进阶之路】
python爬虫特训营【爬虫工程师进阶之路】...3天学会爬虫,一起开发爬虫项目实践(价
3天学会爬虫,一起开发爬虫项目实践(价课程背景:网络爬虫,又称网络机器人,可让代码代替人工实现自动化数据采集和...
一、爬取步骤
1、导入程序所需的库。使用代理服务器,可以新设函数(use_proxy)参数分别登录的网站和必要的代理服务器地址。然后定义代理服务器的具体IP地址和端口号。建立opener,其中opener需要添加相应的参数,即IP对象和urlib.request.HTTPHandler(固定)。然后将opener对象添加到全局对象。使用urlopen(url)打开特定的网站。
2、输入代理服务器的IP地址和端口号,输入打开的网页url,使用use_proxy()函数返回所需的data,因为数据很多,所以只显示数据的长度。
二、实例
import urllib.request def use_proxy(url,proxy_addr): proxy=urllib.request.ProxyHandler({"http":proxy_addr}) opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler) urllib.request.install_opener(opener) data=urllib.request.urlopen(url).read().decode("utf-8","ignore") return data proxy_addr="112.85.130.14:9999" url="http://www.baidu.com" data=use_proxy(url,proxy_addr) print(len(data))
以上就是爬虫中使用代理服务器爬取数据的方法,大家看完具体的爬取流程后,了解有关的爬取思路,就可以进行实例操作。如果大家想测试使用下,可以尝试品易云http代理ip,免费测试包含各种类ip资源,调用IP量!
推荐操作环境:windows7系统、Python 3.9.1,DELL G3电脑。
课程教程:爬虫中如何使用代理服务器爬取数据上一篇:爬虫获取代理服务器ip的方法
下一篇:没有了