小莫的博客园


记录一些可能有用的东西

【Python】爬虫之使用伪装来反“反爬虫”机制

  1. 1. 代码：

如果遇到某些网站有反爬虫的时候，就需要用到反反爬虫功能了，
安装依赖库

1
pip install urllib3

代码：

1
2
3
4
5
6
7
8
9
10
11
import urllib3
#建立连接
http = urllib3.PoolManager()
#设置User-Agent
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#使用指定的User-Agent进行访问
r = http.request('GET', 'https://mod.3dmgame.com/mod/API/147160', headers={
	'User-Agent': user_agent
})
#打印数据
print(r.data.decode('utf-8'))

以上内容输出

1
{"id":"147160","mods_version":"0.81","mods_author":"◕小莫◕","mods_click_cnt":289410,"mods_download_cnt":89079,"mods_mark_cnt":36727,"mods_collection_cnt":18679,"mods_updateTime":"2020-03-29 15:39:57"}
本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可
, ,