boxmoe_header_banner_img

Hello~ 欢迎来到ZeroKt工作室!

加载中

文章导读

个人爬虫练习


avatar
root 2025年11月5日 54

1.requests库的安装

注:Windows环境下使用cmd安装,Pycharm使用本地环境编译

pip install requests

2.基本的语法规则

import requests#导入requests库

url  = 'https://zerokt.cn'#自定义需要爬取的网站
resp = requests.get(url)#将爬取到的信息赋值给resp
a = resp.text

with open('zerokt.txt','w',encoding='utf-8') as f:#将爬取到的文件命名为zerokt.txt并保存到本地
    f.write(a)
    
print("命令执行成功!")

3.UA头绕过

UA头,全称User-Agent(用户代理),是浏览器在发送HTTP请求的时候自动填写的一个Header,用来识别当前浏览器的类型以及版本号等信息。

UA头绕过原理基于修改请求头中的用户代理信息,使服务器无法准确识别客户端类型,从而突破访问限制。

在浏览器中,可以这样找到自己的UA头:打开网页→右键→检查(或者审查元素和F12)→网络→刷新界面→随便打开一个界面并拉到最底部→复制UA头

import requests#导入库

url  = 'https://zerokt.cn/'#自定义网站链接
b = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:138.0) Gecko/20100101 Firefox/138.0'#浏览器UA头
}
resp = requests.get(url, headers=b)
a = resp.text
with open('zerokt.txt','w',encoding='utf-8') as f:
    f.write(a)
print("命令执行成功!")


评论(0)

查看评论列表

暂无评论


发表评论