社区讨论
Python3爬虫求助
学术版参与者 1已保存回复 0
讨论操作
快速查看讨论及其快照的属性,并进行相关操作。
- 当前回复
- 0 条
- 当前快照
- 1 份
- 快照标识符
- @lo8bsnws
- 此快照首次捕获于
- 2023/10/27 16:02 2 年前
- 此快照最后确认于
- 2023/10/27 16:02 2 年前
rt
我不知道这个爬虫违不违规,违规紫衫
出现的问题:爬下来的网页源代码都是正确的,正则表达式也没有问题,就是最后输出uid数据时啥也没输出出来
代码:
PYTHONfrom encodings import utf_8
import urllib.request
import urllib.robotparser
import requests
import re
import json
from urllib.parse import urlunsplit
uid = []
sum = 0
can = 'user=511253&page='
url='https://www.luogu.com.cn/api/user/followings?'#https://cdn.luogu.com.cn/upload/usericon/511253.png
head={
'Cookie' : '__client_id=【数据删除】; _uid=511253',
'User-Agent': '【数据删除】'
}
for i in range(1,15):
can2 = can+str(i)
url2 = url+can2
print(url2)
html=requests.get(url2,headers=head)
print(html.text)
uid=re.findall('"uid":(\d*)',str(html.text),re.I)# "uid": 473754,"name": "何某某2",
for uid2 in uid:
print(uid2[i])
i = i+1
# url=requests.get('https://www.luogu.com.cn/')
# print(url.read().decode('utf_8'))
# robot=urllib.robotparser.RobotFileParser('https://www.luogu.com.cn/robots.txt')
# print(robot.can_fetch('image','https://www.luogu.com.cn/user/511253#following'))
回复
共 0 条回复,欢迎继续交流。
正在加载回复...