社区讨论

Python3爬虫求助

学术版参与者 1已保存回复 0

讨论操作

快速查看讨论及其快照的属性,并进行相关操作。

当前回复
0 条
当前快照
1 份
快照标识符
@lo8bsnws
此快照首次捕获于
2023/10/27 16:02
2 年前
此快照最后确认于
2023/10/27 16:02
2 年前
查看原帖
rt

我不知道这个爬虫违不违规,违规紫衫

出现的问题:爬下来的网页源代码都是正确的,正则表达式也没有问题,就是最后输出uid数据时啥也没输出出来
代码:
PYTHON
from encodings import utf_8
import urllib.request
import urllib.robotparser
import requests
import re
import json
from urllib.parse import urlunsplit
uid = []
sum = 0
can = 'user=511253&page='
url='https://www.luogu.com.cn/api/user/followings?'#https://cdn.luogu.com.cn/upload/usericon/511253.png 
head={
   'Cookie' : '__client_id=【数据删除】; _uid=511253',
   'User-Agent': '【数据删除】'
}
for i in range(1,15):
   can2 = can+str(i)
   url2 = url+can2
   print(url2)
   html=requests.get(url2,headers=head)
   print(html.text)
   uid=re.findall('"uid":(\d*)',str(html.text),re.I)# "uid": 473754,"name": "何某某2",

for uid2 in uid:
   print(uid2[i])
   i = i+1
# url=requests.get('https://www.luogu.com.cn/')
# print(url.read().decode('utf_8'))
# robot=urllib.robotparser.RobotFileParser('https://www.luogu.com.cn/robots.txt')
# print(robot.can_fetch('image','https://www.luogu.com.cn/user/511253#following'))

回复

0 条回复,欢迎继续交流。

正在加载回复...