requests发送请求
开发者工具的使用
json类型数据解析
正则表达式的使用
python源码、视频教程、插件安装教程、资料我都准备好了,直接在文末名片自取就可
版 本: python 3.8
编辑器: pycharm
如何安装python第三方模块:
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令
作用: 采集数据 / 模拟用户行为
思路(需求)分析
找到真实的数据来源
https://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=1nzf&st=desc&sd=2022-12-23&ed=2023-12-23&qdii=&tabSubtype=,,,,,&pi=1&pn=50&dx=1&v=0.23686521743641853
代码流程
访问到该地址
获取数据
提取数据
保存数据
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
import requests # 发送请求 第三方
import re
with open('ttjj.csv', mode='a', encoding='utf-8', newline='') as f:
f.write('基金代码,基金全称,基金简称,日期,单位净值,累计净值,日增长率,近1周,近1月,近3月,近6月,近1年,近2年,近3年,今年来,成立来,成立日期,,自定义(2022-12-23至2023-12-23),,,,手续费,,')
f.write('\n')
headers = {
'Referer': 'https://fund.eastmoney.com/data/fundranking.html',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
}
for page in range(1, 258):
url = f'https://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=1nzf&st=desc&sd=2022-12-23&ed=2023-12-23&qdii=&tabSubtype=,,,,,&pi={page}&pn=50&dx=1&v=0.23686521743641853'
# 访问到该地址
response = requests.get(url=url, headers=headers)
# 获取数据
rankData = response.text
# 解析数据
datas = re.findall('datas:(.*?),allRecords', rankData)[0]
data_list = eval(datas)
for data in data_list:
print(data)
# 保存数据
with open('ttjj.csv', mode='a', encoding='utf-8') as f:
f.write(data + '\n')
感谢你观看我的文章呐~本次航班到这里就结束啦 🛬
希望本篇文章有对你带来帮助 🎉,有学习到一点知识~
躲起来的星星🍥也在努力发光,你也要努力加油(让我们一起努力叭)。