金狮镖局 Design By www.egabc.com
基本思路:
首先用开发者工具找到需要提取数据的标签列
利用xpath定位需要提取数据的列表
然后再逐个提取相应的数据:
保存数据到csv:
利用开发者工具找到下一页按钮所在标签:
利用xpath提取此标签对象并返回:
调用点击事件,并循环上述过程:
最终效果图:
代码:
from selenium import webdriver import time import re class Douyu(object): def __init__(self): # 开始时的url self.start_url = "https://www.douyu.com/directory/all" # 实例化一个Chrome对象 self.driver = webdriver.Chrome() # 用来写csv文件的标题 self.start_csv = True def __del__(self): self.driver.quit() def get_content(self): # 先让程序两秒,保证页面所有内容都可以加载出来 time.sleep(2) item = {} # 获取进入下一页的标签 next_page = self.driver.find_element_by_xpath("//span[text()='下一页']/..") # 获取用于判断是否是最后一页的属性 is_next_url = next_page.get_attribute("aria-disabled") # 获取存储信息的所有li标签的列表 li_list = self.driver.find_elements_by_xpath("//ul[@class='layout-Cover-list']//li") # 提取需要的数据 for li in li_list: item["user-id"] = li.find_element_by_xpath(".//div[@class='DyListCover-userName']").text item["img"] = li.find_element_by_xpath(".//div[@class='DyListCover-imgWrap']//img").get_attribute("src") item['class-name'] = li.find_element_by_xpath(".//span[@class='DyListCover-zone']").text item["click-hot"] = li.find_element_by_xpath(".//span[@class='DyListCover-hot']").text item["click-hot"] = re.sub(r'\n','',item['click-hot']) # 保存数据 self.save_csv(item) # 返回是否有下一页和下一页的点击事件的标签, return next_page,is_next_url def save_csv(self,item): # 将提取存放到csv文件中的内容连接为csv格式文件 str = ','.join([i for i in item.values()]) with open('./douyu.csv','a',encoding='utf-8') as f: if self.start_csv: f.write("用户id,image,所属类,点击热度\n") self.start_csv = False # 将字符串写入csv文件 f.write(str) f.write('\n') print("save success") def run(self): # 启动chrome并定位到相应页面 self.driver.get(self.start_url) while True: # 开始提取数据,并获取下一页的元素 next_page,is_next = self.get_content() if is_next!='false': break # 点击下一页 next_page.click() if __name__=='__main__': douyu_spider = Douyu() douyu_spider.run()
金狮镖局 Design By www.egabc.com
金狮镖局
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
金狮镖局 Design By www.egabc.com
暂无python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解的评论...
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
2024年10月08日
2024年10月08日
- 郭子.2001-原来你什么都不想要创作集丫滚石】【WAV+CUE】
- 《使命召唤:黑色行动6》新预告公布!10月25日发售
- Atlus《暗喻幻想》媒体评分汇总:高分好评如潮!
- 2024金摇杆奖提名揭晓 《黑神话》角逐最佳视觉设计!
- 群星《新说唱2024 第3期 (上)》[320K/MP3][32.76MB]
- 群星《新说唱2024 第3期 (上)》[FLAC/分轨][95.38MB]
- 群星《新说唱2024 第3期 (下)》[320K/MP3][31.36MB]
- 幻兽帕鲁手游什么时候正式上线 最新消息一览
- 西普大陆BOSS位置盘点 解锁天启纪元玩法
- 西普大陆精灵进阶培养攻略 精灵养成指南
- dnf手游法控法系职业哪个强 dnf手游法控法系职业强度排行
- 魔兽世界血藤护目镜图纸在哪买 wlk血藤护目镜图纸购买位置介绍
- 魔兽世界无畏远征军声望军需官在哪 wlk无畏远征军声望军需官坐标位置
- 逼迫中国选手弃权事件持续发酵 玩家抵制万代模型
- B社老员工在《星空》开发期间离职 他终于说出原因