Python获取微博热搜的方法

  • 更新时间:2021-06-17 10:43:09
  • 编辑:松白枫
为找教程的网友们整理了相关的编程文章,网友何伟博根据主题投稿了本篇教程内容,涉及到网页、就是、获取、网站、访问相关内容,已被389网友关注,内容中涉及的知识点可以在下方直接下载获取。

参考资料

正文内容

为学习python的程序员分享一篇技术文章,知识点总结的很细,这里给大家转摘到这里,看完如果觉得有用请记得收藏。

Python获取微博热搜的方法

1、网页爬取思路

(一)获取网页内容(这里通俗的说就是用python程序访问网站,发送http请求)

(二)解析网页(就是筛出我们想要的数据)

2、实例

 微博热搜网址:https://s.weibo.com/top/summary

from requests_html import HTMLSession
import time
 
session = HTMLSession()
pa = session.get('https://s.weibo.com/top/summary')
 
def crawlWeiBoHot(i):
    phi = '#pl_top_realtimehot > table > tbody > tr:nth-child('+str(i)+') > td.td-02 > a'
    contain = pa.html.find(str(phi), first = True)
    with open(f"WbHot-{time.strftime('%Y-%m-%d')}.txt", "a+") as wb :
        wb.write(str(i)+'   '+contain.text+'\n')
 
for i in range(1, 51):
crawlWeiBoHot(i)

以上就是Python获取微博热搜的方法,希望能对大家有所帮助。

相关教程

用户留言