加入收藏 | 设为首页 | 会员中心 | 我要投稿 | RSS
您当前的位置:首页 > 大数据 > 大数据技术

如何快速爬取B站全站视频信息

时间:2017-11-06 17:51:44  来源:互联网  作者:光环大数据

  B站我想大家都熟悉吧,其实B站的爬虫网上一搜一大堆。不过纸上得来终觉浅,绝知此事要躬行,我码故我在。最终爬取到数据总量为760万条。

准备工作

首先打开B站,随便在首页找一个视频点击进去。常规操作,打开开发者工具。这次是目标是通过爬取B站提供的api来获取视频信息,不去解析网页,解析网页的速度太慢了而且容易被封ip。

勾选JS选项,F5刷新

大数据

找到了api的地址

大数据

复制下来,去除没必要的内容,得到https://api.bilibili.com/x/web-interface/archive/stat?aid=15906633,用浏览器打开,会得到如下的json数据

大数据

动手写码

好了,到这里代码就可以码起来了,通过request不断的迭代获取数据,为了让爬虫更高效,可以利用多线程。

核心代码

result=[]

req=requests.get(url,headers=headers,timeout=6).json()

time.sleep(0.6)#延迟,避免太快ip被封

try:

data=req['data']

video=Video(

data['aid'],#视频编号

data['view'],#播放量

data['danmaku'],#弹幕数

data['reply'],#评论数

data['favorite'],#收藏数

data['coin'],#硬币数

data['share']#分享数

)

withlock:

result.append(video)

except:

pass

迭代爬取

urls=["http://api.bilibili.com/archive_stat/stat?aid={}".format(i)

foriinrange(10000)]

withfutures.ThreadPoolExecutor(32)asexecutor:#多线程

executor.map(run,urls)

不要一次性爬取全部链接,我是利用两个进程,这样就是多进程+多线程了。一个进程一次大概爬取50w条数据。100w条数据的话大概一个多小时吧。分多次爬取,分别将数据保存为不同的文件名,最后再汇总。

运行的效果大概是这样的,数字是已经已经爬取了多少条链接,其实完全可以在一天或者两天内就把全站信息爬完的。

大数据

至于爬取后要怎么处理就看自己爱好了,我是先保存为csv文件,然后再汇总插入到数据库。

来顶一下
返回首页
返回首页
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
在线客服
推荐资讯
相关文章
栏目更新