刷微博没流量了?别担心,python帮你
全文简介 本文是用python爬取微博移动端的数据。可以看一下robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉。所以,不要难为别人,到最后其实是在难为你自己。至于为什么不爬pc端,原因是移动端较简单,很适合爬虫新手入门。有时间再写pc端吧！ 环境介绍 python3 windows-10-64位 微博移动端 这里小编为各位想学习python的小伙伴谋福利啦,小编知道个学习交流,还免费分享学习资料的好地方,欢迎各位大牛小白入住 群号: 网页分析 以获取评论信息为例(你可以以自己的喜好获得其他数据)。如下图: 在这里就会涉及到一个动态加载的概念,也就是我们只有向下滑动鼠标滚轮才会加载出更多的评论数据。这也是网页经常使用的方式。接下来就应该找到评论信息的真实网址,找到真实网址的方法就是打开浏览器的开发者工具,火狐谷歌是f12键。打开如下: 打开以后点击网络,网络用来记录浏览器和服务器交换的信息。接下来将鼠标滚轮缓慢向下滚动,在这个过程中就会弹出类似于上图的信息,也就是评论信息加载出来了。找到评论信息,应该会在第一条。如下图: 真实网址: 将网址在火狐里面打开如下图: 上面的网址其实pages=3就代表第三页,所以只需模拟网址即可,pages=4,5,6。。。。 另外由于是json文件,所以提取数据非常方便,只需用切片操作即可。 python代码 代码写的丑,凑合着看吧。