前几天有人问我,可以帮我抓取摩拜单车的数据嘛?
我想着帮他抓取下次他还是不会,古话说的好:授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取app的内容吧。
fiddle的安装及配置
抓手机包我用的是fiddle。
安装
先在下载页面下载-→https://telerik/download/fiddler
选择你“准备用fiddle来干嘛”
你的邮箱
以及同意“最终用户许可协议”就可以下载了
下载后按照提示安装就可以了。
配置
源码 群 5952 66089
开始抓包
首先确保电脑和手机连在同一个wifi下面
打开fiddle
获取电脑ip
打开cmd命令行
输入ipconfig,如图所示,192.168.31.146就是我的ip地址
打开手机wifi设置,找到你当前链接的wifi
我当前链接的是xiaomi_e172_5g
设置代理服务器为你电脑的ip,端口号为上面设置的端口号(默认为8888)
安装https证书
在手机浏览器上打开 你电脑ip:你设置的端口号
我的是192.168.31.146:8888
点击框框处安装证书
设置fiddle监听所有请求
选择all process
打开摩拜单车app
然后你会看到定位的时候一辆车也没有。。。
打开个人详情页还提示“抱歉,服务暂不可用。
这是因为摩拜有防抓取限制(我猜是检测,如果有使用代理的话,直接让你用不了。。。)
那这样的话我们就没办法抓到么???
因为我之前还用过摩拜的小程序,所以我们抓抓微信小程序试试看
打开摩拜单车的小程序
我们看到已经定位了。。,并且把附件的单车都显示出来了
我们可以多移动我们的位置,然后等有把附近的车显示出来
可以看到fiddle上面已经有好多请求了
mobike-api。。。这很明显就是我们要找的请求
请求头如下图所示,方法是post
返回值因为我看到是json的格式了,所以直接以json的格式看。
源码 群 59 5266089
可以看到我们已经抓取了需要的数据,那么怎么抓取整个上海的摩拜单车情况呢??
只要获取上海的所有经纬度,然后替换上面data中的经度及纬度就可以了。。。
那么怎么获取上海的所有经纬度。。。这方面没怎么接触。。
看完我相信大家应该多试几次就好了。比较实用的技巧奉上。