使用 MitmProxy 自动抓取微信公众号阅读数、点赞和再看数据
某天接到一个需要抓取某某微信公众的所有历史文章的阅读数、点赞和再看数据的需求。
为了解放双手，用 Python 代码撸一个，选择 MitmProxy 代理作为抓博工具，因为它可以使用 Python 代码监听抓取到的 url，用于自动获取 cookie 等场景。
什么是 MitmProxy
mitmproxy 是一个支持 HTTP 和 HTTPS 的抓包程序，有类似 Fiddler 的功能。
mitmproxy 还有两个关联组件。一个是 mitmdumvp，它是 mitmproxyv 的命令行接口，可以利用 Python 代码监听请求。另一个是 mitmweb，它是一个 Web 程序，可以观察 mitmproxy 抓取的请求。
安装和设置
pipinstall mitmproxy安装好之后，将手机端的代理 IP 设置为和 PC 的 IP 地址一样，和代理端口设置为：8080，用下面命令启动
mitmweb将看到浏览器打开了一个http://127.0.0.1:8081//flows网页，这个是 MitmProxy 的 web 控制台
在手机端浏览器输入mitm.im获取 PC 证书 和手机端的证书，都安装一下
注意：android 手机在安装证书时需要在[从存储设备安装]界面安装
阅读数、再看、点赞抓取
当安装好证书和设置好手机端 IP 代理后，随便点击一篇微信公众号文章（这里使用本公众）
从图上可以看到，阅读、再看、点赞的 url 为https://mp.weixin.qq.com/mp/getappmsgext（提示：如果没有这个链接，可以右上角刷新文章），再看下它的 request 请求需要哪些东西
只需要一个文章 url、user-agent、cookie 和 body 这四个基本的数据，别看下面 body 里面有二三十个数据其实都是吓唬人的，只需要其中7个，分别是 __biz， mid， idx，sn 这四个参数是获取公众号文章内容的基石，可以在文章 url 处获得。其他三个参数的数据是固定的分别是 is_only_read = 1，is_temp_url = 0，appmsg_type = 9。getappmsgext 请求中的 appmsg_token 是一个有时效性的参数。
分析完链接后可以写代码了
articles.pyimporthtmlimportrequestsimportutilsfromurllib.parseimporturlsplitclassArticles(object):“””文章信息”””def__init__(self， appmsg_token， cookie):具有时效性self.appmsg_token = appmsg_token self.headers = {“User-Agent”:“Mozilla/5.0 AppleWebKit/537.36 (KHTML， like Gecko) Version/4.0Chrome/57.0.2987.132 MQQBrowser/6.2 Mobile”，“Cookie”: cookie } self.data = {“is_only_read”:“1”，“is_temp_url”:“0”，“appmsg_type”:“9”， }defread_like_nums(self， article_url):“””获取数据”””appmsgstat = self.get_appmsgext(article_url)[“appmsgstat”]returnappmsgstat[“read_num”]， appmsgstat[“old_like_num”]， appmsgstat[“like_num”]defget_params(self， article_url):“”” 获取到文章url上的请求参数 :param article_url: 文章 url :return: “””url转义处理article_url = html.unescape(article_url)“””获取文章链接的参数”””url_params = utils.str_to_dict(urlsplit(article_url).query，“&”，“=”)returnurl_paramsdefget_appmsgext(self， article_url):“”” 请求阅读数 :param article_url: 文章 url :return: “””url_params = self.get_params(article_url) appmsgext_url =“https://mp.weixin.qq.com/mp/getappmsgext?appmsg_token={}&x5=0”.format(self.appmsg_token) self.data.update(url_params) appmsgext_json = requests.post( appmsgext_url， headers=self.headers， data=self.data).json()if“appmsgstat”notinappmsgext_json.keys():raiseException(appmsgext_json)returnappmsgext_jsonif__name__ ==__main__: info = Articles(1068_XQoMoGGBYG8Tf8k23jfdBr2H_LNekAAlDDUe2aG13TN2fer8xOSMyrLV6s-yWESt8qg5I2fJr1r9n5Y5，rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWl3Xy1saXVWYllIVjAzdlM1VkNDNHgxeWpHOG9pckdkREMwTFEwYmNWMl9FZWtRU3pRRnhDS0pyV1BaZUVMWXN1ZWN0WnZ6aHFXdVBnbVhTY21BYnBSUXNCQUFBMLLAjfgFOA1AAQ==) a， b，c = info.read_like_nums(http://mp.weixin.qq.com/s?__biz=MzU1NDk2MzQyNg==&mid=2247486254&idx=1&sn=c3a47f4bf72b1ca85c99190597e0c190&chksm=fbdad3a3ccad5ab55f6ef1f4d5b8f97887b4a344c67f9186d5802a209693de582aac6429a91c&scene=27wechat_redirect) print(a， b， c)示例结果
阅读数 点赞数 再看数15612318动态获取 cookie 和 appmsg_token
appmsg_token 是一个具有时效性的参数，和 cookie 一样是需要改变的，当这两个参数过期时需要从抓包工具（MitmProxy 中）ctrl+C，ctrl+V到代码中，很是麻烦。
MitmProxy 可以使用命令行接口 mitmdumvp 运行 Python 代码监听抓取的链接，如果抓到了https://mp.weixin.qq.com/mp/getappmsgext保存在本地文件并退出抓包
mitmdump 命令
-s 运行的python脚本, -w 将截取的内容保持到文件mitmdump-s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext监听脚本
coding: utf-8write_cookie.pyimporturllibimportsysfrommitmproxyimporthttpcommand: mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgextclassWriterCookie:“”” mitmproxy的监听脚本，写入cookie和url到文件 “””def__init__(self， outfile: str)->None:self.f = open(outfile，“w”)defresponse(self， flow: http.HTTPFlow)->None:“”” 完整的response响应 :param flow: flow实例， “””获取urlurl = urllib.parse.unquote(flow.request.url)将url和cookie写入文件if“mp.weixin.qq.com/mp/getappmsgext”inurl: self.f.write(url +\n) self.f.write(str(flow.request.cookies)) self.f.close()退出exit()第四个命令中的参数addons = [WriterCookie(sys.argv[4])]监听脚本写好之后，再来写启动命令和解析 url，cookie 文件的模块
read_cookie.pyimportreimportosclassReadCookie(object):“”” 启动write_cookie.py 和 解析cookie文件， “””def__init__(self， outfile):self.outfile = outfiledefparse_cookie(self):“”” 解析cookie :return: appmsg_token， biz， cookie_str· “””f = open(self.outfile) lines = f.readlines() appmsg_token_string = re.findall(“appmsg_token.+?&”， lines[0]) biz_string = re.findall(__biz.+?&， lines[0]) appmsg_token = appmsg_token_string[0].split(“=”)[1][:-1] biz = biz_string[0].split(“__biz=”)[1][:-1] cookie_str =;.join(lines[1][15:-2].split(]， [)).replace(总结
虽然本文可能有那么一点点一点点的标题党，并没有完全的自动抓取数据，还需要人为的刷新一下公众号文章。希望小伙伴们不要介意哈。需要源码的小伙伴可关注私信！
