Responsive image

keoki - 2021-09-12 20:45 [GF]
已打包成 exe 文件

在文件目录打开cmd命令窗口,运行命令:
如何再命令窗口运行exe文件教程:https://zhidao.baidu.com/question/317017539.html?qbl=relate_question_0

复制代码

  1. daily_updates.exe cunhua
    daily_updates.exe moxing
    daily_updates.exe laowang
    daily_updates.exe 2048


如果是batch版,点击对应的 .bat 文件就可以了,然后浏览器打开对应的html文件

此帖售价 0 SP币,已有 250 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!





写这个目的是想省去上论坛翻资源的时间,爬虫会根据筛选条件自动抓出你想要的帖子。

爬取完成会根据结果生成 html 文件,浏览器可打开,页面显示风格和本坛的图片模式类似。
结果会保存到本地,每次爬取都会对比本地数据库,然后筛选出最新发的帖子在html页面置顶显示。

设置:

设置保存在 config.json 文件内

可设置筛选条件:包含关键词(不同优先级),排除关键词,作者,子版块号

其他设置:爬取页数,并发数量(越大越快),论坛域名

如果论坛的网址换了,更改设置里的论坛域名就行。



参考图:




python3.8, 需要安装的外部库: pip install lxml jinja2 aiohttp

爬取不同论坛需要分别传入不同的参数,示例如下:

复制代码

  1. python daily_updates.py cunhua
    python daily_updates.py moxing
    python daily_updates.py laowang
    python daily_updates.py 2048


holyS - 2021-09-12 20:47 [B1F]
厉害了,问题是分享的py文件呢


3028d73e - 2021-09-12 20:48 [B2F]


keoki - 2021-09-12 20:48 [B3F]
附件里啊,打包zip文件


可口不可樂 - 2021-09-12 20:49 [B4F]


c0d6160e - 2021-09-12 20:51 [B5F]
大哥,请教一个问题可行?我最近刚学会用ffmpeg录制MFC的直播,用猫爪抓取m3u8,一开始几天没有任何问题,但是前天开始我录制的那个主播录制失败,错误提示是
,Error when loading first segment “…………某pts文件地址…………………”Invalid data found when processing input

关键是我试了其他的主播,完全没有问题,我一共发现两个主播有这种错误提示,非常迷惑。求技术大佬指点迷津,跪谢大佬了。




发霉的萝卜干 - 2021-09-12 20:52 [B6F]
虽然我不会用爬虫但还是顶楼主


keoki - 2021-09-12 20:54 [B7F]
ffmpeg我也是看文档现学现用的,有问题谷歌吧,你给的信息太少了我也帮不了你。


c0d6160e - 2021-09-12 21:01 [B8F]
谷歌也没有结果,谷歌全是媒体播放列表的m3u8文件(playlists.m3u8,这里面有.ts切屏列表),而MFC的是主播放列表(playlists_sfm4s.m3u8,这种仅包含播放列表信息类型,可选1080p、720p,这种信息)
谷歌解决不了问题,三天没找到


月光大剑 - 2021-09-12 21:07 [B9F]
感谢分享。


底层萌新 - 2021-09-13 00:45 [B10F]
感谢分享。


是个发的就和发 - 2021-09-13 04:20 [B11F]
感谢,mark一下


pppooo123 - 2021-09-13 08:46 [B12F]
感谢分享,Mark


吱吱 - 2021-09-13 08:46 [B13F]
虽然不会用,但还是要顶一下


G弦 - 2021-09-13 09:39 [B14F]
makr,希望大佬能出个exe的


洗洗更健康 - 2021-09-13 11:26 [B15F]


普罗米修斯 - 2021-09-13 11:39 [B16F]
mark


windy19s - 2021-09-13 12:18 [B17F]
感谢分享


朝圣之行 - 2021-09-13 17:32 [B18F]
6啊 这技术


OpenWrt - 2021-09-13 17:58 [B19F]
感谢分享


岁月时代 - 2021-09-13 18:49 [B20F]
mark


奇怪的xp - 2021-09-13 19:14 [B21F]
开帖子问,巴里什么大佬都有2333


啦啦啦 - 2021-09-13 19:20 [B22F]


九曜神法师 - 2021-09-13 19:37 [B23F]
感谢,mark一下


hallo world - 2021-09-13 19:45 [B24F]
需要exe  不会用啊


七海里 - 2021-09-13 19:51 [B25F]
感谢,mark了


shizihang462 - 2021-09-13 20:00 [B26F]
mark感谢


大熊要过河 - 2021-09-13 23:05 [B27F]
mark


黑羽凌云 - 2021-09-13 23:13 [B28F]
草,不会用,我是fw


裕叶 - 2021-09-13 23:56 [B29F]
先收藏吧,学Python就是用在这里!


九幽 - 2021-09-14 01:11 [B30F]
感谢mark






桌面版


Powered by SP Project v1.0 © 2010-2019
Time 0.002223 second(s),query:3 Gzip enabled


Top