a5.gif

keoki

GF  2021-09-12 20:45
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)

分享一个爬虫,可抓取2048,村花,魔性,老王论坛最新帖子(已打包成 exe 文件)

已打包成 exe 文件

在文件目录打开cmd命令窗口,运行命令:
如何再命令窗口运行exe文件教程:https://zhidao.baidu.com/question/317017539.html?qbl=relate_question_0

复制代码
  1. daily_updates.exe cunhua
  2. daily_updates.exe moxing
  3. daily_updates.exe laowang
  4. daily_updates.exe 2048


如果是batch版,点击对应的 .bat 文件就可以了,然后浏览器打开对应的html文件

此帖售价 0 SP币,已有 250 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!





写这个目的是想省去上论坛翻资源的时间,爬虫会根据筛选条件自动抓出你想要的帖子。

爬取完成会根据结果生成 html 文件,浏览器可打开,页面显示风格和本坛的图片模式类似。
结果会保存到本地,每次爬取都会对比本地数据库,然后筛选出最新发的帖子在html页面置顶显示。

设置:

设置保存在 config.json 文件内

可设置筛选条件:包含关键词(不同优先级),排除关键词,作者,子版块号

其他设置:爬取页数,并发数量(越大越快),论坛域名

如果论坛的网址换了,更改设置里的论坛域名就行。



参考图:




python3.8, 需要安装的外部库: pip install lxml jinja2 aiohttp

爬取不同论坛需要分别传入不同的参数,示例如下:

复制代码
  1. python daily_updates.py cunhua
  2. python daily_updates.py moxing
  3. python daily_updates.py laowang
  4. python daily_updates.py 2048

none.gif

holyS

厉害了,问题是分享的py文件呢

3028d73e


a5.gif

keoki

B3F  2021-09-12 20:48
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)

回 1楼(holyS) 的帖子

附件里啊,打包zip文件

可口不可樂


none.gif

c0d6160e

B5F  2021-09-12 20:51
(200斤大胖子)
大哥,请教一个问题可行?我最近刚学会用ffmpeg录制MFC的直播,用猫爪抓取m3u8,一开始几天没有任何问题,但是前天开始我录制的那个主播录制失败,错误提示是
,Error when loading first segment “…………某pts文件地址…………………”Invalid data found when processing input

关键是我试了其他的主播,完全没有问题,我一共发现两个主播有这种错误提示,非常迷惑。求技术大佬指点迷津,跪谢大佬了。



1415007.jpg

发霉的萝卜干

B6F  2021-09-12 20:52
(发霉的萝北)
虽然我不会用爬虫但还是顶楼主

a5.gif

keoki

B7F  2021-09-12 20:54
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)

回 5楼(c0d6160e) 的帖子

ffmpeg我也是看文档现学现用的,有问题谷歌吧,你给的信息太少了我也帮不了你。

none.gif

c0d6160e

B8F  2021-09-12 21:01
(200斤大胖子)

回 7楼(keoki) 的帖子

谷歌也没有结果,谷歌全是媒体播放列表的m3u8文件(playlists.m3u8,这里面有.ts切屏列表),而MFC的是主播放列表(playlists_sfm4s.m3u8,这种仅包含播放列表信息类型,可选1080p、720p,这种信息)
谷歌解决不了问题,三天没找到

1376560.jpg

月光大剑

感谢分享。

none.gif

底层萌新

感谢分享。

9.png

是个发的就和发

感谢,mark一下

1428457.jpg

pppooo123

B12F  2021-09-13 08:46
(无)
感谢分享,Mark

1187989.jpg

吱吱

虽然不会用,但还是要顶一下

74767.png

G弦

makr,希望大佬能出个exe的

洗洗更健康


普罗米修斯


1425059.jpg

windy19s

B17F  2021-09-13 12:18
(做个正常人)
感谢分享

none.gif

朝圣之行

6啊 这技术

none.gif

OpenWrt

B19F  2021-09-13 17:58
(哈哈哈哈哈……)
感谢分享

岁月时代


a6.gif

奇怪的xp

B21F  2021-09-13 19:14
([sell=0]  [/sell]长期求可以下载色花堂 98堂字幕的一部100 ..)

回 8楼(c0d6160e) 的帖子

开帖子问,巴里什么大佬都有2333

啦啦啦


889307.jpg

九曜神法师

B23F  2021-09-13 19:37
(为我等候的妳,为妳守候的我)
感谢,mark一下

1283332.png

hallo world

B24F  2021-09-13 19:45
(jokerzh)
需要exe  不会用啊

none.gif

七海里

B25F  2021-09-13 19:51
(maivn)
感谢,mark了

1451791.jpg

shizihang462

mark感谢

大熊要过河


8.gif

黑羽凌云

B28F  2021-09-13 23:13
(萝莉即是正义,妹控统治世界)
草,不会用,我是fw

140749.jpg

裕叶

先收藏吧,学Python就是用在这里!

208319.png

九幽

感谢mark