无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
免空资源区
询问&求物
同人音声
网赚资源区
实用动画
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
茶馆
分享一个爬虫,可抓取2048,村花,魔性,老王论坛最新帖子(已打包成 exe 文件)
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
新 帖
|
浏览器收藏
|
打印
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
GF
2021-09-12 20:45
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
分享一个爬虫,可抓取2048,村花,魔性,老王论坛最新帖子(已打包成 exe 文件)
已打包成 exe 文件
在文件目录打开cmd命令窗口,运行命令:
如何再命令窗口运行exe文件教程:
https://zhidao.baidu.com/question/317017539.html?qbl=relate_question_0
复制代码
daily_updates.exe cunhua
daily_updates.exe moxing
daily_updates.exe laowang
daily_updates.exe 2048
如果是batch版,点击对应的 .bat 文件就可以了,然后浏览器打开对应的html文件
此帖售价 0 SP币,已有 251 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!
写这个目的是想省去上论坛翻资源的时间,爬虫会根据筛选条件自动抓出你想要的帖子。
爬取完成会根据结果生成 html 文件,浏览器可打开,页面显示风格和本坛的图片模式类似。
结果会保存到本地,每次爬取都会对比本地数据库,然后筛选出最新发的帖子在html页面置顶显示。
设置:
设置保存在 config.json 文件内
可设置筛选条件:包含关键词(不同优先级),排除关键词,作者,子版块号
其他设置:爬取页数,并发数量(越大越快),论坛域名
如果论坛的网址换了,更改设置里的论坛域名就行。
参考图:
python3.8, 需要安装的外部库: pip install lxml jinja2 aiohttp
爬取不同论坛需要分别传入不同的参数,示例如下:
复制代码
python daily_updates.py cunhua
python daily_updates.py moxing
python daily_updates.py laowang
python daily_updates.py 2048
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B1F
2021-09-12 20:48
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 1楼(holyS) 的帖子
附件里啊,打包zip文件
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B2F
2021-09-12 20:54
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 5楼(c0d6160e) 的帖子
ffmpeg我也是看文档现学现用的,有问题谷歌吧,你给的信息太少了我也帮不了你。
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B3F
2021-09-15 11:09
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
已打包成 exe 文件
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B4F
2021-09-15 18:30
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
测试
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B5F
2021-09-16 00:14
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 48楼(黑羽凌云) 的帖子
不能直接点击exe文件,要把它拖到命令行里运行
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B6F
2021-09-16 00:14
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 49楼(keoki) 的帖子
要不给你们加个batch文件吧?
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B7F
2021-09-17 00:12
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 64楼(3d69b648) 的帖子
这好像是一个 bug ,具体看:
https://stackoverflow.com/a/67056687/11887333
解决方法上面有,不过我建议你再 cmd 里设置环境变量,python 会自动继承,你搜一下如何设置 cmd 环境变量。
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B8F
2021-09-17 00:14
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 65楼(thestone) 的帖子
你的报错信息说的很明白了 FileNotFoundError: [Errno 2] No such file or directory:" config. json'
这点基础的英文懂吧? 所有文件都放在一个文件夹里不要移动,不然怎么读配置?
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B9F
2021-09-18 15:02
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
那就换utf-8
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B10F
2021-09-18 19:48
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 85楼(Metatron) 的帖子
with open("config.json", "r") as file:
这一行,改成
with open("config.json", "r", encoding="utf-8") as file:
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B11F
2021-10-01 13:42
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 136楼(墨血红尘) 的帖子
运行结果截图我看看
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B12F
2021-10-03 14:59
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 138楼(墨血红尘) 的帖子
windows如果是中文系统的话好象默认编码是GBK?
复制代码
with open(f"{self.platform['platform']}_DailyUpdates.html", "w") as fh:
这一行改成
复制代码
with open(f"{self.platform['platform']}_DailyUpdates.html", "w", encoding="utf-8") as fh:
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B13F
2021-10-09 10:27
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
编辑
顶端
回复
引用
分享
上一主题
下一主题
南+ South Plus
茶馆
[-- 查看移动版 --]