无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
询问&求物
免空资源区
同人音声
网赚资源区
游戏资源
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
茶馆
分享一个爬虫,可抓取2048,村花,魔性,老王论坛最新帖子(已打包成 exe 文件)
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
新 帖
|
浏览器收藏
|
打印
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
GF
2021-09-12 20:45
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
分享一个爬虫,可抓取2048,村花,魔性,老王论坛最新帖子(已打包成 exe 文件)
已打包成 exe 文件
在文件目录打开cmd命令窗口,运行命令:
如何再命令窗口运行exe文件教程:
https://zhidao.baidu.com/question/317017539.html?qbl=relate_question_0
复制代码
daily_updates.exe cunhua
daily_updates.exe moxing
daily_updates.exe laowang
daily_updates.exe 2048
如果是batch版,点击对应的 .bat 文件就可以了,然后浏览器打开对应的html文件
此帖售价 0 SP币,已有 250 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!
写这个目的是想省去上论坛翻资源的时间,爬虫会根据筛选条件自动抓出你想要的帖子。
爬取完成会根据结果生成 html 文件,浏览器可打开,页面显示风格和本坛的图片模式类似。
结果会保存到本地,每次爬取都会对比本地数据库,然后筛选出最新发的帖子在html页面置顶显示。
设置:
设置保存在 config.json 文件内
可设置筛选条件:包含关键词(不同优先级),排除关键词,作者,子版块号
其他设置:爬取页数,并发数量(越大越快),论坛域名
如果论坛的网址换了,更改设置里的论坛域名就行。
参考图:
python3.8, 需要安装的外部库: pip install lxml jinja2 aiohttp
爬取不同论坛需要分别传入不同的参数,示例如下:
复制代码
python daily_updates.py cunhua
python daily_updates.py moxing
python daily_updates.py laowang
python daily_updates.py 2048
顶端
回复
引用
分享
thestone
作者资料
发送短消息
加为好友
UID:
822458
精华:
0
发帖:
334
HP:
0 点
SP币:
7056 G
昵称: thestone
在线时间: 1358(小时)
注册时间:
2017-07-15
最后登录:
2024-04-27
B1F
2021-09-16 21:45
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
用不了 报错
顶端
回复
引用
分享
thestone
作者资料
发送短消息
加为好友
UID:
822458
精华:
0
发帖:
334
HP:
0 点
SP币:
7056 G
昵称: thestone
在线时间: 1358(小时)
注册时间:
2017-07-15
最后登录:
2024-04-27
B2F
2021-09-16 23:00
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
报错信息
Traceback (most recent call last) :
File" daily_updates.py ",line 282,in<module>
FileNotFoundError: [Errno 2] No such file or directory:" config. json'
[8168] Failed to execute script daily_updates
顶端
回复
引用
分享
thestone
作者资料
发送短消息
加为好友
UID:
822458
精华:
0
发帖:
334
HP:
0 点
SP币:
7056 G
昵称: thestone
在线时间: 1358(小时)
注册时间:
2017-07-15
最后登录:
2024-04-27
B3F
2021-09-17 19:46
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 70楼(keoki) 的帖子
我下的是batch版啊 就直接解压出来用不了 在cmd运行exe就提示上面那个
顶端
回复
引用
分享
上一主题
下一主题
南+ South Plus
茶馆
[-- 查看移动版 --]