Roadmap

[yzqzss]

接下来的工作是：

[yzqzss]

WikiTeam#436

这个 BUG 在当前 saveweb 的 test 分支中没有复现，也许是我们已经避免了这个 BUG ，或者是我系统环境的原因（Linux Mint 21.1）。

[yzqzss]

已解决： fa5e3cc

[yzqzss]

测试参数是 "--api", "https://fr.wikiversity.org/w/api.php", "--xml", ，接下来还需要检验 --xmlrevision 、 --curonly、--index 。

[yzqzss]

WikiTeam#438

合并并测试此PR.（应该不会有问题）

[yzqzss]

已完成： 1bbba09...97639e1

[yzqzss]

• 支持 sha1 验证。

MediaWiki 1.32 改了 rev_sha1 ，需要用前一个修订版本的内容 sha1 和 当前版本的内容 sha1 共同生成当前的 rev_sha1 。
以前的API行为是返回当前版本的内容 sha1 。

[yzqzss]

过于复杂，且没有必要。只要简单验证一下文字的 byte size 能不能对上就行，简单又好用。

[yzqzss]

• 支持图片/文件的增量 dump 或 http cache（减少对源站的流量消耗），同时解决 Not resuming images downloading after errored out mediawiki-client-tools/mediawiki-dump-generator#15 的问题。

[yzqzss]

已在 images.txt 中加入了 API/Special:Imagelist 返回的 size 和 sha1 参数。

完成了：

• 在下载后，写文件前，检查 len(r.content) == size 是否能对上。（这里没用到 sha1）
• 在 resume 的时候，先检查 文件 和 文件.desc 是否存在，再检查文件的 size 和 sha1 是否与 images.txt 对应，中间任意环节没通过都会重新下载文件和文件的 .desc 。如果都通过了，则跳过此文件的下载。

  可以随便删除任意文件和文件的 .desc ，都能增量恢复。

[yzqzss]

因为更改了 resume 恢复图片下载的逻辑，所以不再需要向 generateImageDump() 传入 start 变量。这部分的代码已清除。

[yzqzss]

• 完善地解决 HTTP 429 问题。

[yzqzss]

发现 mwclient 可以传 pool=seesion 让其使用我们定义好的 session 。这样或许可以解决这个问题。

[yzqzss]

已完成

[yzqzss]

有人报告说没解决，之后实际测试一下。

[yzqzss]

• 尝试修复似乎某个环节 requests 的请求参数应该带 'wikitext'，但是却不知为何带了 'wikitextwikitext' 导致备份某站点时，源站API报错。

[yzqzss]

无法重现，搁置。也许没问题？

[yzqzss]

• 在同时提供 api.php 和 index.pho 的时候，有些流程优先使用 index.php ，有些又优先 api.php ，有点混乱，要简单整理/优化一下流程和机制，可以做张流程图说明一下。

[yzqzss]

理清楚了。

[yzqzss]

• 设置 CI 。

[yzqzss]

建了多个版本的 mediawiki 站，但是还需要填充数据。

[yzqzss]

• 合并来自 https://github.com/WikiTeam/wikiteam/pull/ 的可用 PR。

[yzqzss]

有用的PR已合并（

[yzqzss]

• 给现有函数添加类型注释。

[yzqzss]

由于使用了 tuple 类型注释，可能需要 py3.9+ 才能运行。

[yzqzss]

• BUG: --xmlrevision 似乎不会理会 --resume，它实际上会从头下载条目。

[yzqzss]

使用 API:Allrevision 无法从指定标题恢复爬取过程，帖子是以最后修订时间排序而不是标题名称排序。可能需要锁定 arvend 参数，具体 API 行为需要更多测试。

[yzqzss]

NyaMisty 修了。

[yzqzss]

• BUG: --index --xml 在新版 MediaWiki 上无法抓到 namespace

[yzqzss]

已更新正则表达式，修复了此问题。

[yzqzss]

感觉上游想冻结 index.php 的代码，不想合这个PR。

[yzqzss]

Since MediaWiki 1.16, MediaWiki has a feature (disabled by default) that lets certain users show and hide individual page revisions. It also adds a special page called Special:RevisionDelete. The code is in includes/revisiondelete.

--Manual:RevisionDelete - MediaWiki

• 需要处理 revision 被删的情况。

[yzqzss]

WikiTeam#440 完全跳过了整个 title 。

[yzqzss]

textmissing/texthidden 已处理。

[yzqzss]

MediaWiki Release notes

[yzqzss]

• BUG: XML 中，space="prevent" 无效，应为 xml:space="prevent"

[yzqzss]

已修复，在 --xml --xmlrevision 中测试通过。

[yzqzss]

• 调一下 requests 的 read timeout ，现在好像是 30 秒的 read timeout 对 下载大文件/小水管/慢网路 太不友好了。

[yzqzss]

• 能否在 termux 上正常运行。

[yzqzss]

可以。

[yzqzss]

• 弃用部分函数自带的 retries 逻辑。因为 requests.session 已经有了 retries 逻辑，没必要外层再加 retries，且手写函数的 retry 逻辑代码好大一坨。

[yzqzss]

删了。

[yzqzss]

• 部分 wiki api和index 计算有误。

[yzqzss]

已修复。

[yzqzss]

• 弃用文件名截短机制，改变脚本的工作目录到 --path 提供/生成的位置。

[yzqzss]

文件名截断已弃用。
在 py3 中，长路经会自动处理，无须切换 pwd 。