网页、整站与论文
看到一篇好文章、一篇 arXiv 论文,都可以交给 42md,收成干净的 Markdown 放进你的知识库。
单个网页转 Markdown
42md 会去掉导航栏、广告、侧栏和评论区,只留正文和图片链接,标题、来源链接写在文首。命令行在你的电脑上直接抓取,免费。第一次使用会显示一段使用须知,确认一次即可。
指定输出文件,或一次转几个网页:
有些站点(如微信公众号、小红书)拿不到正文。可以在浏览器里把页面另存为 PDF 或 .html,再交给 42md 转换,见 。
arXiv 论文直读
把 arXiv 链接直接交给 42md,摘要页、HTML 页、PDF 页都行,它会自动取全文 PDF 转成 Markdown:
转好的文件开头会自动写上论文的标题、作者、年份;已经正式发表、登记过 DOI 的论文,还会带上 DOI 和期刊信息。查不到时照常转换,只是不写这几项。
其他学术站点上以 .pdf 结尾的论文链接,也能直接转:
论文转好以后接着翻译、出摘要,可以用内置编排一次跑完,见 。
手上已经有一份网址清单时,可以用批量转换把它们一次转完,见 。
站内 PDF 批量下载
课程页挂着的课件、论文站的补充材料、机构发布的报告,用 tools download 一次收齐到本地:
不止当前页,要扫描整个网站,加 --site;--site-limit 限制最多扫多少页(默认 500):
- 命令行下载免费。单次最多下载 420 份。
- 单个文件超过 500 MB 会跳过,可用
--max-file-size调整(单位 MB)。 - 第一次使用要确认一次合规须知;42md 会遵守目标站点的 robots.txt 规则。
- 下载下来的 PDF 用
42md ./pdfs或 转成 Markdown。
网页整页截图
把一个网页从头到尾截成一张 PNG,留存页面原貌:
截图免费,需要电脑上装有 Chrome 或 Chromium。
下一步
- 一大批网址一次转完:
- 外文网页翻成中文:
- 存进云端知识库: