Dailypaper-skills daily-papers-fetch

install

source · Clone the upstream repo

git clone https://github.com/huangkiki/dailypaper-skills

Claude Code · Install into ~/.claude/skills/

T=$(mktemp -d) && git clone --depth=1 https://github.com/huangkiki/dailypaper-skills "$T" && mkdir -p ~/.claude/skills && cp -r "$T/skills/daily-papers-fetch" ~/.claude/skills/huangkiki-dailypaper-skills-daily-papers-fetch && rm -rf "$T"

manifest: skills/daily-papers-fetch/SKILL.md

source content

开始前: 先说一声 "开始抓取论文 🐕" 并告知今天日期。如果是多天模式，告知抓取范围。

论文抓取 (Fetch + Score + Enrich)

你是用户的论文抓取系统（3 步流水线的第 1 步）。抓取最新论文 → 打分筛选 → 富化信息 → 保存到临时文件。

Step 0: 读取共享配置

先读取

../_shared/user-config.json

，如果

../_shared/user-config.local.json

存在，再用它覆盖默认值。

显式生成并在后续统一使用这些变量：

```
VAULT_PATH
```
```
DAILY_PAPERS_PATH
```
```
KEYWORDS
```
```
NEGATIVE_KEYWORDS
```
```
DOMAIN_BOOST_KEYWORDS
```
```
ARXIV_CATEGORIES
```
```
MIN_SCORE
```
```
TOP_N
```

其中：

DAILY_PAPERS_PATH = {VAULT_PATH}/{daily_papers_folder}

所有关键词、分类、阈值都以共享配置为准

后续统一以共享配置和上面的变量为准。

解析天数

从用户输入中解析

--days N

参数。匹配规则：

"过去一周"、"最近7天"、"一周的论文" →
```
--days 7
```
"过去3天"、"最近三天"、"抓3天" →
```
--days 3
```
"过去两周" →
```
--days 14
```
无特殊指定 / "跑一下论文抓取" → 不加
```
--days
```
（默认当天）

将解析出的天数存为变量

DAYS_ARG

，在后续脚本调用中使用。

配置来源

默认配置在
```
../_shared/user-config.json
```
个人覆盖配置放在
```
../_shared/user-config.local.json
```
如果两者都存在，以
```
local
```
为准

工作流程

Phase 1+2: 抓取 + 打分 + 合并去重（纯 Python 脚本）

用

fetch_and_score.py

一步完成 HF + arXiv 抓取、打分、合并去重、历史去重、选 Top 30。零 token 消耗。

# 默认：当天
python3 ../daily-papers/fetch_and_score.py > /tmp/daily_papers_top30.json

# 多天模式（将 N 替换为解析出的天数）
python3 ../daily-papers/fetch_and_score.py --days N > /tmp/daily_papers_top30.json

根据前面解析的

DAYS_ARG

，如果用户指定了天数就加

--days N

，否则不加。

脚本自动完成：

并行抓取 HuggingFace Daily + Trending API 和 arXiv API
关键词打分（正向/负向/领域加分/trending 加分）
按 arXiv ID 合并去重
读取
```
.history.json
```
跨天去重（含周末模式放宽规则）
不足 20 篇时从历史回填
按 score 降序取 Top 30

进度日志输出到 stderr，JSON 结果输出到 stdout。

检查输出：确认

/tmp/daily_papers_top30.json

存在且包含有效 JSON 数组。如果为空数组或文件不存在，检查 stderr 诊断问题。

Phase 3: 批量富化（enrich_papers.py 脚本）

用

enrich_papers.py

脚本一次性富化所有论文。脚本使用

asyncio

curl

子进程并发请求，纯 regex 解析 HTML，无需 WebFetch。

先把 Phase 2 的 Top 30 结果保存到临时文件，然后运行：

cat /tmp/daily_papers_top30.json | python3 ../daily-papers/enrich_papers.py /tmp/daily_papers_enriched.json

注意：使用文件路径参数（而非 stdout 重定向），避免 sandbox 环境下 stdout/stderr 混淆。

脚本自动完成以下工作（Semaphore(10) 限制并发，单篇超时 30 秒）：

并行抓取 HTML 页面 + PDF 页面
从 HTML 提取：figure_url、authors、affiliations、section_headers、captions、has_real_world、method_names、method_summary
从 PDF 提取：affiliations（通过
```
pdftotext | extract_affiliations.py
```
）
如果 HTML authors 为空，fallback 到 abs 页面
```
<meta>
```
标签提取 authors/affiliations
合并优先级（脚本内部处理）：
- figure_url: HTML curl
- affiliations: PDF > HTML > abs fallback > Phase 1 data
- authors: HTML > abs fallback > Phase 1 data
- 其他字段: HTML regex 提取

输出格式：与输入相同的 JSON 数组，每篇论文增加以下字段：

```
figure_url
```
(string): 首图 URL
```
affiliations
```
(string): 机构列表，逗号分隔
```
authors
```
(string): 作者列表（可能被更完整的来源覆盖）
```
section_headers
```
(array): 章节标题
```
captions
```
(array): 图表标题
```
has_real_world
```
(bool): 是否包含真实实验
```
method_names
```
(array): 方法名列表
```
method_summary
```
(string): 方法描述（300-500 字）

输出

完成后检查

/tmp/daily_papers_enriched.json

存在且包含有效 JSON 数组。告知用户：

抓取了多少篇论文
富化成功多少篇
提示运行下一步：
```
跑一下论文点评
```

注意事项

Phase 1+2 使用
```
fetch_and_score.py
```
脚本，不启动 Task Agent，零 token 消耗
Phase 3 使用
```
enrich_papers.py
```
脚本，同样不启动 Task Agent
如果脚本执行失败，检查 stderr 输出诊断问题
如果 arXiv API 抓取失败，脚本自动 fallback 到仅 HuggingFace 源
如果总论文数不足 20 篇，有多少处理多少
周末策略：arXiv 周末不更新，HF daily 周末基本为空，但 HF trending 持续更新。周末主要依赖 trending 来源
不做 git 操作，不生成推荐文件，只输出临时 JSON