mit-tr-ai

MIT Technology Review 的三个 AI 相关 feed 合并去重。 Base: https://anmeimei--6e26e1e8a8cd11f1b08b1607ee4eb77e.web.val.run/

源（优先级从具体到宽泛，重复时保留更具体的那个标签）：

标签	feed
算法	https://www.technologyreview.com/tag/the-algorithm/feed/
WDH	https://www.technologyreview.com/author/will-douglas-heaven/feed/
AI	https://www.technologyreview.com/topic/artificial-intelligence/feed/

三个 feed 都不需要登录，匿名请求拿到的内容完全一样。每页固定 10 条，?paged=N 翻页。

去重

只按文章链接（去掉查询串和末尾斜杠），不做相似度匹配。 同一家媒体、同一篇文章就是同一个 URL，相似度在这里只会带来误杀，没有任何收益。这一点和 us-topnews-merge 不同——那边跨 CNBC/CBS 两家，必须靠近似匹配。

默认剔除付费软文

MIT TR 的广告稿（"MIT Technology Review Insights" 及署名的合作稿）都带 <category>sponsored</category>。2026-09-05 实测：AI 板块 40 条里 9 条是软文（22.5%）。注意别用作者名判断——实测有 2 条 sponsored 稿件署的是普通人名，不是 Insights。 ?sponsored=1 可以把软文放回来。

参数

?days=N        只保留最近 N 天（默认不限）
?pages=N       每个源翻几页，每页 10 条（默认 1，最多 3）
?sponsored=1   保留付费软文（默认丢弃）
?tag=0         标题前不加来源前缀
?diag=0        不要「合并诊断」那条

feed 第一条是「合并诊断」，guid 固定为 diag-mit-tr，永远只有一条，就地更新。日期按美东算。

实测 2026-09-04（美东）

参数	保留	丢弃
默认	26	4（软文 2、重复 2）
?sponsored=1	28	2
?pages=3	76	14
?days=14	8	3

默认约 130ms，?pages=3 约 1.1 秒。

三个 feed 的时间跨度差很多：AI 板块 10 条只回溯约 11 天，The Algorithm 约 2.5 个月， WDH 约 3.5 个月。所以首次订阅会一次进来二十几条、最早到五月，之后就只有新的了。

topics.ts —— 商业 / 计算 / 太空（只去软广，不合并）

https://anmeimei--a800ede4a8d411f1bbee1607ee4eb77e.web.val.run/business https://anmeimei--a800ede4a8d411f1bbee1607ee4eb77e.web.val.run/computing https://anmeimei--a800ede4a8d411f1bbee1607ee4eb77e.web.val.run/space

每条路由对应 MIT TR 的一个 topic feed，只做一件事：剔除带 sponsored 的付费软文。参数 ?days=N、?pages=N（默认 1，最多 3）、?sponsored=1、?diag=0。 feed 第一条是「软文过滤」诊断，列出这一轮丢了哪几条，guid 固定为 diag-<板块>。

为什么不做跨板块去重

2026-09-05 实测，四个板块各取 40 条（AI / 商业 / 计算 / 太空，共 160 条），两两之间的 URL 重叠：

AI ∩ 商业 = 0    AI ∩ 计算 = 0    AI ∩ 太空 = 0
商业 ∩ 计算 = 0   商业 ∩ 太空 = 0   计算 ∩ 太空 = 0

一条都不重叠。 MIT TR 每篇文章只归一个 topic，跨板块重复根本不存在，所以去重是个不存在的问题，不用做。

软文比例差别很大（2026-09-05，各 40 条）

板块	软文	占比
计算	24 / 40	60.0%
AI	9 / 40	22.5%
商业	3 / 40	7.5%
太空	0 / 40	0.0%

计算板块超过一半是广告稿。另外注意这几个 topic 的发稿量很低：过去 90 天里非软文的条数，AI 31 条、太空 7 条、计算 2 条、商业 0 条（商业 feed 最新一条停在 2026-06-30）。所以商业和计算这两个 feed 平时基本不动，偶尔来一条真报道——这对低密度阅读反而是好事，但别指望它们每天有东西。