放宽过滤会连噪声一起放进来

**为了修「新内容被跳过」而删掉入库过滤条件,会把「只有摘要、没有正文」的条目一起放进来。** 修漏和修假是两件事,改闸门时必须同时设质量下限,否则噪声立刻从新开的口子涌入。

这次的形状:为了让新文章不被跳过,去掉了「content_html 长度 > 100」的过滤 → 结果同一源里只有 RSS description(约 40 字摘要)、没有 content:encoded 正文的条目也入库了。

正确的改法是换判据,不是拆闸门

  • ❌ 删掉「必须有正文」的检查
  • ✅ 把判据换成按源类型定义的:中转源(WeRSS)条目必须有正文,不能拿 description 当正文兜底;摘要长度这类间接指标不能代替「正文是否存在」这个语义判断。

一般化

任何入库闸门都同时承担两个职责:挡住噪声(假)和别误杀(漏)。调参时只盯着一侧,另一侧必然失守。

推论:「不要入库没内容的东西」应该是入库层的硬约束,而不是靠上游少发或下游人肉清理。

相关