网站忧化，规模变大后哪些手工活该停掉
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /c31dae171f18.html
📄
网站忧化，规模变大后哪些手工活该停掉
当页面从几十个涨到几千个，手工逐个改标题、逐个提交链接、逐个核对内链，会从“细致”变成“拖累”。判断标准不是工作量大小，而是这项工作是否需要逐页做独立判断：需要判断的保留人工，只是重复执行且有稳定规则的，应改成模板、批量脚本或流程约束。
先看一个假设情境：三百页到三千页之后
假设一个站点原本三百个页面，编辑手工维护每页的标题、描述和站内链接，每周花半天，效果可控。半年后页面涨到三千，同一套做法会出现三种症状：新页面描述长期空白；旧页面改版后内链指向失效；同一批模板页的标题开始互相重复。此时继续加人手只能缓解，不能解决，因为瓶颈在“逐页操作”这个方式本身。
把决策过程拆开：第一步，列出当前所有靠手工完成的重复动作；第二步，判断每个动作的输入是否来自固定字段；第三步，输入固定且规则稳定的，改为模板或批量处理，输入需要结合页面意图判断的，保留人工。这个顺序能避免一上来就追求全自动化，反而把需要判断的部分做坏。
适合停掉手工、改为规则化的几类工作
以下工作的共同点是：结果由已有字段决定，不依赖逐页的语义判断。
- 标题与描述的默认值填充。页面已有分类、主题词、作者或时间字段时，可以先用模板生成默认值，再只对重点页面人工改写。判断依据是：如果某页没有独特卖点，模板值不会比空白更差。
- 站内链接的基础铺设。同一分类下的相关文章、上一篇下一篇、面包屑，都可以由分类和标签字段自动生成。人工只处理跨分类的重点推荐。
- 失效链接的例行检查。这类工作靠人眼翻页必然遗漏，应交给定期运行的检查任务，人工只处理检查结果里影响面大的那几条。
- 重复页面的识别与合并判断的初筛。先用规则找出标题或正文高度相似的页面，再由人决定保留哪个、合并到哪个。初筛交给机器，决策留给人。
- 提交与通知类的例行动作。有稳定触发条件的，交给流程自动执行，不必每次手动操作。
一个实际动作：把标题默认值改为由分类字段加主题词拼装，上线后观察一段时间。如果发现某类页面的点击表现明显低于同类，说明该类页面需要独立文案，应把这类页面加回人工清单；如果无明显差异，就可以继续扩大模板覆盖范围。这个动作的结果直接决定下一步是扩量还是回退。
哪些工作即使规模变大也不该交给自动化
规模不是唯一标准。以下工作一旦批量处理，损失往往大于节省的时间。
- 核心页面的标题与首屏文案。这些页面承担转化和品牌表达，模板化会抹掉差异。
- 内容是否值得保留、合并还是删除的判断。这涉及对用户意图的理解，规则只能给出候选，不能替人拍板。
- 内链的语义相关性判断。自动生成的“相关文章”经常只靠标签匹配，可能把不相关的内容连在一起。可以自动生成候选，但要有人抽查。
- 异常流量的归因判断。抓取量、索引量或某项统计突然归零，可能是改版、屏蔽规则、服务器响应变化或统计口径调整，不能仅凭一个数字就断定处理正确，需要交叉验证。
边界可以这样记：规则的输入是否稳定、输出是否可预期。两个条件都满足，才适合从手工转为自动。
改造顺序与验证方式
不要一次性把所有手工工作替换掉。建议按影响面从大到小推进：先处理影响页面最多、规则最明确的工作，再处理影响面小、规则模糊的。每改一项，保留一段并行期，让新旧结果可以对比。
- 列出当前手工动作清单，标注每项的触发条件和输入字段。
- 选出输入最稳定的一项，先做小范围替换。
- 对比替换前后的结果差异，差异在可接受范围内再扩大范围。
- 把需要人工判断的环节写成检查清单，避免自动化之后没人复核。
假设某站先把站内链接改为自动生成，运行一段时间后发现某些分类下的推荐明显偏离主题。这时应回退到“自动生成候选、人工确认”的半自动模式，而不是彻底放弃自动化。规模扩大后真正要停掉的，是那些既重复又不需要判断的动作；需要判断的动作，应该被压缩到更少的页面上，而不是被机器替代。
