← 人人都是AI产品经理
第六部 · 活下去

第十五章 上线才是开始:数据闭环

数据闭环
连载中 · 全书 17 章完稿 · 含附录

自动驾驶行业有一个多年的老规矩,值得所有做 AI 产品的人抄走。新算法开发完,不直接接管汽车——先以「影子模式」上线:系统默默运行,对每一帧路况给出自己的判断,但不执行,方向盘还在人和旧系统手里。跑几百万公里,把「它会怎么做」和「实际发生了什么」逐帧对账:哪里判断错了、错得离不离谱、错误集中在什么场景——攒够了证据,新算法才转正。特斯拉的自动驾驶系统多年采用这套机制,这不是保守,这是这个行业用事故换来的常识:未经对账的新能力,没有接管权。

把这条规矩翻译成你的语言:上线那天,产品才开始活着。之前的一切——定义、例子、考卷、判官——都是纸面推演;只有真实用户开始用它,产品才第一次接触真实世界,你也才第一次拿到真实读数。前面十四章交给你的一切工具,其实都在等这一天:这一章讲它们怎么在时间里转起来。

一、闭环一圈长什么样

「数据闭环」这个词听起来像大厂的专利,拆开看一圈,每一步你都已经有了零件。

收信号、进考卷、跑判、重新定义四环循环,中心是数据闭环
图 15-1 · 数据闭环一圈:收信号 → 进考卷 → 跑判 → 重新定义 → 再收信号。日转速管不交烂货,月转速管越用越准,季转速管没跑偏。点击可放大。

第一环,收信号。产品上线后,信号从三个口进来。第一个口是显式反馈:点踩、投诉、客服转达的抱怨——最响,但最少(绝大多数不满意的用户不说话,直接走)。第二个口是隐式反馈:用户把 AI 的回答改写了再用、问了同一个问题三遍、问到一半关掉窗口——这些动作没有一句「我不满意」,但每一个都是差评的实锤。其中最值钱的是改写:用户亲手改了 AI 的输出,等于免费送你一对「AI 的答案 vs 更好的答案」——这正是第八章说的正反例,只不过这一次是真实世界替你出的题。第三个口是你的错题本:第九章立的账,每一条漏网之鱼照进不误。

第二环,进考卷。信号收来不是看一眼感叹一下就完——错题进错题本,错题本定期筛出新的典型题,考卷(第十章的金标准)随之加题改题。高频新场景进冒烟区,翻车重灾区进红线区,两可的进难例区。考卷跟着真实世界长大,这是它和课本的本质区别。

第三环,跑判。每次你要动任何东西——换模型、改提示词、调温度、加工具——先跑一遍考卷(第十章),必要时让判官上(第十一章),换位、成对、给锚、对账四件防具穿好。这里要立一条容易被忽视的规矩:版本台账。提示词的每次修改、模型的每次更换,都记版本号;每次变更后的考卷分数,进台账。没有台账,三个月后出了问题,你连「是哪次改动引入的」都答不上——回退无门。有了台账,分数掉了,一键回到上个版本,再慢慢查。软件行业管这叫回归与回滚,你的 AI 产品再小,这条不能省。

第四环,重新定义。第七章结尾立过一条纪律:「任何一次重新定义,都应该由读数触发,而不是由新鲜感触发。」现在读数来了。老师的时间省了但家长满意度没动——排序要不要调?深夜问作业的家长比想象中多——「给谁做」的画像要不要改?某一类问题错得离谱——「做到什么程度算够」的边界要不要挪?读数打架的地方,就是定义需要重审的地方。闭环的最后一步永远落回判断——工具是死的,循环里那个读数、下决心、改定义的人,始终是你。这也正是第六部存在的理由:前五部把五件工具一件件交齐,这一部讲它们怎么在时间里转。

二、教培老板的三个月复盘会

把一圈闭环走给你看。教培老板的家长答疑助手上线三个月,他开了一场一个人的复盘会。

先看错题本:五十一条。分类一看,第一个发现:深夜十点后问「作业是什么」的家长,占了将近四成——比他预想的多得多。他原来以为答疑的高峰是「孩子表现怎么样」这类关切题,数据告诉他,高峰是「明天带什么」这类事务题。「给谁做」的画像被读数修正了:真实的主用户是「晚上十点想赶紧收工的家长」,不是「焦虑想多聊几句的家长」。考卷随之改:事务题加到冒烟区前排,考卷从三十题扩到四十五题。

再看判官对账:他抽了二十条判官打过高分的记录自己重判,发现一条风格偏置的现行——判官给一条排版漂亮、排比工整的答案打了高分,但那条答案把「请假要提前一天」写成了「请假要提前一小时」。红线例被装饰骗过,正是第十一章说的病。处置:这类事务题以后全配参考答案(给锚),判官从「打分」改成「与参考比对」(成对),本月起对账频率从季度提到月度。

最后看读数本身:老师晚间机械回复时间降了四成多,家长满意度基本持平——没掉,但也没涨。第七章预演讣告里写过的死因(「家长觉得被机器敷衍」)没有成真,但读数提示它在地平线上:满意度不涨,说明「省了老师」还没转成「好了家长」。他在台账上记下下一步的赌注:把考卷里「分寸」维度的权重调高,让助手在事务题之外多给一句孩子当天的具体表现——转正之路走了一格,影子模式还有一格。

注意这场复盘会的结构:没有一个动作是新工具,全部是旧零件在转——错题本收账、考卷改题、判官对账、读数触发重定义、台账记赌注。闭环不是新东西,是五件工具的转速。

三、闭环住在谁身上:组织的环

教培老板的环一个人就转得动,因为他的产品小到一张考卷装得下。产品一大,闭环立刻撞上组织问题——而这份答案,第五章其实已经埋了:MIT 那份报告里 5% 拿到回报的企业有五个共同点,当时当「落地经验」讲,现在换上闭环的眼睛重读,五条全是闭环的组织形态。选窄场景——环小才转得动,环太大三个月转不完一圈,信号到判断的路上就凉了。让一线经理负责,而不是中央实验室——环必须住在离信号最近的人身上:用户的改写、重试、沉默,全部发生在一线的聊天记录和工单里;让总部每季度看一次报表,等于把最强的信号源接了个延时阀。把 AI 嵌进员工本来就在用的工具——环的摩擦要小到不构成新负担,多一次切换就少一批参与者。买成熟方案而非事事自建——力气别花在造环上,花在转环上。人留在关键环节——环的每一圈都有一个判断端,那一端必须是人,否则环转成了自动糊弄。5% 的镜像就是那 95%:中央团队做原型、演示给领导看、停在试点——那不是没有环,是一个悬在半空、从不落地的环。

BCG 那个 10-20-70 的公式,在闭环上也有了精确含义:70% 的「人与变革管理」,落到地上就是让人养成转环的习惯——每天过验收单,每月开错题会,每次翻车进错题本。习惯长成了,闭环就活了;习惯没长成,再漂亮的数据看板也只是墙上的仪表。所以判断一个组织的 AI 转型有没有真的开始,不用看它的战略 PPT,看一件事就够:它有没有一个定期召开、专门过「错题」的会,以及那个会上做出的决定,会不会真的改到产品里。两个条件缺一个,闭环就还只是 PPT 上的箭头圈。

四、转速,与两句刹车

闭环的转速没有标准答案,只有三个锚点。日转速:每次交付必过最小验收单——第九章立的那五条。月转速:每月一次复盘会,错题分类、考卷改题、判官对账、读数重审——本章第二节的样子。季转速:每季度一次大修——考卷重审一遍题型分布还像不像现在的用户,错题本做一次冷热归档(高频常犯的进冒烟区,已免疫的降进待观察),三问从头过一遍(第七章那条「重新定义由读数触发」的纪律,季度尺度上的正席)。日转速管「不交烂货」,月转速管「越用越准」,季转速管「没跑偏」。少了日转速,月转速是空转;少了月转速,日转速是原地踏步;少了季转速,前两个转得再勤,也可能在一块已经变了的场地上跑得飞快。

两句刹车,用来防闭环自己烂尾。第一句:别把闭环做成报表。闭环的目的不是每个月产出一张好看的图,是触发改变——如果连续三个月复盘会没有改过任何东西(考卷没加题、排序没动过、版本没回退过),那不是产品稳定,是闭环死了,你在给尸体量体温。反过来,如果每周都在大改,也要警惕——那多半是被新鲜感驱动,不是被读数驱动,第七章的纪律再读一遍。第二句:闭环里最贵的信号,是用户不说的那种。点踩和投诉是冰山的水上部分;改写、重试、沉默的流失才是水下的山体。只盯着显式反馈做闭环的产品,会精确地优化那一小群爱说话的用户,然后把沉默的大多数优化没了。

到这里,五件工具全部转起来了:罗盘选场子、岩石定问题、尺子量成色(写验收与评测)、放手画边界,闭环管长跑。工具账清了,剩下的悬念只有一个——拿着同一套工具的人,会走到什么结局?下一章讲三个真实的故事,三种结局,把这本书反复泼过的冷水,最后再泼一次。


出处与延伸

  • 影子模式(shadow mode):特斯拉自动驾驶多年采用的部署机制——新算法并行运行不接管、与人类操作逐帧对账、证据充分后转正;为自动驾驶行业公开的通行实践(媒体报道与公司技术博客多有所载,本书作机制性引述)。
  • 回归与回滚、版本台账:软件工程公共实践(回归测试/regression test、版本控制/version control),本书移植到非工程场景。
  • 教培老板复盘会为本书推演(延续第四至十四章的推演样本设定),其结构(错题分类→考卷改题→判官对账→读数重定义→台账记注)为本书对第十、十一章工具的组装。
  • 「闭环是五件工具的转速」「给尸体量体温」「水下山体」:本书提法。「隐式反馈(改写/重试)比显式反馈更值钱」为用户体验与数据科学的通行实践常识,本书作定性转述。
  • 前文伏笔在本章兑现:第七章「重新定义由读数触发」、第九章错题本、第十章考卷与版本冻结、第十一章判官对账与给锚——伏笔账见附录。
《人人都是AI产品经理》· AI 负责做,你负责判断 内容采用 CC BY-NC-SA 4.0 · 免费开源,勿信任何售卖渠道