第二节课:AI 产品经理基础方法论

AI 产品经理的核心能力,是在不确定的用户问题与不确定的 AI 能力之间,建立一条可验证的价值链:从证据出发定义需求与价值,用 Eval 定下质量标准,再由质量要求反推技术方案,最终回到业务结果。

一、概念

1. 用户需求

1.1 定义

用户需求,是特定用户在特定场景下,为实现某个目标而产生的、当前尚未被充分满足的问题或期望。产品经理并不是“创造需求”,而是通过调研、数据和观察发现真实存在的问题,并判断:

  • 这个问题是不是真的存在;
  • 有多少用户存在;
  • 出现频率有多高;
  • 对用户造成多大影响;
  • 当前用户如何解决;
  • 是否值得投入资源解决。

课堂中老师反复强调,产品能力不仅体现在最后得出了什么结论,更体现在:这个结论是怎么推导出来的。

同一句“用户需要精准提分”,可能是五分钟拍脑袋想出来的,也可能来自数百条用户反馈、行为数据与市场调研。最终文字完全相同,但背后的产品能力完全不同。

1.2 用户需求的证据来源

按照证据来自哪里划分,可以将需求证据分为四类:

证据类型关注的问题常见方法
用户表达证据用户自己说需要什么用户访谈、问卷、客服反馈、评论区、社交媒体帖子、应用评价
用户行为证据用户实际上在做什么埋点、点击、路径、搜索词、使用频率、留存、功能渗透率
市场环境证据外部市场发生了什么行业报告、趋势、政策、市场规模、行业变化
替代方案证据用户现在如何解决竞品分析、人工服务、线下服务、Excel/微信群/自建流程等替代方案

这四类分别对应:用户说什么 / 用户做什么 / 市场发生什么 / 用户目前怎么解决。

例如 Luca:

  • 分析小红书考公相关帖子,属于用户表达证据;
  • APP 埋点、对话数据,属于用户行为证据;
  • 研究其他 AI 教育产品,属于替代方案证据;
  • 公考政策与行业变化,则属于市场环境证据。

1.3 需求本身的描述结构

一个相对完整的用户需求,可以按照:用户 + 场景 + 目标 + 当前问题 + 期望结果

描述。例如:

在职备考公务员的用户,在工作日晚间学习时,希望快速解决不会的行测题目,但缺少能够即时答疑的老师,因此需要低门槛、高可靠、随时可获得的答疑服务。

相比:用户需要 AI 答疑。

前者才能真正指导产品设计。


2. 项目背景

2.1 定义

项目背景回答:为什么现在需要做这件事?

项目背景并不是简单介绍“这个项目是什么”,而是解释项目成立的原因。课堂中老师把这一部分主要拆成:

市场情况 + 当前系统情况。

也就是:

外部为什么出现需求? 内部现有方案为什么解决不了?

2.2 背景的 MECE 分类

按照问题发生的位置,可以分成:

A. 外部背景

产品外部发生了变化。包括:

  1. 用户需求变化
  • 新的需求出现;
    • 原有需求强度提升;
    • 用户行为发生变化。
  1. 市场竞争变化
  • 新竞品出现;
    • 行业开始采用新的产品范式;
    • 用户预期被竞品抬高。
  1. 政策与制度变化
  • 政策调整;
    • 合规要求变化;
    • 行业规则发生改变。
  1. 技术环境变化
  • 新技术使过去无法实现的产品成为可能;
    • 成本下降;
    • 模型能力提升。
  1. 商业环境变化
  • 获客成本变化;
    • 付费模式变化;
    • 新渠道出现;
    • 原有商业模式失效。
B. 内部背景

公司现有能力存在问题。包括:

  1. 产品能力问题
  • 功能缺失;
    • 用户体验差;
    • 产品无法满足新场景。
  1. 系统能力问题
  • 架构无法支持;
    • 数据割裂;
    • 规则过于固定;
    • 系统扩展困难。
  1. 服务模式问题
  • 人工服务能力有限;
    • 服务不可规模化;
    • 服务响应不及时。
  1. 成本效率问题
  • 人力成本过高;
    • 推理成本过高;
    • 单用户服务成本不可接受。
  1. 商业模式问题
  • 留存差;
    • 付费低;
    • 转化不足;
    • 缺乏新的增长方式。

2.3 Luca 示例

完整背景逻辑不是:大模型发展了,所以公司决定做 Agent。

而应该是:公考用户在答疑、查漏补缺、学习规划等方面存在大量未满足需求;原有规则式学习系统在个性化、动态规划和复杂学习服务上存在能力边界;与此同时,大模型与 Agent 能力使自然语言驱动、动态规划与工具调用成为可能,因此公司尝试用 Agent 重构部分学习服务。

这里:

  • 用户需求提供为什么值得做;
  • 现有方案缺口提供为什么需要改变;
  • Agent 能力提供为什么现在可以做。

3. 产品价值

3.1 定义

产品价值回答:解决这个问题之后,对谁产生什么好处?

需要注意:“我们用了 Agent”“我们探索商业化路径”“我们搭了新系统”都不是最终价值。

这些是方案或过程。价值必须描述:

最终什么变好了。

3.2 按价值接受者划分

可以分成三个主要层面。


3.3 用户价值

用户价值回答:产品让用户的状态发生了什么改善?

按照改善类型,可以分为:

用户价值含义
效果提升最终结果做得更好
效率提升完成事情更快
成本降低花更少的钱、时间、精力
风险降低少犯错、更可靠、更安全
体验改善更方便、更顺畅、更个性化
能力扩展原本做不到的事情现在能够完成

例如 Luca:

  • 答疑帮助用户提高问题解决效率;
  • 个性化规划帮助用户提升学习效率;
  • Agent 24 小时服务降低获取老师帮助的时间成本;
  • 精准题库 Tool 降低错误答案带来的学习风险;
  • 个性化解析改善学习体验。

4. 业务价值

业务价值回答:产品对这条业务的经营结果产生了什么影响?

按照典型业务漏斗,可以分为:

  1. 获取
  • 新增用户;
    • 注册;
    • 激活。
  1. 活跃
  • DAU;
    • MAU;
    • 使用频率;
    • 核心行为次数。
  1. 留存
  • 次日留存;
    • 7 日留存;
    • 30 日留存。
  1. 转化
  • 注册转化;
    • 功能转化;
    • 付费转化;
    • 下单转化。
  1. 收入
  • GMV;
    • 营收;
    • ARPU;
    • 客单价。
  1. 成本
  • 获客成本;
    • 人工服务成本;
    • 推理成本;
    • 单用户服务成本。
  1. 风险
  • 用户流失;
    • 投诉;
    • 错误成本;
    • 合规风险。

老师课堂中强调:“探索商业化路径”不是最终商业价值,最终还是要落到活跃、增长、收入等真实结果。对于探索型产品,也可以先通过活跃与增长判断用户是否认可新的产品模式。


5. 组织与部门价值

有些工作短期并不会直接提高收入,但会形成长期组织能力。主要可以分为:

  1. 能力沉淀
  • Agent Harness;
    • Eval 体系;
    • RAG 能力;
    • 数据基础设施。
  1. 数据资产
  • 用户数据;
    • 标注数据;
    • badcase 数据集;
    • 评测集。
  1. 流程标准化
  • Eval 流程;
    • 上线流程;
    • 灰度机制;
    • PRD / 数据分析规范。
  1. 研发效率
  • 降低重复开发;
    • 提升需求交付速度;
    • 减少人工排查。
  1. 可复用性
  • Skill;
    • Tool;
    • 公共能力;
    • 平台化组件。

例如:建立 Agent Eval 体系不仅让某一版 Luca 更稳定,也可能成为整个团队后续 Agent 产品持续迭代的基础能力。

因此:业务价值关注经营结果,部门价值关注组织能力。


6. 产品目标

6.1 定义

目标回答:我们希望通过这个项目,把什么状态改变成什么状态?

价值是方向,目标是对价值的具体化。例如:

用户价值:让用户获得更好的备考体验。

还不够。需要继续变成:

提升用户持续使用 Luca 的意愿。

然后再变成:7 日留存从 X 提升至 Y。

所以:价值 → 目标 → 指标

是三个不同层次。

6.2 产品目标的 MECE 分类

按照用户生命周期与经营结果,可以分为:

  1. 获取目标
  2. 激活目标
  3. 活跃目标
  4. 留存目标
  5. 转化目标
  6. 收入目标
  7. 效率目标
  8. 质量目标
  9. 风险目标

一个项目不需要九项全部拥有。真正的产品能力是:

找到最能代表项目成功的核心目标。

课堂中老师认为,Luca 这类产品如果要判断用户是否真正认可,留存通常比单纯 DAU 更适合作为核心目标。


7. 指标体系

指标回答:我们用什么数据判断目标有没有实现?

为了避免把 DAU、正确率、Token 成本混成一组,可以按照指标所处的因果链位置来分类。


7.1 业务结果指标

回答:

产品最终有没有创造经营价值?

例如:

  • 新增;
  • DAU;
  • 留存;
  • 付费率;
  • GMV;
  • 营收;
  • 成本。

7.2 产品行为指标

回答:

用户是否按照产品预期使用?

包括:

  • 功能渗透率;
  • 功能使用率;
  • 任务完成率;
  • 核心路径转化;
  • 人均使用次数;
  • 使用时长。

7.3 AI 能力指标

如果是 Agent,可以沿 Agent 执行链路拆成:

  1. 理解
  • 意图识别准确率。
  1. 规划
  • 任务拆解正确率;
    • 规划合理性。
  1. 检索
  • Recall;
    • Precision;
    • Rerank 效果。
  1. Tool 使用
  • Tool 选择正确率;
    • 参数正确率;
    • 调用成功率。
  1. 状态管理
  • Memory 正确率;
    • Context 完整性。
  1. 生成
  • 正确性;
    • 完整性;
    • 可读性;
    • 相关性。
  1. 端到端结果
  • Task Success Rate;
    • 端到端任务完成率。

7.4 效率指标

回答:

完成相同价值需要消耗多少资源?

主要包括:

  • 延迟;
  • Token;
  • API 成本;
  • 模型成本;
  • 人工介入率;
  • 单次任务成本;
  • 单用户服务成本。

因此 Luca 中:

DAU / 新增 / 成交额 → 业务结果指标

功能使用率 → 产品行为指标

稳定输出率 / Tool 成功率 → AI 能力指标

Token 成本 → 效率指标

不同指标在产品体系里的位置完全不同。


8. 用户画像

8.1 定义

用户画像的目的不是:描述一个看起来真实的人。

而是:寻找能够影响产品决策的用户差异。

课堂中老师明确指出,只写:在校大学生 / 在职人士 / 二战考生

并不能构成真正有意义的用户画像。需要继续了解:

各类用户占比多少、有什么差异、这些差异如何影响产品设计。

8.2 用户画像的六个正交维度

1. 身份属性

回答:

他是谁?

例如:

  • 学生;
  • 在职;
  • 教师;
  • 企业员工。
2. 生命周期

回答:

他现在处于哪个阶段?

例如:

  • 初次备考;
  • 中期备考;
  • 冲刺;
  • 二战。
3. 行为特征

回答:

他怎么做?

例如:

  • 每日学习时长;
  • 做题量;
  • 学习时间;
  • 使用渠道。
4. 需求特征

回答:

他现在最需要什么?

例如:

  • 答疑;
  • 学习计划;
  • 刷题;
  • 政策查询。
5. 资源与约束

回答:

他有什么限制?

例如:

  • 时间;
  • 预算;
  • 学习基础;
  • 可获得老师资源。
6. 用户价值特征

回答:

他对产品的潜在价值是什么?

例如:

  • 使用频率;
  • 留存;
  • 付费意愿;
  • LTV。

注意:这六项不是六类用户,而是描述任一用户群时的六个维度。


9. 需求体系与需求优先级

9.1 定义

产品经理不能把需求长期保持在:用户要 A、B、C、D……

这种散点状态。需要形成需求体系。

9.2 需求可以从不同维度分析

必要程度
  • 核心需求;
  • 重要需求;
  • 增值需求。
使用频率
  • 高频;
  • 中频;
  • 低频。
用户覆盖
  • 通用;
  • 人群特定;
  • 个性化。
用户价值
  • 高;
  • 中;
  • 低。
商业价值
  • 高;
  • 中;
  • 低。
实现成本
  • 高;
  • 中;
  • 低。
风险
  • 高风险;
  • 中风险;
  • 低风险。

这些是不同维度,不能混为一种分类。最终优先级需要综合考虑:

用户价值 × 覆盖范围 × 使用频率 × 商业价值 × 实现成本 × 风险 × 前后依赖。

课堂中老师认可“基础 / 进阶 / 高阶”这种体系化思考,但要求必须能解释:

为什么这样分? 每一层的定义是什么?


10. MVP

10.1 定义

MVP 是:用尽可能低的投入,验证当前最关键产品假设的最小完整产品。

重点不是:做最简单的功能。

而是:验证最重要的不确定性。

10.2 MVP 需要验证的五类假设

用户假设

用户真的存在这个问题吗?

价值假设

我们的方案真的能解决吗?

使用假设

用户愿意采用这种方式吗?

商业假设

用户使用之后是否能产生业务价值?

可行性假设

技术、成本、资源上能否持续提供?

课堂中特别强调:MVP 的核心是验证商业逻辑,而不是验证技术。


11. 产品路线图 Roadmap

Roadmap 是:为了实现长期目标,把产品拆成多个阶段逐步验证和实现。

每一阶段都应该回答:

这一阶段解决什么用户问题? 产生什么独立价值? 验证什么假设? 为什么它要先于下一阶段?

阶段顺序需要综合:

  • 用户需求;
  • 用户价值;
  • 产品依赖;
  • 技术依赖;
  • 实现成本;
  • 风险;
  • 阶段闭环能力。

老师课堂中特别强调:产品第一位不是考虑“技术已经能做什么”,而是先考虑“用户需要什么”。


12. 产品功能、流程与架构

三个概念需要严格区分。

12.1 功能

回答:

用户能完成什么?

例如:

  • 答疑;
  • 学习计划;
  • 智能练习;
  • 错题分析。

12.2 产品流程

回答:

多个功能怎样连接成一个完整任务?

例如:

制定计划 → 今日任务 → 做题 → 答疑 → 分析错误 → 更新掌握度 → 调整后续计划。


12.3 产品架构

回答:

为了支撑这些流程,需要哪些系统和能力?

AI 产品可以从上到下拆成五层:

体验功能层

用户直接感知:

  • 对话;
  • 答疑;
  • 计划;
  • 练习。

业务逻辑层

负责:

  • 用户状态;
  • 任务状态;
  • 学习计划;
  • 业务规则。

AI 编排层

包括:

  • Agent;
  • Prompt;
  • Skill;
  • Workflow;
  • Memory;
  • Context;
  • Tool orchestration。

业务能力 / 数据层

包括:

  • 题库;
  • 用户系统;
  • 教研内容;
  • 订单;
  • CRM。

基础设施层

包括:

  • LLM;
  • Database;
  • Vector DB;
  • Search;
  • 日志;
  • Observability;
  • 权限。

老师课堂中所说的:“有哪些功能、功能怎么组合、系统跟系统之间怎么交互、怎么通信”

本质上就是系统产品层面的基本能力。AI PM 同样必须具备。


13. 系统交互

系统交互不能只理解成:A 调用了 B 的 API。

完整系统交互至少包含六个阶段:触发 → 输入 → 处理 → 输出 → 状态变化 → 异常处理

例如 Agent 调用题库:

触发

Agent 判断用户需要专项练习。

输入

传递:

  • 考试;
  • 题型;
  • 知识点;
  • 难度;
  • 数量。

处理

题库筛选符合条件的题目。

输出

返回:

  • question_id;
  • 题干;
  • 选项;
  • 答案;
  • 解析。

状态变化

记录:

  • 已推荐;
  • 已做;
  • 正确 / 错误。

异常处理

处理:

  • 无结果;
  • 参数缺失;
  • API 超时;
  • 数据异常。

这才是真正完整的系统设计。


14. AI 产品评价与 Eval

14.1 定义

这是 AI 产品与传统系统产品最关键的差异之一。传统产品往往更关注:

功能有没有按规则运行。

AI 产品则必须进一步回答:模型最终输出到底好不好?

老师课堂明确提出:AI 产品非常重要的一点,不是先谈功能,而是先考虑功能怎么评价。

14.2 Agent Eval 的 MECE 链路

可以按照 Agent 完成一次任务的生命周期进行拆解:

1. 输入理解

评估:

是否正确理解用户。

2. 推理与规划

评估:

是否制定正确计划。

3. 信息获取

评估:

是否检索到正确内容。

4. 工具执行

评估:

是否选对 Tool、传对参数。

5. 状态管理

评估:

Context / Memory 是否正确。

6. 内容生成

评估:

  • 正确;
  • 完整;
  • 相关;
  • 清晰;
  • 符合风格。
7. 端到端结果

评估:

用户最终任务是否真正完成。

此外还存在两个横跨全过程的维度:

安全与风险

例如:

  • 幻觉;
  • 越权;
  • 数据泄漏;
  • 不安全输出。
效率与成本

例如:

  • 延迟;
  • Token;
  • Tool 调用次数;
  • 单次任务成本。

15. AI 质量门槛

定义 Eval 维度之后,还不够。还必须回答:

做到多少才可以上线?

这个标准没有统一答案。它取决于:

错误发生以后,对用户造成多大的损失。

例如:普通内容推荐即使偶尔不够准确,风险有限。但是:

公考题标准答案如果经常错误,会直接摧毁用户对产品的信任。

因此:业务风险决定质量门槛。


16. 错误感知与兜底

AI 产品一定会遇到错误。所以不仅要设计:

正常流程。

还要设计:错误路径。

可以拆成两个问题。

16.1 是否能够感知错误

可感知错误包括:

  • Tool 调用失败;
  • 无召回结果;
  • 超时;
  • 参数错误。

难感知错误包括:模型输出看起来合理,但事实上是错误答案。

后者往往是 AI 产品更困难的部分。

16.2 出错以后如何处理

可以分为:

  • 自动重试;
  • 调整 Prompt;
  • 换模型;
  • 换 Tool;
  • 强制数据库查询;
  • 降级为规则系统;
  • 转人工。

课堂中老师讨论真人老师兜底时特别指出:有人工并不能自动解决问题,前提是你得知道什么时候模型错了。


17. AI 技术方案选择

Prompt、RAG、Skill、Tool、Memory、Agent 都不是产品目标。它们只是不同的解决手段。可以按照系统给予模型的自主权划分:

1. 确定性系统

规则、数据库、普通 API。适合:

逻辑明确、必须稳定、不能随意出错的任务。

2. AI 辅助

模型提供建议,但不直接执行。适合:

可以存在一定不确定性,但需要人工或系统最终确认。

3. AI + Tool

AI 负责理解与判断,Tool 负责确定性执行。适合:

同时需要自然语言理解和高可靠业务执行。

4. Agent

AI 自主进行:理解 → 规划 → Tool 调用 → 观察 → 再规划。

适合:开放、多步骤、无法提前写死完整流程的复杂任务。

真正正确的路径是:业务需求 → 质量要求 → Eval → 选择技术方案。

而不是:我会 RAG → 所以这个项目做 RAG。


18. AI 产品评测生命周期

AI Eval 不是一个上线前测试环节,而是一套长期机制。完整生命周期可以分为:

第一阶段:定义

  1. 定义用户需求;
  2. 定义质量标准;
  3. 定义上线门槛。

第二阶段:离线评测

  1. 构建评测集;
  2. 离线运行;
  3. 找 badcase;
  4. 归因;
  5. 调优;
  6. 再评测。

第三阶段:灰度

  1. 小流量用户上线;
  2. 收集真实 Query;
  3. 检查线上效果;
  4. 判断离线与线上是否一致。

第四阶段:正式上线

  1. 扩大流量;
  2. 持续监控质量和业务指标。

第五阶段:持续迭代

  1. 新 badcase 回流;
  2. 更新评测集;
  3. 再次优化。

因此:Eval 是 AI 产品的持续反馈回路,而不是一次性验收。


二、常见误区

1. 把自己的想法当成用户需求

错误:

我觉得备考用户缺陪伴,所以需要 AI 陪伴。

问题是没有真实证据。正确逻辑是:

先通过用户反馈、行为、调研和市场证据证明问题存在,再进行产品判断。


2. 只写结论,不写推导过程

错误:

用户需要短周期私教。

如果没有:数据、样本、调研过程,

这个结论并不能体现产品能力。


3. 从技术能力出发定义产品

错误:

大模型可以做 Agent,所以做 Agent。

正确:

用户存在什么问题 → Agent 是否比现有方案更适合解决。


4. 把方案当价值

错误:

用 Agent 放大教研价值。

“用 Agent”只是方案。真正价值应该是:

用户学习效率提高、业务增长、收入增加等。


5. 把探索当商业价值

错误:

探索新的商业化方式。

探索只是行动。最终还要回答:

有没有更多用户? 用户有没有留下? 有没有产生收入?


6. 目标不可衡量

错误:

打造行业顶尖学习服务。

必须继续定义:

什么叫顶尖? 用什么指标衡量?


7. 把技术 Demo 当 MVP

错误:

先把 Agent 跑起来就完成 MVP。

真正的 MVP 应该验证:用户是否真正需要,以及这个商业逻辑能否成立。


8. 路线图只复述公司历史

错误:

第一期做答疑,因为公司当时就是先做答疑。

产品经理必须理解:为什么答疑值得先做。


9. 用户画像只写身份标签

错误:

大学生、在职、二战。

这只是人群分类。真正画像要能够解释:

他们为什么产生不同的产品需求。


10. 需求分类没有定义

错误:

基础需求、进阶需求、高阶需求。

如果说不清:什么叫基础?

分类本身没有意义。


11. 把功能列表当产品架构

错误:

答疑、计划、练习、评估。

这只是功能列表。还要说明:

功能之间怎样形成流程,以及背后由哪些系统支撑。


12. 认为链路跑通就代表 AI 产品完成

传统软件:链路正确通常意味着结果相对确定。

AI 产品:链路完全正确,模型仍可能输出错误结果。

因此必须有 Eval。


13. 只评正确率

例如:一道选择题答案是 A,模型输出 A。

正确率是 100%。但用户可能需要:

为什么是 A?

因此:正确不一定等于体验好。


14. 先决定用 RAG / Skill / Agent,再找理由

技术方案必须由:用户需求和质量标准

反推,而不是反过来。


15. 把 AI 过程指标直接当业务价值

错误:

正确率提升,所以留存一定提升。

两者可能存在关系,但除非有实验或数据证明,否则不能直接建立因果。


16. 认为有人兜底就可以接受低质量

如果模型犯错后系统本身无法识别:人工兜底机制可能根本不会被触发。


17. 离线 Eval 好就认为已经完成

真实用户输入通常更加复杂。因此:

离线评测 → 灰度 → 在线监控

缺一不可。


三、概念之间的关系

整套产品方法不是一堆独立知识点,而是一条连续的因果链。可以统一理解成:

证据
↓
用户需求
↓
项目背景
↓
用户价值 / 商业价值
↓
产品目标
↓
指标
↓
用户与需求分析
↓
MVP / Roadmap
↓
功能与产品流程
↓
系统架构与系统交互
↓
AI 质量标准
↓
Eval
↓
AI 技术方案
↓
离线评测
↓
灰度
↓
正式上线
↓
业务结果
↓
新的用户数据
↓
下一轮迭代

下面分别解释几个最重要的关系。


1. 需求与背景

需求回答:用户有什么问题?

背景回答:为什么这个问题现在值得解决,以及现方案为什么解决不了?

因此:需求是问题,背景是立项依据。


2. 背景与价值

背景解释:为什么要做。

价值解释:做成后有什么意义。

因此:背景证明“应该做”,价值说明“做了有什么好处”。


3. 价值与目标

价值通常是方向:提供更好的学习服务。

目标则要更具体:让用户持续使用。

因此:目标是价值的具体化。


4. 目标与指标

目标描述:希望什么状态发生变化。

指标则负责:判断这个变化有没有真正发生。

因此:指标是目标的测量工具。


5. 用户画像与需求

用户画像不是孤立的材料。它真正的用途是解释:

不同人群为什么产生不同需求。

所以:用户画像 → 需求差异 → 产品策略差异。


6. 需求与 MVP

MVP 不能来自:哪个功能最好做。

而应该来自:当前最重要、最值得验证的用户需求。

所以:需求优先级决定 MVP。


7. MVP 与 Roadmap

MVP 是最早的一次核心验证。Roadmap 则是:

多次阶段性验证与能力建设的组合。

所以:MVP 是 Roadmap 的起点,而不是最终产品的缩小版。


8. 功能、流程与架构

三者可以理解为:

功能回答“有什么”。 流程回答“怎么串起来”。 架构回答“靠什么支撑”。

例如:

答疑是功能; 做题 → 答疑 → 错题分析是流程; Agent + 题库 + 用户系统是架构。


9. 系统产品能力与 AI 产品能力

系统产品更关注:功能怎么运行。

AI 产品还必须继续解决:运行结果是否可靠。

因此:

系统产品解决“能不能跑起来”; AI 产品进一步解决“跑出来的结果能不能用”。

老师课堂就是在这里强调:只讲功能、系统与通信,还没有真正进入 AI 产品最核心的部分之一——评价。


10. Eval 与技术方案

这是整套 AI 产品方法里非常关键的一条关系。错误顺序:

RAG → Skill → Agent → 然后看看效果。

正确顺序:

用户需要什么 ↓ 什么结果才算好 ↓ 允许多大错误 ↓ 如何评测 ↓ 最后决定用 Prompt、RAG、Tool 还是 Agent。

因此:Eval 是 AI 技术方案的重要上游。


11. Agent 与确定性系统

Agent 最大优势是:面对模糊、开放任务进行理解、推理和决策。

确定性系统最大优势是:稳定、准确、可预测。

所以成熟 AI 产品通常不是:Everything is Agent。

而是:Agent 负责理解与决策,确定性系统负责高可靠执行。

例如:

用户意图由 Agent 判断; 公考题标准答案由题库 Tool 返回。


12. AI 指标与业务指标

AI 指标回答:产品能力有没有做出来。

业务指标回答:这个能力最终有没有创造价值。

例如:

Tool 正确率提高 ↓ 答疑质量提高 ↓ 用户体验改善 ↓ 用户愿意继续使用 ↓ 留存提高。

但中间存在很多其他因素。因此:

AI 指标通常是业务结果的过程变量,不等于最终业务价值。


13. 成本与规模化

AI 产品不能只追求:能力越来越强。

还要考虑:这套服务是否能够以合理成本提供给大量用户。

所以:Token 成本、模型路由、人工介入率

最终都可以连接到:单位服务成本与规模化经营能力。


四、小结

这节课最重要的并不是学会某一个具体工具,而是建立了一套完整的产品思考方式。可以把它压缩成以下主线:

从证据出发发现真实需求,解释为什么值得解决这个问题;定义用户价值和商业价值,把价值转化成可衡量目标;再通过用户分析、需求优先级与 MVP 设计产品方案;对于 AI 产品,还要额外定义什么叫做好,通过 Eval 明确质量门槛,并根据质量要求决定 Prompt、RAG、Tool、Skill、Agent 等技术方案;上线后再通过 AI 指标和最终业务指标验证产品是否真正创造价值。

其中最重要的几个原则是:

1. 产品经理的核心价值是决策

不是:我做了多少功能。

而是:为什么做这个功能,依据是什么,为什么现在做,为什么用这种方案。


2. 需求必须有依据

不能:我觉得用户需要。

必须:用户反馈、行为数据、市场与替代方案共同证明。


3. 产品第一位从需求出发,而不是技术

技术能力可以创造新的可能性。但:

技术可以做,不等于产品应该做。


4. 价值和方案必须分开

价值回答:为什么值得做。

方案回答:怎么做到。

不能把:“做 Agent”

当成产品价值。


5. 目标必须可衡量

“打造顶尖产品”不是一个足够完整的目标。需要继续定义:

什么数据变化代表目标达成。


6. MVP 是商业验证,不是技术 Demo

最小版本真正应该验证的是:用户是不是真的需要,以及产品逻辑能不能成立。


7. 功能只是产品的一层

完整产品还包括:流程、系统、数据、状态、异常与架构。


8. AI 产品的核心之一是评价

AI 产品不是:功能跑通就结束。

必须定义:什么叫做好。


9. Eval 决定 AI 实现方式

不是:因为会 RAG,所以做 RAG。

而是:因为这个任务需要达到某种质量,所以选择最合适的实现方案。


10. 最终必须回到业务价值

Prompt、RAG、Agent、Eval、准确率、Token 都不是最终目的。最终仍然要回答:

用户有没有得到价值? 用户有没有留下? 产品有没有增长? 有没有产生收入? 服务成本是否合理?

因此,可以把 AI 产品经理的核心能力最终浓缩成一句话:AI 产品经理是在不确定的用户问题与不确定的 AI 能力之间,通过用户证据、产品判断、系统设计、Eval 和业务数据建立一条可验证的价值链,并不断证明“为什么这个产品值得做、为什么应该这样做、以及它最终是否真的做成了”。