第二节课:AI 产品经理基础方法论
一、概念
1. 用户需求
1.1 定义
用户需求,是特定用户在特定场景下,为实现某个目标而产生的、当前尚未被充分满足的问题或期望。产品经理并不是“创造需求”,而是通过调研、数据和观察发现真实存在的问题,并判断:
- 这个问题是不是真的存在;
- 有多少用户存在;
- 出现频率有多高;
- 对用户造成多大影响;
- 当前用户如何解决;
- 是否值得投入资源解决。
课堂中老师反复强调,产品能力不仅体现在最后得出了什么结论,更体现在:这个结论是怎么推导出来的。
同一句“用户需要精准提分”,可能是五分钟拍脑袋想出来的,也可能来自数百条用户反馈、行为数据与市场调研。最终文字完全相同,但背后的产品能力完全不同。
1.2 用户需求的证据来源
按照证据来自哪里划分,可以将需求证据分为四类:
| 证据类型 | 关注的问题 | 常见方法 |
|---|---|---|
| 用户表达证据 | 用户自己说需要什么 | 用户访谈、问卷、客服反馈、评论区、社交媒体帖子、应用评价 |
| 用户行为证据 | 用户实际上在做什么 | 埋点、点击、路径、搜索词、使用频率、留存、功能渗透率 |
| 市场环境证据 | 外部市场发生了什么 | 行业报告、趋势、政策、市场规模、行业变化 |
| 替代方案证据 | 用户现在如何解决 | 竞品分析、人工服务、线下服务、Excel/微信群/自建流程等替代方案 |
这四类分别对应:用户说什么 / 用户做什么 / 市场发生什么 / 用户目前怎么解决。
例如 Luca:
- 分析小红书考公相关帖子,属于用户表达证据;
- APP 埋点、对话数据,属于用户行为证据;
- 研究其他 AI 教育产品,属于替代方案证据;
- 公考政策与行业变化,则属于市场环境证据。
1.3 需求本身的描述结构
一个相对完整的用户需求,可以按照:用户 + 场景 + 目标 + 当前问题 + 期望结果
描述。例如:
在职备考公务员的用户,在工作日晚间学习时,希望快速解决不会的行测题目,但缺少能够即时答疑的老师,因此需要低门槛、高可靠、随时可获得的答疑服务。
相比:用户需要 AI 答疑。
前者才能真正指导产品设计。
2. 项目背景
2.1 定义
项目背景回答:为什么现在需要做这件事?
项目背景并不是简单介绍“这个项目是什么”,而是解释项目成立的原因。课堂中老师把这一部分主要拆成:
市场情况 + 当前系统情况。
也就是:
外部为什么出现需求? 内部现有方案为什么解决不了?
2.2 背景的 MECE 分类
按照问题发生的位置,可以分成:
A. 外部背景
产品外部发生了变化。包括:
- 用户需求变化
- 新的需求出现;
- 原有需求强度提升;
- 用户行为发生变化。
- 市场竞争变化
- 新竞品出现;
- 行业开始采用新的产品范式;
- 用户预期被竞品抬高。
- 政策与制度变化
- 政策调整;
- 合规要求变化;
- 行业规则发生改变。
- 技术环境变化
- 新技术使过去无法实现的产品成为可能;
- 成本下降;
- 模型能力提升。
- 商业环境变化
- 获客成本变化;
- 付费模式变化;
- 新渠道出现;
- 原有商业模式失效。
B. 内部背景
公司现有能力存在问题。包括:
- 产品能力问题
- 功能缺失;
- 用户体验差;
- 产品无法满足新场景。
- 系统能力问题
- 架构无法支持;
- 数据割裂;
- 规则过于固定;
- 系统扩展困难。
- 服务模式问题
- 人工服务能力有限;
- 服务不可规模化;
- 服务响应不及时。
- 成本效率问题
- 人力成本过高;
- 推理成本过高;
- 单用户服务成本不可接受。
- 商业模式问题
- 留存差;
- 付费低;
- 转化不足;
- 缺乏新的增长方式。
2.3 Luca 示例
完整背景逻辑不是:大模型发展了,所以公司决定做 Agent。
而应该是:公考用户在答疑、查漏补缺、学习规划等方面存在大量未满足需求;原有规则式学习系统在个性化、动态规划和复杂学习服务上存在能力边界;与此同时,大模型与 Agent 能力使自然语言驱动、动态规划与工具调用成为可能,因此公司尝试用 Agent 重构部分学习服务。
这里:
- 用户需求提供为什么值得做;
- 现有方案缺口提供为什么需要改变;
- Agent 能力提供为什么现在可以做。
3. 产品价值
3.1 定义
产品价值回答:解决这个问题之后,对谁产生什么好处?
需要注意:“我们用了 Agent”“我们探索商业化路径”“我们搭了新系统”都不是最终价值。
这些是方案或过程。价值必须描述:
最终什么变好了。
3.2 按价值接受者划分
可以分成三个主要层面。
3.3 用户价值
用户价值回答:产品让用户的状态发生了什么改善?
按照改善类型,可以分为:
| 用户价值 | 含义 |
|---|---|
| 效果提升 | 最终结果做得更好 |
| 效率提升 | 完成事情更快 |
| 成本降低 | 花更少的钱、时间、精力 |
| 风险降低 | 少犯错、更可靠、更安全 |
| 体验改善 | 更方便、更顺畅、更个性化 |
| 能力扩展 | 原本做不到的事情现在能够完成 |
例如 Luca:
- 答疑帮助用户提高问题解决效率;
- 个性化规划帮助用户提升学习效率;
- Agent 24 小时服务降低获取老师帮助的时间成本;
- 精准题库 Tool 降低错误答案带来的学习风险;
- 个性化解析改善学习体验。
4. 业务价值
业务价值回答:产品对这条业务的经营结果产生了什么影响?
按照典型业务漏斗,可以分为:
- 获取
- 新增用户;
- 注册;
- 激活。
- 活跃
- DAU;
- MAU;
- 使用频率;
- 核心行为次数。
- 留存
- 次日留存;
- 7 日留存;
- 30 日留存。
- 转化
- 注册转化;
- 功能转化;
- 付费转化;
- 下单转化。
- 收入
- GMV;
- 营收;
- ARPU;
- 客单价。
- 成本
- 获客成本;
- 人工服务成本;
- 推理成本;
- 单用户服务成本。
- 风险
- 用户流失;
- 投诉;
- 错误成本;
- 合规风险。
老师课堂中强调:“探索商业化路径”不是最终商业价值,最终还是要落到活跃、增长、收入等真实结果。对于探索型产品,也可以先通过活跃与增长判断用户是否认可新的产品模式。
5. 组织与部门价值
有些工作短期并不会直接提高收入,但会形成长期组织能力。主要可以分为:
- 能力沉淀
- Agent Harness;
- Eval 体系;
- RAG 能力;
- 数据基础设施。
- 数据资产
- 用户数据;
- 标注数据;
- badcase 数据集;
- 评测集。
- 流程标准化
- Eval 流程;
- 上线流程;
- 灰度机制;
- PRD / 数据分析规范。
- 研发效率
- 降低重复开发;
- 提升需求交付速度;
- 减少人工排查。
- 可复用性
- Skill;
- Tool;
- 公共能力;
- 平台化组件。
例如:建立 Agent Eval 体系不仅让某一版 Luca 更稳定,也可能成为整个团队后续 Agent 产品持续迭代的基础能力。
因此:业务价值关注经营结果,部门价值关注组织能力。
6. 产品目标
6.1 定义
目标回答:我们希望通过这个项目,把什么状态改变成什么状态?
价值是方向,目标是对价值的具体化。例如:
用户价值:让用户获得更好的备考体验。
还不够。需要继续变成:
提升用户持续使用 Luca 的意愿。
然后再变成:7 日留存从 X 提升至 Y。
所以:价值 → 目标 → 指标
是三个不同层次。
6.2 产品目标的 MECE 分类
按照用户生命周期与经营结果,可以分为:
- 获取目标
- 激活目标
- 活跃目标
- 留存目标
- 转化目标
- 收入目标
- 效率目标
- 质量目标
- 风险目标
一个项目不需要九项全部拥有。真正的产品能力是:
找到最能代表项目成功的核心目标。
课堂中老师认为,Luca 这类产品如果要判断用户是否真正认可,留存通常比单纯 DAU 更适合作为核心目标。
7. 指标体系
指标回答:我们用什么数据判断目标有没有实现?
为了避免把 DAU、正确率、Token 成本混成一组,可以按照指标所处的因果链位置来分类。
7.1 业务结果指标
回答:
产品最终有没有创造经营价值?
例如:
- 新增;
- DAU;
- 留存;
- 付费率;
- GMV;
- 营收;
- 成本。
7.2 产品行为指标
回答:
用户是否按照产品预期使用?
包括:
- 功能渗透率;
- 功能使用率;
- 任务完成率;
- 核心路径转化;
- 人均使用次数;
- 使用时长。
7.3 AI 能力指标
如果是 Agent,可以沿 Agent 执行链路拆成:
- 理解
- 意图识别准确率。
- 规划
- 任务拆解正确率;
- 规划合理性。
- 检索
- Recall;
- Precision;
- Rerank 效果。
- Tool 使用
- Tool 选择正确率;
- 参数正确率;
- 调用成功率。
- 状态管理
- Memory 正确率;
- Context 完整性。
- 生成
- 正确性;
- 完整性;
- 可读性;
- 相关性。
- 端到端结果
- Task Success Rate;
- 端到端任务完成率。
7.4 效率指标
回答:
完成相同价值需要消耗多少资源?
主要包括:
- 延迟;
- Token;
- API 成本;
- 模型成本;
- 人工介入率;
- 单次任务成本;
- 单用户服务成本。
因此 Luca 中:
DAU / 新增 / 成交额 → 业务结果指标
功能使用率 → 产品行为指标
稳定输出率 / Tool 成功率 → AI 能力指标
Token 成本 → 效率指标
不同指标在产品体系里的位置完全不同。
8. 用户画像
8.1 定义
用户画像的目的不是:描述一个看起来真实的人。
而是:寻找能够影响产品决策的用户差异。
课堂中老师明确指出,只写:在校大学生 / 在职人士 / 二战考生
并不能构成真正有意义的用户画像。需要继续了解:
各类用户占比多少、有什么差异、这些差异如何影响产品设计。
8.2 用户画像的六个正交维度
1. 身份属性
回答:
他是谁?
例如:
- 学生;
- 在职;
- 教师;
- 企业员工。
2. 生命周期
回答:
他现在处于哪个阶段?
例如:
- 初次备考;
- 中期备考;
- 冲刺;
- 二战。
3. 行为特征
回答:
他怎么做?
例如:
- 每日学习时长;
- 做题量;
- 学习时间;
- 使用渠道。
4. 需求特征
回答:
他现在最需要什么?
例如:
- 答疑;
- 学习计划;
- 刷题;
- 政策查询。
5. 资源与约束
回答:
他有什么限制?
例如:
- 时间;
- 预算;
- 学习基础;
- 可获得老师资源。
6. 用户价值特征
回答:
他对产品的潜在价值是什么?
例如:
- 使用频率;
- 留存;
- 付费意愿;
- LTV。
注意:这六项不是六类用户,而是描述任一用户群时的六个维度。
9. 需求体系与需求优先级
9.1 定义
产品经理不能把需求长期保持在:用户要 A、B、C、D……
这种散点状态。需要形成需求体系。
9.2 需求可以从不同维度分析
必要程度
- 核心需求;
- 重要需求;
- 增值需求。
使用频率
- 高频;
- 中频;
- 低频。
用户覆盖
- 通用;
- 人群特定;
- 个性化。
用户价值
- 高;
- 中;
- 低。
商业价值
- 高;
- 中;
- 低。
实现成本
- 高;
- 中;
- 低。
风险
- 高风险;
- 中风险;
- 低风险。
这些是不同维度,不能混为一种分类。最终优先级需要综合考虑:
用户价值 × 覆盖范围 × 使用频率 × 商业价值 × 实现成本 × 风险 × 前后依赖。
课堂中老师认可“基础 / 进阶 / 高阶”这种体系化思考,但要求必须能解释:
为什么这样分? 每一层的定义是什么?
10. MVP
10.1 定义
MVP 是:用尽可能低的投入,验证当前最关键产品假设的最小完整产品。
重点不是:做最简单的功能。
而是:验证最重要的不确定性。
10.2 MVP 需要验证的五类假设
用户假设
用户真的存在这个问题吗?
价值假设
我们的方案真的能解决吗?
使用假设
用户愿意采用这种方式吗?
商业假设
用户使用之后是否能产生业务价值?
可行性假设
技术、成本、资源上能否持续提供?
课堂中特别强调:MVP 的核心是验证商业逻辑,而不是验证技术。
11. 产品路线图 Roadmap
Roadmap 是:为了实现长期目标,把产品拆成多个阶段逐步验证和实现。
每一阶段都应该回答:
这一阶段解决什么用户问题? 产生什么独立价值? 验证什么假设? 为什么它要先于下一阶段?
阶段顺序需要综合:
- 用户需求;
- 用户价值;
- 产品依赖;
- 技术依赖;
- 实现成本;
- 风险;
- 阶段闭环能力。
老师课堂中特别强调:产品第一位不是考虑“技术已经能做什么”,而是先考虑“用户需要什么”。
12. 产品功能、流程与架构
三个概念需要严格区分。
12.1 功能
回答:
用户能完成什么?
例如:
- 答疑;
- 学习计划;
- 智能练习;
- 错题分析。
12.2 产品流程
回答:
多个功能怎样连接成一个完整任务?
例如:
制定计划 → 今日任务 → 做题 → 答疑 → 分析错误 → 更新掌握度 → 调整后续计划。
12.3 产品架构
回答:
为了支撑这些流程,需要哪些系统和能力?
AI 产品可以从上到下拆成五层:
体验功能层
用户直接感知:
- 对话;
- 答疑;
- 计划;
- 练习。
业务逻辑层
负责:
- 用户状态;
- 任务状态;
- 学习计划;
- 业务规则。
AI 编排层
包括:
- Agent;
- Prompt;
- Skill;
- Workflow;
- Memory;
- Context;
- Tool orchestration。
业务能力 / 数据层
包括:
- 题库;
- 用户系统;
- 教研内容;
- 订单;
- CRM。
基础设施层
包括:
- LLM;
- Database;
- Vector DB;
- Search;
- 日志;
- Observability;
- 权限。
老师课堂中所说的:“有哪些功能、功能怎么组合、系统跟系统之间怎么交互、怎么通信”
本质上就是系统产品层面的基本能力。AI PM 同样必须具备。
13. 系统交互
系统交互不能只理解成:A 调用了 B 的 API。
完整系统交互至少包含六个阶段:触发 → 输入 → 处理 → 输出 → 状态变化 → 异常处理
例如 Agent 调用题库:
触发
Agent 判断用户需要专项练习。
输入
传递:
- 考试;
- 题型;
- 知识点;
- 难度;
- 数量。
处理
题库筛选符合条件的题目。
输出
返回:
- question_id;
- 题干;
- 选项;
- 答案;
- 解析。
状态变化
记录:
- 已推荐;
- 已做;
- 正确 / 错误。
异常处理
处理:
- 无结果;
- 参数缺失;
- API 超时;
- 数据异常。
这才是真正完整的系统设计。
14. AI 产品评价与 Eval
14.1 定义
这是 AI 产品与传统系统产品最关键的差异之一。传统产品往往更关注:
功能有没有按规则运行。
AI 产品则必须进一步回答:模型最终输出到底好不好?
老师课堂明确提出:AI 产品非常重要的一点,不是先谈功能,而是先考虑功能怎么评价。
14.2 Agent Eval 的 MECE 链路
可以按照 Agent 完成一次任务的生命周期进行拆解:
1. 输入理解
评估:
是否正确理解用户。
2. 推理与规划
评估:
是否制定正确计划。
3. 信息获取
评估:
是否检索到正确内容。
4. 工具执行
评估:
是否选对 Tool、传对参数。
5. 状态管理
评估:
Context / Memory 是否正确。
6. 内容生成
评估:
- 正确;
- 完整;
- 相关;
- 清晰;
- 符合风格。
7. 端到端结果
评估:
用户最终任务是否真正完成。
此外还存在两个横跨全过程的维度:
安全与风险
例如:
- 幻觉;
- 越权;
- 数据泄漏;
- 不安全输出。
效率与成本
例如:
- 延迟;
- Token;
- Tool 调用次数;
- 单次任务成本。
15. AI 质量门槛
定义 Eval 维度之后,还不够。还必须回答:
做到多少才可以上线?
这个标准没有统一答案。它取决于:
错误发生以后,对用户造成多大的损失。
例如:普通内容推荐即使偶尔不够准确,风险有限。但是:
公考题标准答案如果经常错误,会直接摧毁用户对产品的信任。
因此:业务风险决定质量门槛。
16. 错误感知与兜底
AI 产品一定会遇到错误。所以不仅要设计:
正常流程。
还要设计:错误路径。
可以拆成两个问题。
16.1 是否能够感知错误
可感知错误包括:
- Tool 调用失败;
- 无召回结果;
- 超时;
- 参数错误。
难感知错误包括:模型输出看起来合理,但事实上是错误答案。
后者往往是 AI 产品更困难的部分。
16.2 出错以后如何处理
可以分为:
- 自动重试;
- 调整 Prompt;
- 换模型;
- 换 Tool;
- 强制数据库查询;
- 降级为规则系统;
- 转人工。
课堂中老师讨论真人老师兜底时特别指出:有人工并不能自动解决问题,前提是你得知道什么时候模型错了。
17. AI 技术方案选择
Prompt、RAG、Skill、Tool、Memory、Agent 都不是产品目标。它们只是不同的解决手段。可以按照系统给予模型的自主权划分:
1. 确定性系统
规则、数据库、普通 API。适合:
逻辑明确、必须稳定、不能随意出错的任务。
2. AI 辅助
模型提供建议,但不直接执行。适合:
可以存在一定不确定性,但需要人工或系统最终确认。
3. AI + Tool
AI 负责理解与判断,Tool 负责确定性执行。适合:
同时需要自然语言理解和高可靠业务执行。
4. Agent
AI 自主进行:理解 → 规划 → Tool 调用 → 观察 → 再规划。
适合:开放、多步骤、无法提前写死完整流程的复杂任务。
真正正确的路径是:业务需求 → 质量要求 → Eval → 选择技术方案。
而不是:我会 RAG → 所以这个项目做 RAG。
18. AI 产品评测生命周期
AI Eval 不是一个上线前测试环节,而是一套长期机制。完整生命周期可以分为:
第一阶段:定义
- 定义用户需求;
- 定义质量标准;
- 定义上线门槛。
第二阶段:离线评测
- 构建评测集;
- 离线运行;
- 找 badcase;
- 归因;
- 调优;
- 再评测。
第三阶段:灰度
- 小流量用户上线;
- 收集真实 Query;
- 检查线上效果;
- 判断离线与线上是否一致。
第四阶段:正式上线
- 扩大流量;
- 持续监控质量和业务指标。
第五阶段:持续迭代
- 新 badcase 回流;
- 更新评测集;
- 再次优化。
因此:Eval 是 AI 产品的持续反馈回路,而不是一次性验收。
二、常见误区
1. 把自己的想法当成用户需求
错误:
我觉得备考用户缺陪伴,所以需要 AI 陪伴。
问题是没有真实证据。正确逻辑是:
先通过用户反馈、行为、调研和市场证据证明问题存在,再进行产品判断。
2. 只写结论,不写推导过程
错误:
用户需要短周期私教。
如果没有:数据、样本、调研过程,
这个结论并不能体现产品能力。
3. 从技术能力出发定义产品
错误:
大模型可以做 Agent,所以做 Agent。
正确:
用户存在什么问题 → Agent 是否比现有方案更适合解决。
4. 把方案当价值
错误:
用 Agent 放大教研价值。
“用 Agent”只是方案。真正价值应该是:
用户学习效率提高、业务增长、收入增加等。
5. 把探索当商业价值
错误:
探索新的商业化方式。
探索只是行动。最终还要回答:
有没有更多用户? 用户有没有留下? 有没有产生收入?
6. 目标不可衡量
错误:
打造行业顶尖学习服务。
必须继续定义:
什么叫顶尖? 用什么指标衡量?
7. 把技术 Demo 当 MVP
错误:
先把 Agent 跑起来就完成 MVP。
真正的 MVP 应该验证:用户是否真正需要,以及这个商业逻辑能否成立。
8. 路线图只复述公司历史
错误:
第一期做答疑,因为公司当时就是先做答疑。
产品经理必须理解:为什么答疑值得先做。
9. 用户画像只写身份标签
错误:
大学生、在职、二战。
这只是人群分类。真正画像要能够解释:
他们为什么产生不同的产品需求。
10. 需求分类没有定义
错误:
基础需求、进阶需求、高阶需求。
如果说不清:什么叫基础?
分类本身没有意义。
11. 把功能列表当产品架构
错误:
答疑、计划、练习、评估。
这只是功能列表。还要说明:
功能之间怎样形成流程,以及背后由哪些系统支撑。
12. 认为链路跑通就代表 AI 产品完成
传统软件:链路正确通常意味着结果相对确定。
AI 产品:链路完全正确,模型仍可能输出错误结果。
因此必须有 Eval。
13. 只评正确率
例如:一道选择题答案是 A,模型输出 A。
正确率是 100%。但用户可能需要:
为什么是 A?
因此:正确不一定等于体验好。
14. 先决定用 RAG / Skill / Agent,再找理由
技术方案必须由:用户需求和质量标准
反推,而不是反过来。
15. 把 AI 过程指标直接当业务价值
错误:
正确率提升,所以留存一定提升。
两者可能存在关系,但除非有实验或数据证明,否则不能直接建立因果。
16. 认为有人兜底就可以接受低质量
如果模型犯错后系统本身无法识别:人工兜底机制可能根本不会被触发。
17. 离线 Eval 好就认为已经完成
真实用户输入通常更加复杂。因此:
离线评测 → 灰度 → 在线监控
缺一不可。
三、概念之间的关系
整套产品方法不是一堆独立知识点,而是一条连续的因果链。可以统一理解成:
证据
↓
用户需求
↓
项目背景
↓
用户价值 / 商业价值
↓
产品目标
↓
指标
↓
用户与需求分析
↓
MVP / Roadmap
↓
功能与产品流程
↓
系统架构与系统交互
↓
AI 质量标准
↓
Eval
↓
AI 技术方案
↓
离线评测
↓
灰度
↓
正式上线
↓
业务结果
↓
新的用户数据
↓
下一轮迭代
下面分别解释几个最重要的关系。
1. 需求与背景
需求回答:用户有什么问题?
背景回答:为什么这个问题现在值得解决,以及现方案为什么解决不了?
因此:需求是问题,背景是立项依据。
2. 背景与价值
背景解释:为什么要做。
价值解释:做成后有什么意义。
因此:背景证明“应该做”,价值说明“做了有什么好处”。
3. 价值与目标
价值通常是方向:提供更好的学习服务。
目标则要更具体:让用户持续使用。
因此:目标是价值的具体化。
4. 目标与指标
目标描述:希望什么状态发生变化。
指标则负责:判断这个变化有没有真正发生。
因此:指标是目标的测量工具。
5. 用户画像与需求
用户画像不是孤立的材料。它真正的用途是解释:
不同人群为什么产生不同需求。
所以:用户画像 → 需求差异 → 产品策略差异。
6. 需求与 MVP
MVP 不能来自:哪个功能最好做。
而应该来自:当前最重要、最值得验证的用户需求。
所以:需求优先级决定 MVP。
7. MVP 与 Roadmap
MVP 是最早的一次核心验证。Roadmap 则是:
多次阶段性验证与能力建设的组合。
所以:MVP 是 Roadmap 的起点,而不是最终产品的缩小版。
8. 功能、流程与架构
三者可以理解为:
功能回答“有什么”。 流程回答“怎么串起来”。 架构回答“靠什么支撑”。
例如:
答疑是功能; 做题 → 答疑 → 错题分析是流程; Agent + 题库 + 用户系统是架构。
9. 系统产品能力与 AI 产品能力
系统产品更关注:功能怎么运行。
AI 产品还必须继续解决:运行结果是否可靠。
因此:
系统产品解决“能不能跑起来”; AI 产品进一步解决“跑出来的结果能不能用”。
老师课堂就是在这里强调:只讲功能、系统与通信,还没有真正进入 AI 产品最核心的部分之一——评价。
10. Eval 与技术方案
这是整套 AI 产品方法里非常关键的一条关系。错误顺序:
RAG → Skill → Agent → 然后看看效果。
正确顺序:
用户需要什么 ↓ 什么结果才算好 ↓ 允许多大错误 ↓ 如何评测 ↓ 最后决定用 Prompt、RAG、Tool 还是 Agent。
因此:Eval 是 AI 技术方案的重要上游。
11. Agent 与确定性系统
Agent 最大优势是:面对模糊、开放任务进行理解、推理和决策。
确定性系统最大优势是:稳定、准确、可预测。
所以成熟 AI 产品通常不是:Everything is Agent。
而是:Agent 负责理解与决策,确定性系统负责高可靠执行。
例如:
用户意图由 Agent 判断; 公考题标准答案由题库 Tool 返回。
12. AI 指标与业务指标
AI 指标回答:产品能力有没有做出来。
业务指标回答:这个能力最终有没有创造价值。
例如:
Tool 正确率提高 ↓ 答疑质量提高 ↓ 用户体验改善 ↓ 用户愿意继续使用 ↓ 留存提高。
但中间存在很多其他因素。因此:
AI 指标通常是业务结果的过程变量,不等于最终业务价值。
13. 成本与规模化
AI 产品不能只追求:能力越来越强。
还要考虑:这套服务是否能够以合理成本提供给大量用户。
所以:Token 成本、模型路由、人工介入率
最终都可以连接到:单位服务成本与规模化经营能力。
四、小结
这节课最重要的并不是学会某一个具体工具,而是建立了一套完整的产品思考方式。可以把它压缩成以下主线:
从证据出发发现真实需求,解释为什么值得解决这个问题;定义用户价值和商业价值,把价值转化成可衡量目标;再通过用户分析、需求优先级与 MVP 设计产品方案;对于 AI 产品,还要额外定义什么叫做好,通过 Eval 明确质量门槛,并根据质量要求决定 Prompt、RAG、Tool、Skill、Agent 等技术方案;上线后再通过 AI 指标和最终业务指标验证产品是否真正创造价值。
其中最重要的几个原则是:
1. 产品经理的核心价值是决策
不是:我做了多少功能。
而是:为什么做这个功能,依据是什么,为什么现在做,为什么用这种方案。
2. 需求必须有依据
不能:我觉得用户需要。
必须:用户反馈、行为数据、市场与替代方案共同证明。
3. 产品第一位从需求出发,而不是技术
技术能力可以创造新的可能性。但:
技术可以做,不等于产品应该做。
4. 价值和方案必须分开
价值回答:为什么值得做。
方案回答:怎么做到。
不能把:“做 Agent”
当成产品价值。
5. 目标必须可衡量
“打造顶尖产品”不是一个足够完整的目标。需要继续定义:
什么数据变化代表目标达成。
6. MVP 是商业验证,不是技术 Demo
最小版本真正应该验证的是:用户是不是真的需要,以及产品逻辑能不能成立。
7. 功能只是产品的一层
完整产品还包括:流程、系统、数据、状态、异常与架构。
8. AI 产品的核心之一是评价
AI 产品不是:功能跑通就结束。
必须定义:什么叫做好。
9. Eval 决定 AI 实现方式
不是:因为会 RAG,所以做 RAG。
而是:因为这个任务需要达到某种质量,所以选择最合适的实现方案。
10. 最终必须回到业务价值
Prompt、RAG、Agent、Eval、准确率、Token 都不是最终目的。最终仍然要回答:
用户有没有得到价值? 用户有没有留下? 产品有没有增长? 有没有产生收入? 服务成本是否合理?
因此,可以把 AI 产品经理的核心能力最终浓缩成一句话:AI 产品经理是在不确定的用户问题与不确定的 AI 能力之间,通过用户证据、产品判断、系统设计、Eval 和业务数据建立一条可验证的价值链,并不断证明“为什么这个产品值得做、为什么应该这样做、以及它最终是否真的做成了”。