证据、假设与认知偏差
测试结束,三位朋友都说“挺好玩的”,你准备花两周加排行榜。另一位玩家没开始就离开了,你觉得他不属于目标人群。这时你到底是在用证据决策,还是把零散反馈拼成想听的故事?
本篇帮助你判断:一条材料支持哪个结论,下一步怎样减少会改变选择的不确定性。 以下情境为虚构示例。
为什么同一条记录可以有多种解释
“玩家离开了”是观察;“他觉得规则复杂”是解释;“删掉规则说明”是决策。把三者写成“规则太复杂导致流失,所以删掉”,就把尚未检查的因果关系藏进了句子。
试着并列两个解释:他没看懂,或者休息结束了。前者可能需要改善表达,后者可能更需要可靠恢复。两个动作不同,所以值得补证。可以记录离开前做了什么,在允许的情况下询问结束原因,再看是否回来;一次回答仍不能代表全部人群。
为什么假设必须允许失败
“玩家会喜欢”无论发生什么都能找理由保住:退出叫没找到对的人,留下叫需求成立。它无法约束投入。
换成一个可检查的预期:“符合招募条件的首次玩家,在没有口头帮助时,能理解连线目标,完成后愿意自行选择下一题。”再写清材料版本、样本来源、观察窗口,以及哪些表现算失败或暂不确定。这里仍有两个不同问题:能否使用,与是否愿意继续,应分别记录。
假设可按后果拆为价值、体验、实现、经营与合规风险。例如无人想再次解题,可能推翻核心方向;路径高亮颜色不好辨认,通常只影响局部设计。优先检查“错了会使计划失去意义、目前又缺少依据”的假设,而不是专挑最容易证明成功的部分。
方法为什么要随问题变化
| 待决问题 | 为什么选这类证据 | 不能跨过去的边界 |
|---|---|---|
| 玩家何时、为何找游戏 | 最近经历访谈能还原场景与替代 | 回忆会遗漏,不能证明新玩法有趣 |
| 能否独立开始 | 任务观察能看到卡住的动作 | 测试场景不等于自然渠道 |
| 是否愿意再获得体验 | 自发重复使用提供实际行为 | 可能受招募、奖励和新奇影响 |
| 改动是否造成差异 | 合理随机实验使组间更可比 | 仍需可靠分组、度量与足够信息 |
| 经营能否持续 | 实际收支能检查当前约束 | 不能保证未来成本与渠道不变 |
证据没有脱离问题的万能排序。一次任务观察可能直接推翻按钮设计,却回答不了市场有多大。问卷人数再多,如果问的是“你会不会喜欢”,也不能替代实际操作。
偏差为什么会在你很认真时出现
确认偏差不一定表现为造假。你认真记下三条赞美,却没记朋友是在你解释以后才完成,这就改变了证据含义。幸存者偏差则可能发生在只研究留下来的玩家时:他们克服的障碍,退出者未必克服了。
沉没成本是另一种陷阱。已经写好的排行榜无法让未来维护免费;继续投入应比较从现在开始的收益与成本。反过来,也别只因早期结果不好就推翻全部工作:可能是新版本崩溃或招募不匹配。
在看结果之前写判据,保留退出者与反例,能减少事后移动标准的空间。提出排行榜的人,先请他还原最近一次比较成绩的过程;这样才能区分稳定动机和随口建议。
决策日志记录的不是成功故事
一条有用日志包含待决问题、候选方案、支持与反对材料、盲点、决定、撤回条件和复查日期。它使未来的你能回答:“当时为什么选它?今天哪个前提变了?”
结果好不代表推理必然正确,也可能恰好碰上好渠道;结果差也不证明当初选择不合理。要同时检查决策时可获得的信息和之后出现的新信息。
适用边界:证据不足也可能需要行动
遇到严重故障、权利风险或时间窗口,等到完全确定可能比小范围可撤回的行动更贵。此时写出最坏后果、限制暴露范围并安排复查;不要把暂时行动包装成结论已被证明。
小样本用于找问题时,不必追求一个虚假的统一“可信度百分数”;用于估计人群比例时,又不能拿几条访谈代替统计。精度应服务待决问题。
练习:给最想开发的功能写两种相反解释,各提出一种能区分它们的观察,再写出会让你取消该功能的结果。用 机会验证卡 记录。