把工作流转化为可验证的需求。
我构建了包含 100 项任务的评测集，覆盖指令遵循、一致性与修改能力；随后补充 40 项短剧任务，深入检验叙事类工作流。
字节跳动
从创作意图，
到产品判断。
如何判断一个 AI 视频智能体，能否胜任真实的创作任务？
画面惊艳只是起点。一个实用的智能体还需要理解需求，在多轮修改中保留创作意图，并交付连贯的结果。
在字节跳动，我参与了豆包及火山方舟 API 中基于 Seedance 的视频创作智能体的产品策略与评测工作，将创作者工作流和产品问题转化为可验证的需求、共用的质量标准，以及面向产品和算法团队的改进建议。
- 角色
- AI 产品策略
- 能力
- 产品研究 · 质量标准 · 问题归因
- 时间
- 2026
- 工具
- 评测集 · 评分细则 · 执行链路
我的贡献 构建并迭代测试用例，共同制定评测标准和诊断标签，培训评测人员，撰写对比报告。功能实现与发布决策由产品和算法团队负责。
本页图解与示例为公开展示重新绘制，不包含内部生成结果、评分或性能数据。
- 核心评测集
- 100项任务
- 支持的评测轮次
- 50+
- 使用规范的评测人员
- 50+
这项工作连接了三个判断。
问题在哪里？
把创作需求与产品能力缺口对应起来。
什么最重要？
判断影响、复现情况与原因。
下一步改什么？
带着证据与方向进入团队讨论。
从创作者想完成的任务出发。
我研究了竞品智能体与公开的创作者工作流，包括广告片创作，再将这些需求与我们的智能体能力进行对照。
区分表面问题与背后原因。
先看成片，再检查智能体的执行记录，区分创作效果不佳与背后的规划、工具调用或生成能力问题。
评审中的具体发现
创作者需要的控制，工具还没有提供。
我发现生成工具缺少音频与视觉风格锚点，由此提出具体的产品问题：需要哪些控制能力，才能帮助创作者在连续镜头中保持原本的意图？
识别哪些问题值得优先关注。
我结合成片可用性、高频失败模式和分场景对比，支持优先级讨论。诊断标签与执行链路让每个问题都能对应到更明确的改进位置。
可用性
识别让创作结果无法使用的关键问题。
复现情况
归纳高频问题，并在具体场景下对比。
可行动性
沿执行链路定位可能奏效的改进环节。
示例：失败发生在哪一步，会改变下一步怎么做
如果修改后主持人变了，约束丢失可能指向规划环节；如果约束已正确传递、结果却不一致，则需要检查生成环节。我用这类链路分析缩小排查范围，再提出改进方向。
为作品集重构的说明性示例。
把发现变成明确的下一步。
我向产品和算法团队提供代表性案例与链路分析，把创作者遇到的问题对应到具体的改进环节。
字幕问题 → 生成能力反馈
我将生成视频中的字幕问题反馈给产品和研发，并定位到生成层，为团队提供了明确的能力排查方向。
版本差异 → 迭代依据
通过智能体版本、模型与竞品对比，我分析提示词和流程编排调整的效果。报告归纳高频短板与场景差异，为优化和模型选型提供依据。
产品问题
创作工作流在哪一步受阻。
支持证据
重复出现的模式、案例与链路分析。
改进方向
从哪里入手，下一轮比较什么。
我也参与了豆包上线前的评审，准备智能体与模型的对比材料，支持团队的发布讨论。