本文是增长黑盒翻译计划的第一期。该计划旨在将国外growth hacking相关的精品文章翻译成中文，把先进的理念引进国内，让更多人学习和了解增长黑客。
翻译者：钟大本
审稿：张伤风、yolo
原文作者joey debruin曾在约翰霍金斯大学医学院任职技术研究员。在神经科学实验室的时光让他学会了从假设到分析的实验能力。现在他在一家共享厨师“平台feastly担任增长主管，利用他的能力进行快速实验 - 在他加入两年后，feastly增长了10倍！
原文地址：https://reforge/blog/growth-experiment-management-system
本文的目的是让大家了解国外增长团队先进的工作流程，以及”科学增长”的思维。增长黑客并不是一个人在战斗，而是要依靠整个团队。因此，当公司达到一定规模后，将“增长”体系化、流程化就变得极其重要。
译文如下：
那些发展最快的公司仿佛在以光速前进。
uber、airbnb、amazon和facebook都是过去几年发展极快的公司。要说其中的原因，可能是因为他们从一开始就建立了高速实验的公司文化。
airbnb增长团队的数据科学经理lindsay pettingill说，在过去的两年里，她的团队每周进行的实验从100次增加了到700次。
airbnb不是唯一重视实验速度的公司，在之前的很多年里，facebook的信条都是「move fast and break things」（快速行动，打破常规）。
2014年，facebook更新了这个信条：「move fast with stable infrastructure」（快速行动，基础扎实）。
虽然和之前略有不同，但表达的意思是一样的——速度非常重要。
尽管知道速度至关重要，但很多公司改进步伐还是非常缓慢。这有两个重要原因：
1. 难以让整个团队都参与到增长工作中。
2. 未能建立闭环的、可重复的实验系统。
就像jira（注：atlassian公司出品的项目与事务跟踪工具）这种系统工具可以为许多开发团队提高效率和协作一样，专门为实验构建的增长实验管理系统，可以提高增长团队的实践速度。较大的公司可以为工程师开发强大的内部系统，但较小的团队往往认为这些系统太昂贵，太难构建，或两者兼而有之。
比如google sheets（注：google出品的在线办公软件），它是很多初创公司最初的数据管理工具，但它本身太笨重，随着实验迭代速度的提升变得越来越不适合。不适合的工具又给工作带来了反作用，实验速度就因此变得越来越慢，进入了负循环。
不同于大公司通过购买昂贵的软件或者复杂的开发来构建一套流程，在这篇文章中，我会说明我是如何为feastly搭建一个轻量的、便宜的实验系统，从而实现了：
1. 让公司整体都能参与到增长工作的协作中；
2. 使全公司提交的实验灵感提升了两倍；
3. 使增长实验速度提升了三倍。
达到以上目标，我们仅仅只是通过运用pipefy（项目管理软件，国内环境可使用trello）和一些简单的插件，就低成本地搭建了一个让我们能快速洞察的实验系统。这个系统可以适用于任何团队，不需要你事先具备进阶的编程能力，而且只需要花费几个小时。
总体来说，搭建实验系统分为四个步骤：
1. 根据你们团队自身的优劣势确定测试的优先级；
2. 搭建实验流水线去让实验流程可重复；
3. 输出强大的报告去帮助你了解并优化实验进程；
4. 设置简单的自动化和集成插件让关键操作变得简单。
在下面我会讲解各个步骤，并附上相应案例。我的目标是让你们都能够根据这篇文章搭建适合自己的增长团队的轻量级实验系统。
第一步：在开始实验之前，确认测试的优先级。
feastly秉持增长黑客的理念，通过敏捷性，协作性，可复盘和低成本四个角度来设计了增长实验管理系统，从而使得我们的增长测试更有效率。
1. 敏捷性
我们希望这个系统能让我们的工作变得快速敏捷。我们之前的系统是用google sheets搭建的，在实验的数量上来以后，它变得非常笨重。理想的增长实验管理系统可以很大程度替代繁复的人工操作，从而让团队有更多的时间进行测试。
2. 协作性
和很多公司一样，我们由不同的部门去负责产品的不同领域，比如运营、营销和销售，这些不同小组的成员有各自擅长的地方。大多数小公司没有专职的增长团队，所以没有办法简单地去将各个领域的实验灵感收集起来，只能通过周会将他们聚集起来去产生实验灵感。而对于feastly，我们动员整个公司通过slack将他们的灵感提交到我们的实验队列中，这样不仅可以让全公司参与到增长实验中，同时也可以在不安排更多会议的前提下方便进行增长实验的灵感收集和协作。
3. 可复盘
仅仅只用一大堆google表格去跑实验可能难以让分析报告准确和及时，而这样会导致我们没有时间去对实验项目进行事后分析。因此，一个好的增长实验管理系统不仅需要我们按照最佳的方式进行实验，还要在任何实验完成前进行充分复盘。
4. 低成本
我们试用过几个saas实验管理平台， 考虑我们公司所处的阶段和预期投入产出比，价格不是很合适。实际上这样一个系统并不是只有高价买来的。你可以尝试通过现成的软件低成本构建属于你们团队的系统，甚至你可以创造一些东西来充实到这套系统之中。
为了达到以上这四个目标，我们事前讨论了针对这些目标所需的功能，专门列了一个列表后才去寻找搭建系统的工具。对于任何一个团队，我都推荐你们在开始搭建系统之前，也通过类似的过程来规划你们的目标。
第二步：打造实验流水线
实验流水线的原理和trello或jira这种看板系统类似，你可以将任务卡片从左边移到右边来表示实验的进度。在不同的实验阶段我们设置了不同的内容板块（填写以后才能把任务卡片移到下一个阶段），这些板块的填写可以触发自动化机制和报告。
我们的流水线包含以下阶段：
实验灵感实验队列上线排期进行中分析成功失败
实验流水线样例
你可以根据你的需求设置更精简或更详细的流程。让我们详细讨论每一个阶段。
1. 实验灵感
实验灵感可以通过slack（通过在第四步里的插件）上传到这个板块，或者由增长团队直接在看板系统里创建。这一阶段的目标是最大限度地减少创建实验灵感的障碍，所以任务卡片只需要填写标题字段就可以创建了。
这里的灵感可以通过头脑风暴等方式获得。需要注意的是，这些仅仅是“灵感”，并不代表它们可以真正被执行。公司任何人都可以在这个阶段提供各种奇思妙想。
2. 实验队列
从这里开始，只有增长团队能控制任务卡片的移动。只有补充完成了以下字段的任务卡片才能从「实验灵感」进入「实验队列」：
实验目标跟踪指标核心假设实验灵感针对的业务环节期望效果成功信心需求资源
关键环节贯穿整个增长漏斗，比如用户留存、商业化、用户促活，让我们可以看到随着实验的进程和结果如何随着时间影响到公司的不同目标。
这个环节就意味着，想法将要被真正落地了。实际上，第一步收集的大多数灵感都无法进入这一步 - 我们需要结合可操作性、历史经验等，慎重筛选那些更靠谱的点子。
此外，我们使用ice优先级框架（impact期望效果，confidence成功信心，ease需求资源）去对队列中的实验灵感进行打分并排序。
ice框架是硅谷增长团队常用的一种优先级评定方法。简单来说，是将impact、confidence、ease三项的分数(1-10分）相加得到一个ice总分 - 这个分数越高，执行的优先级就越大。具体介绍请参考本文译者钟大本的另一篇文章：硅谷增长黑客需求评估中的ice法则
3. 上线排期
我们在周会时将实验队列里的任务卡片移动到上线排期板块，并直接在任务卡片里安排大家完成需要的前期准备。
4. 进行中
当实验启动后，任务卡片会被移动到这个板块，并在里面加上任何和实验相关的跟踪链接、提醒、附件和任务。
5. 分析
实验结束以后，任务卡片会被移动到这个板块。我们需要分析实验是否证实了我们之前的假设，效果是否达到了我们预定的目标。一切实验结果都会被记录在里面，包括观察数据、假设是否被证实和效果是否低于/达到/超出我们的预期。
举个例子，比如我们假设这个实验将使转化率提升10%，而实验结果将转化率提升了20%，我们会将它标记为「超出我们的预期」。这不仅能让我们知道实验是否成功，还能在之后让我们知道是否准确测量了不同实验的结果。
「分析」阶段的任务卡片样例
6. 成功
达到了预期目标的实验会被放进这个板块中。如果接下来还会基于它再展开一系列的实验，我们会通过pipefy的「关联」功能以这个卡片为基础创建后续任务卡片。这样做能让后续的实验项目共享之前的实验经验和获得的信息。
7. 失败
没有达到预期目标的实验会被放进这个板块中。 和「成功」列表一样，任务卡片会根据它的结果直接进入相关的列表里，而且也能根据「关联」功能以这个卡片为基础创建后续的任务卡片。
8. 归档
如果实验被移除出实验流水线，它会进入这个板块中。当有需要的时候，它可以被再次访问和激活。任务卡片可以在任何实验阶段直接被移到这个板块里。
第三步：实验优先级和分析报告
我们搭建一个有序的实验流水线的目的之一，是它能让实验优先级和分析报告成为工作的核心，让公司的管理者可以提高效率，提升实验的影响力，并让整个团队都投入到增长工作中。
你可以在看板工具中创建分析报表，也可以把数据导出到excel或者其他数据分析平台中进行进阶分析。我在这里向你提供一些样例，你可以以此为基础创建其它报表。
1. 优先级
这份报表将「实验队列」中的任务列了出来，呈现它们的实验方法和预期目标，并且根据它们的「ice」分数排序。在项目管理看板里，你可以通过这份报表浏览现有的实验灵感并把高优先级的实验加入到上线排期中。
表格中的项目分别为：
实验名称执行人实验方法跟踪指标期望目标（i）成功信心（c）所需资源（e）ice总分
2. 进度报告
项目管理看板pipefy内置有进度报告，但我们选择了搭建另一个简单的仪表盘去进行深入一点的分析。
我们先在pipefy里创建了一个报表，将进行中的实验日志和那些被公司成员填写的内容记录下来，然后我们用chartio（一个数据可视化平台）搭建仪表盘。之后我们就可以通过这个仪表盘去分析pipefy记录下来的数据，整个过程甚至不需要一分钟。
3. 实验灵感运用
你可以像我们前面搭建进度仪表盘一样搭建这份报告，也可以用其它你喜欢的工具比如excel数据透视表。通过这份报告，我们能知道一段时间内有多少成员（无论他们是否属于增长团队）提交了实验灵感。打造数据驱动的文化非常重要，而这个指标能让我们衡量我们是否做到了这点，并让我们将目光专注于实验灵感是否被采用。实验流水线搭建后，流程的改进让提交实验灵感的人提升了两倍。
4. 优化假设和成功率
和上面一样，我们可以用pipefy来导出数据，仪表盘能计算出实验结果和之前假设的对比关系。这很重要——如果不能更好地预测实验结果的话，我们可能陷入不知如何确定实验优先级的困境。比如说，根据以往的经验，我们的假设总是高估改动整个业务漏斗的实验效果，又总是低估简单复制或设计改动方面的实验效果。这让我们学会了从简单的、容易完成的实验着手。
我们可以用一张流程图来总结整个增长实验流程：左边对应的是第二步中构建的流水线，而右边涉及第三步中提到的各种分析报告。
第四步（可选）: 自动化和集成插件
上面的内容详细说明了你在搭建一个提供给增长团队使用的系统时应该注意什么。对于增长团队内部来说，创建任务卡片、设置预警和提醒、促进看板工具中的用户协作是很简单的，所以自动化和集成插件主要用于帮助增长团队和其他团队合作。
这样可以简单地为合作团队创建轻量级的任务系统，并且让一些需要对接的事情自动化，使所有人可以专注于增长迭代的工作循环中。
下面是我们目前加入到系统里的两个重要自动化插件。
1. zapier插件：通过slack在pipefy里创建任务卡片
我强力推荐这个插件。减少团队成员在沟通简单灵感时的时间消耗，是加快实验节奏和灵感采用的关键。zapier提供了内置的zap工具，但它不能在所有slack频道里使用，所以我们自己开发了一个类似的。任何时候任何人只要通过「#实验」发送消息，消息就会自动被创建成一张任务卡片，加入到实验流水线的「实验灵感」列表中，并将灵感提交者的邮件地址附加到卡片里。
...