50封往来邮件揭秘OpenAI的缘起、发展与矛盾

　　我们需要尽一切努力来获得顶尖人才。让我们更上一层楼◆■■。如果在某个时候我们需要重新审视现有员工的薪酬，那也没关系。

　　需要明确的是■★，这并不是要求接受之前讨论内容的最后通牒。这些内容不再存在。

　　附件是您的 YCR 正式录取通知书！请签名并注明日期■★。接下来还会有两份文件◆★：

　　明天★★，deepmind 将向 openAI 中的每个人提供大量反报价，试图消灭它。

　　-Dota 机器人性能的急剧提升显然导致内部人员担心 AGI 的时间表比他们之前想象的要早★◆★★■。

　　以下是微软的条款★◆■。6000万美元的计算费用为1000万美元，以及我们对他们在云中部署的内容的意见■★◆■◆。如果您有任何反馈，请告诉我。

　　伊利亚·苏茨克韦尔致伊隆·马斯克、格雷格·布罗克曼- 2017年7月20日

　　正确写出开篇摘要部分非常重要■◆。这将是每个人都会读到的内容，也是媒体最常引用的内容。这份新闻稿的全部目的是吸引顶尖人才■★◆◆◆■。不确定格雷格是否完全明白这一点。

　　OpenAI 是一家非营利性人工智能研究公司，其目标是以最有可能造福全人类的方式推进数字智能，且不受产生财务回报义务的束缚★■★。

　　说到最后一点，我们现在正在讨论一项数十亿美元的投资，有空的时候我想听听你的建议。很高兴有时间去湾区看望你。

　　-每周花费 5-10 小时，几乎完全掌控，或者花费更少的时间，更少的控制。

　　我们目前正在进行公司成立后的第一轮全职工作。显然■■，做好这些工作非常重要，因为影响是长期的。我还不太愿意自己做决定■★■，希望得到任何指导◆■■◆★。

　　停工：Sam 告诉 Greg 和 Ilya，他需要离开 10 天来思考。他需要弄清楚自己能信任他们多少，以及他有多想与他们合作。他说他会在那之后回来，弄清楚他想花多长时间◆◆■◆◆。

　　如果我们决定收购 Cerebras，我强烈认为这将通过特斯拉来完成。但如果我们也可以在 OpenAI 内部完成，为什么要这样做呢？具体来说，令人担忧的是◆◆★■■◆，特斯拉有责任为股东实现股东回报最大化★★★★◆◆，这与 OpenAI 的使命不一致。因此★■★，总体结果可能对 OpenAI 来说并不是最佳的。

　　-*不可协商*的条款似乎是一项铁定的协议，即如果创建了 AGI★★◆★◆★，则不会让任何一个人拥有绝对控制权。满足这一条件意味着，无论他们三人发生什么，都可以保证在 2-3 年的初始阶段后分配对公司的权力。

　　当地时间11月14日，特斯拉 CEO 埃隆·马斯克 (Elon Musk) 针对OpenAI 的起诉升级■◆◆，增加了新的原告和被告◆★■■。

　　我们最重要的考虑是招募最优秀的人才◆■。任何公司的产出都是公司内部人员的矢量和。如果我们能够随着时间的推移吸引最有才华的人，并且我们的方向正确，那么 OpenAI 就会获胜。

　　-不再采用 ICO/★◆◆★“提前购买计算的工具★◆”类型的结构■■。Altman 正在考虑一种工具，如果 OpenAI 确实实现了某种赚钱的 AGI，那么感兴趣的 4-5 家大公司可以投资■■◆★，回报率上限为 50 倍。他们似乎只是为了访问而愿意这样做■■★★◆■。他想和你更详细地讨论。

　　-他们真的不知道他喜欢在其他公司如何度过时间◆■★■◆，也不知道他想如何花时间在这件事上◆★★。Greg 和 Ilya 相信他们可以很好地构建 SW/ML 方面◆■★◆◆◆。他们对硬件方面没有信心■★★◆■。他们似乎希望 Elon 能花一些时间在这方面★★■■，因为这是他们的弱点★■■■◆，但他们确实希望他在他感兴趣的所有领域都能得到帮助◆■★■■★。

　　伊隆·马斯克致格雷格·布罗克曼（抄送：萨姆·特勒）- 2016年3月21日

　　明天我会安排一个时间让我们谈谈。要清楚的是★◆★，我非常尊重你的能力和成就，但我对事情的处理方式并不满意。这就是为什么我最近几个月与 OpenAI 的合作一直很困难。要么我们解决问题，我的参与度会大大提高★■◆■，要么我们不会解决问题，我的参与度会降到接近零，并公开减少我的联系■■。我不会处于这样一种境地◆★◆■★■：我的影响力和时间的认知与现实不符。

　　这些邮件肯定不是OpenAI发展过程中的全部★★，但是从这些公开的内容中可以看到OpenAI的缘起、发展与矛盾★★◆◆■★，以及不同阶段不同创始人、核心人员的不同观点。

　　Andrej 说得完全正确。我们可能希望情况并非如此，但在我和 Andrej 看来■◆◆★，特斯拉是唯一一条有望与谷歌抗衡的道路。即便如此◆◆，成为谷歌的制衡力量的可能性也很小。它不是零。

　　计划明天与整个团队交谈并征求意见。我要强调保密的必要性◆◆，但我认为获得认同并让人们有机会尽早发表意见非常重要。

　　我们致力于进行确保 AGI 安全所需的研究★◆，并推动此类研究在整个 AI 社区的广泛应用。

　　-Greg 和 Ilya 的股份最终比 Elon 的股份高出 1/10，但差别并不大（这仍然是最模糊的）。

　　伊隆·马斯克致伊利亚·苏茨克韦尔、萨姆·奥特曼（抄送◆◆■■■：格雷格·布罗克曼、萨姆·特勒、希冯·齐利斯）- 2017年9月20日（下午3◆◆★★■:08）

　　注意，与一些安全团队进行了交谈，他们对 ICO 以及未来可能产生的意外影响有很多担忧。

　　要么我们能找到世界上最优秀的人才◆◆★，要么我们就会被 Deepmind 打败◆★★◆■★。

　　AGI 真的是你的主要动机吗？它与你的政治目标有何关联？你的思维过程随着时间的推移发生了怎样的变化？

　　假设我们愿意让微软将空闲的计算时间捐赠给 OpenAI，并让大家知道这一点，但我们不想签订任何合同或同意“宣传”◆★★。他们可以随时关闭我们的服务，我们也可以随时离开◆★。

　　-Elon 想花多少时间在这上面？他实际上能花多少时间在这上面★◆★■★？时间范围是多长★■★◆◆？是每周一小时，还是十小时，还是介于两者之间？

　　- DeepMind 为约翰提供了每年 25 万美元的全额薪酬◆★★★◆◆，他认为自己可以轻松地将薪酬谈至 30 万美元★◆■■★■。

　　在我看来，OpenAI 如今正在烧钱，其融资模式无法达到与谷歌（一家市值 8000 亿美元的公司）真正竞争的规模。如果你无法真正竞争，但继续在开放领域进行研究◆■★◆■，那么你实际上可能会让事情变得更糟，并★★■◆★◆“免费”帮助他们★■■◆★，因为任何进步对他们来说都相当容易复制并立即大规模采用。

　　这个项目的成果尚不确定，而且薪酬也比其他公司提供的低，但我们相信目标和结构是正确的■★★■。我们希望这对该领域的佼佼者来说是最重要的。

　　- Ian 表示他主要不关心钱，但湾区物价昂贵 / 他想确保自己能买得起房子。我不知道如果 Google 开始向 Ilya 透露他们给出的数字，会发生什么。

　　每个人都感觉很好，说着“接受 DeepMind 的提议吧■★◆★，可惜他们没有‘做正确的事’”这样的话

　　格雷格·布罗克曼致伊隆·马斯克（抄送■■■■◆：萨姆·奥特曼）- 2016年2月22日

　　我们的主要受托责任是服务于人类。我们预计需要调动大量资源来完成我们的使命◆★，但我们将始终努力减少员工和利益相关者之间的利益冲突，以免影响广泛的利益。

　　不幸的是■◆■★，在 AI 前沿领域工作成本高昂。例如◆★◆★◆，DeepMind 在 2016 年的运营费用约为 2.5 亿美元（不包括计算费用）◆◆★。随着他们团队的不断壮大★◆◆◆◆◆，现在的运营费用可能约为每年 5 亿美元★◆■◆◆。但 Alphabet 在 2016 年报告的净收入约为 200 亿美元■◆★★★，因此即使 DeepMind 自己没有收入■◆★◆★◆，成本仍然相当低廉。除了 DeepMind，谷歌还有谷歌大脑、研究和云★★。还有 TensorFlow◆★、TPU，他们拥有大约三分之一的研究成果（事实上，他们举办自己的 AI 会议）★★■。

　　微软的人工智能聊天机器人最近的例子表明◆★★■，人工智能可以迅速产生极其负面的影响。明智的做法是谨慎对待人工智能的出现■★，确保其权力得到广泛分配■■★，而不是由任何一家公司或个人控制。

　　- 希望在第一轮 4-6 周内采取行动（可能主要是 Reid 的钱，也可能是一些企业钱）。

　　伊隆·马斯克致伊利亚·苏茨克维尔■★■★★◆、格雷格·布罗克曼的信- 2018年2月1日

　　有没有想过 YC 启动人工智能曼哈顿计划是否是个好主意◆◆◆◆★？我的感觉是，我们可以让前 50 名中的许多人参与其中◆◆★■◆，我们可以将其构建为通过某种非营利组织属于世界的技术★◆■■★，但如果成功，从事该技术的人将获得与初创公司类似的报酬。显然，我们会遵守/积极支持所有法规。

　　我们已经承担了足够多的负担，我们认为开会讨论这个问题非常重要。如果我们不这样做，我们的合作就不会成功。我们四个人今天能开会吗？如果我们都说实话，解决问题■★★，我们创建的公司将更有可能承受它将经历的强大力量。

　　Deepmind 让我精神压力极大。如果他们赢了，那对他们一心一意统治世界的理念来说将是一个坏消息。他们显然正在取得重大进展，而且他们应该取得进展，因为那里的人才水平很高。

　　我们将积极与其他研究和政策机构合作；我们寻求创建一个共同应对AGI全球挑战的全球社区◆■★★◆◆。

　　你们所熟知的组织在人数和武器上都远远落后于我们，但我们有优势，这对我们来说很重要★★◆★★◆。我喜欢这种胜算。

　　我附上了我们一直在使用的录用通知模板，薪资为17◆◆◆.5万美元。以下是我发给别人的电子邮件模板：

　　我们承诺利用我们在 AGI 部署方面获得的任何影响力，确保它能造福所有人，并避免使人工智能或 AGI 的使用危害人类或过度集中权力。

　　2. 伊恩将于周三接受面试并（我确信）收到录用通知。我们应该将他的录用通知视为最终决定，还是愿意根据 Google 的录用通知做出调整？

　　OpenAI 的使命是确保通用人工智能 (AGI)（即在最具经济价值的创造性工作中表现优于人类的高度自主系统）造福全人类。我们将尝试直接构建安全且有益的 AGI，但如果我们的工作能够帮助其他人实现这一结果，我们也会认为我们的使命已经完成。为此，我们承诺遵守以下原则：

　　3. 根据 1 + 2 的答案，我想知道这种固定策略是否合理。如果我们保留它■◆★◆■，我觉得我们必须真正说服人们接受奖金乘数。也许一个选择是使用签约奖金作为杠杆来让人们签约？

　　-Greg仍然本能地坚持平等分配。我个人不同意他的这种本能★■◆■◆★，他要求并愿意听取其他可以用来重新调整他的心理模型的东西。

　　因此，我们担心，随着公司真正朝着 AGI 迈进，你会选择保留对公司的绝对控制权◆★◆，尽管你目前的意图并非如此。我们不同意你的说法，即我们离开的能力是我们最大的力量，因为一旦公司真正走上 AGI 的轨道■◆★■，公司将比任何个人都重要得多。

　　我考虑过 ICO 的做法■★■★◆，但不会支持■■。在我看来，这只会导致 OpenAI 和与 ICO 相关的每个人信誉大打折扣★◆■★★。如果某件事看起来好得令人难以置信，那它就是假的。在我看来，这是一次不明智的转移。

　　在这次谈判中■◆，我们也犯了不少错误★■★◆■，下面我们将列出其中一些（Elon 和 Sam，我相信你们还有很多要补充的……）：

　　为此，请认真考虑谁应该加入★◆◆★。如果我能在招聘或其他方面提供帮助，我愿意为您效劳。我建议密切关注那些尚未完成研究生甚至本科教育但显然才华横溢的人◆★◆。最好在他们取得突破之前就让他们加入。

　　当你展示 YC AI 工作或被 YC AI 邀请参加会议时■★★■，可获得付费出席资格

　　简单来说★★，Greg 和 Ilya 表示他们希望继续保持非盈利结构。他们知道他们需要提供保证，保证他们不会去做其他事情来维持这种结构★◆。

　　格雷格·布罗克曼致伊隆·马斯克（抄送：萨姆·奥特曼）- 2016年2月21日

　　听起来 DeepMind 正计划为此发动战争★■★■◆，他们实际上一直在 NIPS 上逼迫人们。

　　以下图表显示了来自任何机构的论文总数（按口头/海报/研讨会/拒绝细分）：

　　我认为我们最好从 7-10 人开始，然后计划从那里开始扩大。我们在 Mountain View 有一栋不错的额外建筑，他们可以享用。

　　Chip 应该会在 8 月上市供他们测试，他们计划在 9 月让其他人进行远程访问■★■★◆◆。Cerebras 的工作人员还提到，他们最近很多客户对 Nvidia 的服务条款变化感到不满（这种变化迫使公司从消费级 GPU 转向企业级 Pascals/Voltas）。Scott Gray 和 Ilya 继续花大量时间与他们在一起

　　无论何时，我们都会采取最有可能造福世界的行动★◆■◆■。从短期来看，我们认为最好的方法是放弃我们的研究成果■■■。但从长远来看◆■◆★★■，这可能不是最好的方法：例如★■■◆◆★，最好不要立即分享一项潜在的危险技术。在任何情况下★■★■★◆，我们都会放弃我们所有研究成果，并希望这些成果归于全世界，而不是任何一家机构。

　　-Greg指出，Ilya通过在 Google 上展示自己的赚钱潜力，在某种程度上已经做出了数百万美元的贡献。

　　-Altman 说他可以接受我加入，然后如果我产生矛盾就必须退出，但他担心如果我必须退出◆★，其他人会认为这是自断后路。我认为最好的办法是暂时不要加入，做一个模棱两可的顾问，但如果你有不同的想法，请告诉我。他们有 Adam DAngelo 作为第五个可能接替你的人选，这看起来很棒？

　　ICLR 会议（深度学习领域的顶级会议（NIPS 规模更大■■■，但更分散））发布了论文被接受/被拒绝的决定◆★★■◆，有人制作了一些精美的图表，显示了当前深度学习/人工智能研究的进展■◆★★。这是一个不完美的衡量标准★■◆★■■，因为并非每家公司都会优先考虑论文发表，但它具有指示性★■■◆◆。

　　我们也很乐意提供签证支持。当您准备好讨论签证相关问题时，我很乐意让您与 YC 的 Kirsty 联系★■■■★■。

　　我们不明白为什么 CEO 头衔对你如此重要■■★。你陈述的理由已经改变，很难真正理解是什么在推动它。

　　举个例子★■◆■■，你说你需要成为新公司的首席执行官，这样每个人都会知道你才是负责人，尽管你也说过你讨厌担任首席执行官并且宁愿不担任首席执行官◆■★■◆。

　　我还强烈怀疑计算能力对于实现 AGI 是必要的（甚至可能足够）。如果历史趋势有任何迹象◆★■◆■★，那么人工智能的进步主要由系统驱动 - 计算、数据、基础设施。我们今天使用的核心算法与 90 年代相比基本保持不变。不仅如此，任何在某篇论文中发表的算法进步几乎都可以立即重新实施和纳入。相反，算法进步本身如果没有规模，也是无用的■■◆■，因此也很难令人生畏★◆◆■。

　　新报价★◆★◆★：年薪 17.5 万美元 + 年薪 12.5 万美元 等值 YC 或 SpaceX 股票。奖金取决于绩效评估★★★◆，您可能获得 0% 或远高于 100% 的奖金。

　　听得清清楚楚。听起来是个好计划。计划继续与 sama 就具体事宜进行合作，但如果您想随时了解最新情况■■◆★★★，请告诉我。

　　希望您今天过得愉快，很抱歉打断您问另一个问题◆◆★。Maureen想看看马斯克先生对扎克伯格先生自采访以来的一些公开评论有何反应。特别是■◆■，他将马斯克先生称为“歇斯底里的人”，因为他对人工智能感到恐惧■★■◆，并教训那些“散布恐慌”的人人工智能的危险。我在下面提供了扎克伯格先生评论的更多细节★■★★★。

　　显然■■，还有很多其他细节需要更改，但我很好奇您对这种信息传递方式有何看法。我不想手下留情，如果感觉合适，我很乐意传播更强烈的信息。我认为最重要的是我们的信息能够吸引研究界（或者至少吸引我们想要雇用的那部分人）■★■■■。我希望我们能以中立的团体身份进入该领域，寻求广泛合作，并将对话转向人类胜利，而不是任何特定的团体或公司■★◆★■◆。（我认为这是让我们成为领先研究机构的最佳方式。）

　　另外还有一封信，向您提供您出席的每个 YC 批次的 0.25%（作为担任 YC 顾问的补偿）。

　　筹款：Greg 和 Ilya 相信，如果做出明确的努力，捐款可以实现数亿美元。Sam 认为有一条通往数千万美元的明确途径，但更多尚待确定◆◆★■★。他确实提到 Holden 对营利性转型感到恼火■◆★◆，如果 OpenAI 保持非营利性，他可能会提供更多资金◆★■■★，但尚未坚定承诺。Sam 给出了一个数字，如果实现这一目标，他将获得 1 亿美元。

　　如果有人有任何疑问，我也很乐意亲自打电话给他们。我已经告诉艾玛，这是我每天 24 小时的首要任务。

　　- 是否要求绝对控制★■？他们想知道，如果其他人（不仅仅是他们三个人★■■■★★，也许是更广泛的董事会）对方向意见不一★★，那么是否存在某种创造性的否决条款？

　　我们公司的根本理念是将人工智能技术作为所有人类个体意志的延伸，尽可能广泛地传播■◆★◆■，在自由精神的指导下，确保数字智能的力量不会过度集中，并朝着人类总体所期望的未来发展。

　　微软现在愿意以 5000 万美元的价格签订该协议，并“由 OpenAI 自行决定采取诚意行动★◆◆”，并拥有随时终止合同的完全权利。无需宣传。不附加任何条件。看起来不像是微软蹩脚的营销棋子。可以继续吗？

　　我接受了 Wired 杂志关于 OpenAI 文章的采访◆◆■★◆★，事实核查人员向我发送了一些问题。我想与您就两个问题进行同步，以确保它们听起来合理/与您所说的一致：

　　由于我们没有任何财务义务，我们可以专注于最大限度地发挥人类的积极影响，并尽可能广泛地传播人工智能技术。我们认为人工智能应该是个人意志的延伸◆■◆◆◆，本着自由的精神，不应集中在少数人的手中■◆。

　　我们创建了利润上限 公司★★■，并在 Reid 和 Vinod 的带领下完成了第一轮融资。

　　我们认为，非营利组织 OpenAI 之所以成功，是因为你和 Sam 都参与其中。Sam 真正起到了平衡你们的作用■◆★■■，这非常有成效。至少到目前为止★★■，Greg 和我都不太能平衡你们★◆★。我们觉得，即使是这次谈判也证明了这一点★★，我们准备将长期 AGI 控制问题掩盖起来，而 Sam 则坚持自己的立场。

　　他说■◆：■★■“除非我们真的把事情搞砸了，否则机器永远都是服从的■★，而不是“超人■■★★★”。

　　正如我提到的，Greg 要求在本周末讨论一些事情★◆◆■。Ilya 最终加入了★★，他们几乎分享了他们仍在思考的所有事情★■■■★◆。这是那次随机谈线 个未解答的问题，下面是他们的评论。请注意，我并不提倡任何这些，只是组织和分享我听到的信息。

　　沟通：Sam 对 Greg 和 Ilya 在整个过程中让整个团队了解最新情况感到困扰★■★■◆。感觉这分散了团队的注意力■◆★■。另一方面◆★◆★★★，显然在最后一天几乎每个人都被告知营利结构不会发生，他对此感到高兴■◆■★，至少因为他只是希望团队再次低调行事■★★◆★◆。

　　这个项目的成果尚不确定，而且薪酬也比其他公司提供的低■■◆■■◆，但我们相信目标和结构是正确的◆■◆◆★。我们希望这对该领域的佼佼者来说是最重要的。

　　当前的结构为您提供了一条道路，最终您将单方面绝对控制 AGI。您表示您不想控制最终的 AGI，但在这次谈判中，您向我们表明绝对控制对您来说非常重要。

　　我们真的想和你们一起工作。我们相信★◆■，如果我们联手，我们完成任务的成功率就会最大■◆■■◆★。我们的优势最大。这是毫无疑问的。我们非常渴望和你们一起工作，我们很乐意放弃股权★◆、个人控制权，让自己容易被解雇——无论需要付出什么代价来和你们一起工作★★。

　　在这次谈判中，我们意识到★■，我们让 2-3 年后的经济回报来主导我们的决策★■★★。这就是我们没有强行控制的原因——我们认为我们的股权已经足够好了◆◆■★■，所以为什么要担心呢？但这种态度是错误的◆◆■★★■，就像人工智能专家的态度一样，他们不认为人工智能安全是一个问题★★◆，因为他们并不真的相信他们会建立 AGI。

　　相对于谷歌，OpenAI 走上了一条注定失败的道路。显然，需要立即采取有力的行动，否则除了谷歌之外的所有人都将变得无关紧要。

　　你对我主动给每个人每年增加 10-20 万的薪酬有什么异议吗？我认为他们都是为了这里的使命而努力★■，但这对每个人来说都是一个很好的信号，我们会随着时间的推移照顾他们。

　　格雷格·布罗克曼致伊隆·马斯克（抄送■◆★■★★：萨姆·奥特曼）- 2015年11月22日

　　-他们的本能是一开始就筹集超过 1 亿美元的资金◆★■◆。他们认为★★■★★◆，仅他们所需的数据中心就需要这么多资金，因此他们更愿意筹集更多资金。

　　我认为，制定监管信函的正确计划是等待这件事开始实施，然后我就可以发布它★◆，并附上这样的信息：★★★■“既然我们正在这样做，我一直在思考世界需要什么样的约束才能确保安全■★★◆★■。”我很高兴你也成为签名者。我还怀疑，在它发布后，会有更多人愿意支持它。

　　1. 我预计安德鲁会尝试谈判。我们是否应该坚持他的提议，并告诉他只有当他足够兴奋接受这种减薪时才加入（并且其他人留下了更多）？

　　但我们意识到★★★，我们在思考控制对世界的影响时过于粗心。由于这看起来过于傲慢，我们并没有认真考虑成功的影响◆■★。

　　我们致力于提供公共产品，帮助社会走向 AGI。目前■★◆，这包括发布我们的大部分 AI 研究成果，但我们预计◆■★■◆★，出于对安全和保障的考虑★◆，未来我们的传统出版将减少，同时共享安全■■◆、政策和标准研究成果的重要性将提高◆◆★。

　　- 从技术上讲■★■◆★★，你仍然是董事会成员★■★■，因此需要向 Sam Altman 发送一封简短的邮件★★■◆，内容类似于★◆★■■◆“通过这封电子邮件，我谨辞去 OpenAI 董事职务，自 2018 年 2 月 20 日起生效★★★◆◆★”。

　　正如我在电话中提到的，这是博客文章的最新早期草稿★◆◆：（Sam◆★■、Ilya 和我正在考虑新名字；希望得到您的任何意见。）

　　OpenAI 的目标是让未来更美好，避免 AGI 独裁。你担心 Demis 会创造一个 AGI 独裁。我们也是◆■■★■。因此，创建一个你可以选择成为独裁者的结构是一个坏主意，尤其是考虑到我们可以创建其他一些可以避免这种可能性的结构。

　　（由于这是我们提供的第一批官方优惠，因此请原谅途中的任何坎坷，如果发现任何奇怪之处，请告诉我！）

　　伊隆·马斯克致萨姆·奥特曼（抄送◆★■：Shivon Zilis）- 2018年4月2日

　　*来源：智能超参数，原文标题：《50封往来邮件揭秘OpenAI的缘起◆★◆■★★、发展与矛盾》

　　我们担心 AGI 的后期开发会变成一场没有时间采取充分安全预防措施的竞争。因此，如果一个符合价值观、注重安全的项目在我们之前接近建立 AGI★★，我们承诺停止与该项目竞争并开始协助该项目。我们将根据具体情况制定具体协议■★◆■◆，但典型的触发条件可能是“未来 2 年内成功的可能性高于平均水平”。

　　OpenAI 是否认为★◆◆★■，让尽可能多的人拥有最复杂的人工智能是人类防止过于聪明的人工智能落入私人手中、以某种方式向世界发动攻击以达到恶意目的的最好机会？

　　不确定这些是否可行，但仅从听取他们抛出的所有数据点来看，以下内容可以满足他们当前的棘手问题★■★◆■◆：

　　OpenAI是一家总部位于旧金山的人工智能研究机构，由埃隆·马斯克和其他几位硅谷知名企业家共同创立，该机构正在成立一个营利性部门，以便筹集更多资金。阅读全文

　　Andrej 有三名候选人，周二可能会有 1-2 名候选人来见你。他会向你发送一份关于他们的简报。此外，他正在为可能发布的版本编写初始语言，该版本将于周二准备好讨论■★■★◆。它将遵循我们讨论过的“全栈 AI 实验室”角度，但如果感觉不对，请纠正方向……这是个棘手的消息传递方式。

　　- 苹果有点绝望■◆★，向人们提供 55 万美元现金（可能加上股票）■■★◆◆★。我认为没有哪个好人会答应。

　　- 我们对股票变现前的 8 年使用 20% 的年化折扣，12.5 万美元的奖金相当于 YC 的 12 个基点■■★■■◆。因此最终价值更像是 75 万美元。这个数字听起来更令人印象深刻★◆★■■，尽管显然很难准确估值。

　　还没有与奥特曼交谈，但他要求今天下午进行交谈★■，因此我会报告我听到的任何消息。

　　长线 篇论文提交量占据主导地位。学术机构（伯克利 / 斯坦福 / 卡内基梅隆大学 / 麻省理工学院）紧随其后，各有 20-30 篇论文提交量◆■★。

　　4. 非常次要◆◆◆■★■，但我们的实习生薪酬也低于市场水平：每月 9000 美元。（FB 提供 9000 美元 + 免费住房◆★★，谷歌提供全包 11000 美元/月★★■◆。）薪酬对实习生来说远不如对全职员工重要，因为经验是首要的。但我认为我们可能已经失去了一位对此持怀疑态度的候选人。考虑到每小时的薪酬比全职员工低得多◆★■，我们是否应该考虑增加薪酬■◆？

　　-Sam 和 Greg 问我是否愿意加入他们的非正式顾问委员会（目前只有 Gabe Newell），考虑到潜在的冲突，这似乎比正式委员会更好？如果觉得不合适，请告诉我你更喜欢哪个

　　随着起诉文件的更新，马斯克、萨姆·奥特曼 (Sam Altman)、伊利亚·苏茨克弗 (Ilya Sutskever) 和格雷格·布罗克曼 (Greg Brockman) 之间的大量电子邮件已作为法庭诉讼程序的一部分被公布。

　　“我认为我们可以开发人工智能，让它为我们工作并帮助我们……有些人散布恐慌，说人工智能会带来巨大的危险，但在我看来，这种说法过于牵强，而且比起由于疾病蔓延■■■◆★◆、暴力等原因造成的灾难，这种可能性要小得多■◆■◆◆。”或者正如他在四月份的Facebook开发者大会上表达的理念：“选择希望而不是恐惧◆■■。”

　　盈利转型可能会随着时间的推移创造更可持续的收入来源，并且■★■★■，在现有团队的带领下，可能会带来大量投资◆◆。然而，从头开始开发产品会分散人工智能研究的注意力，需要很长时间■★，而且尚不清楚一家公司是否能“赶上”谷歌的规模，投资者可能会在错误的方向上施加过多的压力。

　　我们最初只是希望捐赠太空周期★◆■◆，但团队希望更确定是否有可用容量。但我会与微软合作■★，确保没有任何附加条件

　　-他再次确认，他们绝对不是在进行 ICO，而是在进行具有固定最大回报的股权。

　　---- OpenAI 是一家非营利性人工智能研究公司，其目标是以最有可能造福全人类的方式推进数字智能★◆，且不受产生财务回报义务的束缚■◆★★■。

　　历史清楚地表明◆■，强大的技术是一把双刃剑★■■★。人工智能可以说是所有技术中最强大的，但如果你认为它只有一把剑，那就太愚蠢了◆◆。

　　最近在德国被问及马斯克的担忧时，扎克伯格称其为“歇斯底里”★◆◆◆◆，并称赞了人工智能的突破◆◆■，其中包括一个系统■★■◆，他声称该系统可以通过手机对皮肤病变进行癌症诊断，准确度堪比★◆◆★“最好的皮肤科医生”◆★。

　　任务是创建第一个通用人工智能■■◆■★，并将其用于个人赋能——即未来看起来最安全的分布式版本★■★◆。更一般地说，安全应该是首要要求。

　　- 创始团队最初每人获得 17.5 万美元的薪酬。实验室成立后的第二天，我们主动将每个人的薪水提高了 10 万美元，告诉他们，一旦实验室取得成功，我们将为他们提供经济支持◆★■■，并要求他们承诺忽略所有反要约，相信我们会为他们提供资金◆★◆★◆★。

　　伊隆·马斯克致格雷格·布罗克曼（抄送：萨姆·奥特曼）- 2016年2月22日

　　- 针对极端情况（不仅仅是 Greg / Sam / Ilya）具有创造性的短期覆盖。

　　我们在谈判中没有说出全部真相。我们有自己的借口，但这损害了谈判进程◆★■，我们可能会因此失去 Sam 和 Elon。

　　-他们喜欢时间少/控制少■■■，喜欢时间多/控制多■■■◆★■，不喜欢时间少/控制多。他们担心如果花费的时间太少，就没有足够的时间讨论相关背景信息，从而做出正确的决定。

　　-我把过去在 OpenAI 上花费的大部分时间重新分配给了 Neuralink 和 Tesla◆★■★★◆。这自然是由于你退出董事会和相关因素而发生的——但如果您希望我将更多时间重新投入到 OpenAI 监督中，请告诉我。

　　我们相信◆■★，人工智能将在通用人工智能之前对社会产生广泛影响，我们将努力在与我们的使命和专业知识直接相关的领域发挥领导作用。

　　为了有效解决 AGI 对社会的影响，OpenAI 必须处于 AI 能力的前沿——仅靠政策和安全倡导是不够的。

　　信任■◆：承认自己在此过程中对 Greg 和 Ilya 失去了很多信任。感觉他们传递的信息不一致，有时还显得幼稚。

　　如果他们不在主动消息传递中使用这个功能，我没意见★★◆■◆■。如果看起来不像微软的营销，那么价值将远远超过 5000 万美元。

　　当 Greg 和我陷入困境时，你总能给出深刻而正确的答案。你一直在非常深入和彻底地思考如何解决这个问题。Greg 和我了解技术执行◆◆■★，但我们不知道结构决策在未来一个月、一年或五年内会如何发挥作用◆■■◆★■。

　　我能想到的唯一途径是 OpenAI 的大规模扩张和 Tesla AI 的大规模扩张。也许两者同时进行。前者需要大幅增加捐赠资金◆★★◆，并需要有高度可信的人加入我们的董事会★★■◆◆。目前的董事会状况非常薄弱。

　　我们的担忧有可能无法解决。我们真心希望情况不会如此，但我们知道，如果我们现在不讨论这些问题，我们肯定会失败。我们希望我们能够解决这些问题★■◆◆★，并继续共同努力。

　　我们相信，利用人工智能来扩展个人意志是确保人工智能保持有益的最有希望的途径。这很有吸引力，因为如果有许多具有大致相同能力的代理★◆■■◆，它们就可以控制任何一个坏人◆★★。但我不会声称我们拥有所有的答案◆★：相反，我们正在建立一个既能寻找这些答案，又能采取最佳行动的组织，无论答案是什么。

　　除了管理之外，你还会以其他方式参与吗？我认为这对让工作朝着正确的方向发展非常有帮助，可以让最优秀的人才参与其中。理想情况下，你会每月或每隔一段时间过来和他们谈谈进展情况。我们一般把以某种有限方式参与 YC 的人称为“兼职合伙人”（例如，我们就是这样称呼 Peter Thiel 的★■■◆，尽管目前他参与度很高），但我们可以随便叫他们■◆■■◆。即使你不能真正花时间在上面◆■，但可以公开支持◆◆★◆★，这可能仍然对招聘非常有帮助。

　　伙计们，我受够了。这是最后一根稻草。要么自己做点什么，要么继续将 OpenAI 作为非营利组织◆★◆■★。除非你下定决心留下来，否则我将不再资助 OpenAI，否则我就是个傻瓜■◆★★■，基本上是在为你提供免费资金来创建一家初创公司。讨论结束了

　　正如我之前提到的■■，我能想到的最有希望的选择是 OpenAI 把特斯拉作为摇钱树。我相信，与其他大型嫌疑人（例如苹果？亚马逊？）的合作会因为公司 DNA 不兼容而失败。用火箭来比喻，特斯拉已经用 Model 3 的整个供应链及其车载计算机和持久的互联网连接建造了火箭的“第一阶段”。“第二阶段”将是一个基于大规模神经网络训练的全自动驾驶解决方案，OpenAI 的专业知识可以大大帮助加速这一进程。有了功能齐全的全自动驾驶解决方案，我们可以在 2-3 年内卖出很多汽车/卡车。如果我们做得非常好★■，运输行业就足够大了，我们可以将特斯拉的市值提高到高 O（约 100K），并利用这些收入资助适当规模的人工智能工作。

　　- 我们目前正在采访 Brain 的 Ian Goodfellow，他是我们所没有的领域中两位顶尖科学家之一（另一位是 DeepMind 的忠实拥护者 Alex Graves）。他是 Brain 中最好的人★■，所以 Google 会争取他。我们将他纳入创始团队的报价中。

　　昨天，当我们在考虑根据非招揽协议做出最终承诺时，我们意识到我们犯了一个错误。我们有几个重要的担忧，但我们还没有向你们提出。我们没有提出这些担忧，因为我们害怕：我们害怕损害我们的关系，害怕你们看不起我们■■★，或者失去你们这个合作伙伴。

　　我认为，对于治理结构◆◆，我们应该从 5 个人开始★■，我建议你■◆◆■■、比尔·盖茨、皮埃尔·奥米迪亚、达斯汀·莫斯科维茨和我。该技术将归基金会所有，并用于“造福世界■◆”，如果不清楚如何应用，我们 5 个人将做出决定■★★■★。研究人员将获得可观的财务收益，但这与他们所构建的东西无关，这应该可以消除一些冲突（我们将向他们支付有竞争力的薪水，并给他们 YC 股权作为收益）。我们会持续讨论哪些工作应该开源，哪些不应该开源■◆。在某个时候，我们会找一个人来管理团队◆★■◆★■，但他/她可能不应该加入治理委员会。

　　- 还可以选择永久转换为 12★■.5 万美元年度奖金或等值的 YC 或 SpaceX 股票★■◆◆。我不知道是否有人接受了我们的提议◆■■◆。

　　伊隆·马斯克致伊利亚·苏茨克韦尔(抄送：萨姆·奥特曼■◆；格雷格·布罗克曼■■；萨姆·特勒；希冯·齐利斯) - 2017年9月20日(下午2:17)

　　这个过程是我和格雷格参与过的最高风险对话■■■◆◆，如果项目成功■◆★★■◆，它将成为世界上最高的风险对话。对我们所有人来说，这也是一次非常私人的对话。

　　一个名为LessWrong的在线封邮件按照时间线进行了整理，这些邮件的时间从2015 年5月25日到2019年3月11日。