9 月 25 日，昨日，亚马逊官宣其向 AI 初创公司 Anthropic 注资 40 亿美元的消息，引起了海内外人工智能圈的关注。至此，继微软、谷歌、Meta 等科技巨头进军大模型企业后，亚马逊也跑步进场。
谷歌自研，Meta 开源，微软与 OpenAI 联手——虽然未经设计，但这三巨头的三条路线实际上分别代表了当前大模型赛道的三种不同模式。亚马逊注资 Anthropic（其 Claude 正与 ChatGPT 展开如火如荼的竞争），选择的正是微软与 OpenAI 联手的模式。
相比 2019 年微软向 OpenAI 初投 10 亿美元，亚马逊对 Anthropic 的首次出手就相当重磅：40 亿美元，约 280 亿人民币。
值得注意的是，相较当前同领域内大多作风激进的技术团队来说，Anthropic 是一家较为保守的初创企业：自创立以来，Anthropic 的研究方向就是 AI 治理,，提高 AI 模型的安全性。也因此，即使在 ChatGPT 出来后其迅速推出性能与之媲美的 Claude，Anthropic 在技术上的创新也始终被认为首先是为 AI 安全服务、而后才是技术的突破。
亚马逊注资 Anthropic 被评为与微软、OpenAI 同台竞技，但两者的差异影响其实更大，因为它们将很大程度上引导当前 AI 行业走向两条路：先发展技术，还是先治理技术？
2019 年，剑桥大学发布的权威 AI 全景报告《State of AI Report 2019》中曾预测，在不久的将来，至少会出现一家主流 AI 公司会对 AI 的治理与管理模式作出实质性的调整。
2021 年，Anthropic 成立，以公益型企业的模式运作。这验证了剑桥大学的报告预测；但更引人注意的是，Anthropic 创始成员的上一任东家是 OpenAI。彼时，OpenAI 已凭借 2020 年发布的语言大模型 GPT-3 享誉全球，成为无数 AI 研究员的神往之地。
Anthropic 的创始人 Daniela Amodei 与 Dario Amodei 是两兄妹。
在加入 OpenAI 之前，Daniela Amodei 曾就职于 Stripe 其创始人是 OpenAI 早期的一位投资人）、美国国会，加入 OpenAI 后升至安全与政策方向的 VP。
Dario Amodei 的博士毕业于普林斯顿大学，2014 年曾加入百度美国研究院就职，在百度前首席科学家吴恩达的手下工作，工作一年后加入谷歌担任高级研究科学家。2016 年 7 月，Dario Amodei 加入 OpenAI，升至研究 VP，在 OpenAI 期间曾发表多篇关于 AI 可解释性与安全性的研究工作，被认为是深度学习领域最前沿的研究员之一。
不久前《时代》周刊评选出百大 AI 人物，Daniela Amode 与 Dario Amodei 也入选其中。
在 OpenAI 就职期间，Dario 与一干同事对 OpenAI 处理技术伦理与安全的方式持有怀疑，不认可 OpenAI 在 AI 安全治理上的工作，后决定离职，在 2021 年创立了 Anthropic。除了 Dario 兄妹，Anthropic 的创始团队成员还包括 Jared Kaplan、Sam McCandlish、Tom Brown 等等曾核心参与研发 GPT-2 与 GPT-3 的前 OpenAI 员工。
自成立起，Anthropic 的愿景就是成为一家聚焦于 AI 安全研究的公司，希望开发出可控、可解释的人工智能系统。在 AI 安全上，Anthropic 别开生面，首创了“宪法 AI”的概念体系，强调在人工智能系统中实现价值观对齐。
Anthropic 成立后，在 A 轮就获得了包括 Skype 联合创始人 Jaan Tallinn、前谷歌 CEO Eric Schmidt 在内的投资人青睐，融资金额达 1.24 亿美元。由于 Anthropic 是一家公益型企业，所以当时该消息就在圈内引起了轰动，被知名权威媒体 TechCrunch 称为“有 1.24 亿美元可烧”。
2021 年 4 月，Anthropic 又获得 5.8 亿美元的融资，由加密货币交易所FTX首席执行官Sam Bankman-Fried领投……在 AI 行情急剧下滑的 2022 年，Anthropic 成为吸金新秀，ChatGPT 火起来更愈加突出，被不少行业人士认为是当前唯一一家能与 OpenAI 抗衡的创业公司。
2021 年，Anthropic 团队发表了多篇研究 Transformer 机制的文章，如“A Mathematical Framework for Transformer Circuits”、“In-context Learning and Induction Heads”等，希望研究 Transformer 的简化版本并全面解释 Transformer 模型的功能。他们所研究的简化版 Tranformer 是先学习基本语言模式，再获得语言处理的通用能力。
这些研究结果为深入理解 Transformer 提供了一条新的途径。
能力出众而有经验的研发团队，充足的资源与资金能力，比大模型风潮提前两年的布局——这三大要素使 Anthropic 成为领域新星，与微软/OpenAI、谷歌/DeepMind 被列为当前全球 AI 领域排名前三的公司。更重要的是，Anthropic 也是这当中唯一一家没有与大厂深度绑定的创业公司。
2023 年 3 月，Anthropic 融资额超过 13 亿美元，估值 41 亿美元；仅 6 个月后，Anthropic 直接吸引亚马逊投资 40 亿美元。此前，Anthropic 推出的对话机器人 Claude 在海外与 ChatGPT 展开竞争，在技术圈的认可度很高。Anthropic 与 OpenAI 是当前极少数还在坚持闭源的团队。
据 TechCrunch 报道，Anthropic 向亚马逊做出“长期”承诺，通过 Amazon Bedrock 为全球 AWS 客户提供对下一代基础模型的访问。此外，Anthropic 还将为 AWS 客户提供早期访问模型定制和微调功能的独特功能。
但除了亚马逊，Anthropic 也与谷歌云、Zoom 等企业展开了相似合作。尽管接受了亚马逊的大额注资，但 Anthropic 仍坚持其创立之初的愿景，追求 AI 安全的终极目标。
与上一波 AI 伦理不同的是，大模型兴起后，“AI Safety”（AI 安全）这一方向吸引了更多行业大佬的关注与讨论，比如图灵奖获得者、深度学习三巨头之一的 Yoshua Bengio。
接近 Yoshua Bengio 的人士告诉 AI 科技评论，Bengio 计划从明年开始就不再带学生，全心投入 AI 安全的研究中。
Yoshua Bengio 在 2014 年提出的注意力机制后来成为谷歌 Transformer 的核心，而大模型的兴起是基于 Transformer。尽管大模型的成果发展如火如荼，但作为注意力机制的提出者，Bengio 对大模型的安全问题却十分担忧。今年 7 月，Bengio 出席美国国会参与人工智能的讨论，提出“应制定全球人工智能规则”。
OpenAI 的首席执行官 Sam Altman 此前宣称 2030 年前将实现 AGI。对于 Sam Altman 的论断，一部分人为技术的突飞猛进狂欢，另一部分人则认为，在 AI 的风险与安全还没控制好之前，就任由 AI 肆意发展，是一种不负责任的表现。Anthropic、Yoshua Bengio 就属于后者。
上一波 AI 商业化落地过程中，尽管 AI 伦理与安全的问题也曾被提上议程，但并不是研究的核心。而在这一波大模型中，与算法创新、算力充足同等引人关注的是算法的安全性。
当模型的能力还不够强时，安全可控是一个附加命题；但在 ChatGPT 爆火后，随着大模型能力的日新月异，安全可控就成为了一个必要命题。深度学习算法的偏见、歧视、隐私泄露、文化政治、诱导（如“大模型越狱”）等等问题也变得极其严峻。
此前 UIUC 李博团队的一项研究工作发现：尽管GPT-4在标准基准测试中通常比GPT-3.5更可信，但在越狱系统或用户提示的情况下更容易受到攻击，背后原因可能就是因为GPT-4更加准确地遵循（误导的）指令。
如前所述，OpenAI 的大模型没有开源，外界是无法获取其具体大模型的。在这种情况下，外界研究人员对大模型的安全评测只能进行“黑盒测试”。据 AI 科技评论与行业人士交流，黑盒测试比白盒测试难，“因为不知道内部数据，所以就只能通过模型的访问来估摸模型内部的机制，然后再基于猜想去针对性地设计应对方法”。
无论从社会层面或技术层面，大模型的安全隐患都是一个不容小觑的话题。也正因此，ChatGPT 初兴起时，国内的 To C 大模型产品一时受阻。而尽管 9 月初第一批 8 家大模型通过备案，各家厂商对大模型的安全问题也不敢掉以轻心。
在大模型产品上，影响安全性的因素不只有技术起步晚，用户量也是直接影响因素：用户量越大，模型的相关舆情问题越多，风控压力越大。
因此，目前国内的大模型公司在基础设施一块，实则面临三座大山：算力，数据标注，以及风控。而风控主要包括网络安全与内容审核。
相形之下，Anthropic 的创始团队从 OpenAI 出来，并且参加过 GPT-3 的核心研发工作，目前也许是除了微软与 OpenAI 之外，最了解 OpenAI 与 GPT 系列大模型的公司。
Anthropic 成为吸金能手的背后，或许正映射了 AI 行业的一大重要趋势：AI 时代，能兼并技术创新与技术治理的企业，才是市场的宠儿，未来的赢家。
0 条评论