因为开源,AI军备竞赛,谷歌和OpenAI全是输家?
 

重磅!

谷歌的一份名为《我们没有护城河,OpenAI也没有》的内部文件疑似被泄露,

今天早上,外媒SemiAnalysis公布了这份重磅炸弹泄露文件。

据悉,这份文件是一名匿名人士在Discord服务器上分享出来的,文件来自谷歌内部的一名研究员,真实性已被确认。

SemiAnalysis特别强调,这份文件仅代表谷歌员工的意见,不代表整个公司的意见。

内部文件

我们没有护城河,OpenAI也没有

我们一直在严密监视着OpenAI。谁将跨越下一个里程碑?下一步将是什么?

但现在,令人不安的事实就是:我们无法赢得这场军备竞赛,OpenAI也不能。

就在我们两方对战的时候,第三方正在悄悄地吃掉属于我们的好处。

没错,我说的就是开源。说白了,他们已经超越了我们。我们认为的「重大开放问题」如今已经解决,掌握在所有用户手中。几个简单的例子:

  • 手机上的LLMs:在Pixel 6上,以每秒5个token的速度,就能运行基础模型。
  • 可扩展的个人 AI:只要一个晚上,就能在笔记本电脑上微调出一个个性化AI。
  • 负责任的发布:这一点倒是没有「解决」,说「避免」会更贴切。现在网上到处都是充满了各种艺术模型的网站,没有任何限制,开源的大语言模型也不甘其后。
  • 多模态:当前的多模态 ScienceQA SOTA,只用一个小时就能训练出来。

虽然我们的模型在质量上仍然略有优势,但差距正在以惊人的速度缩小。
这些开源模型更快、更可定制、更私密,性能也更强大。
他们只用100美元和13B的参数,就能做到我们用1000万美元和540B的参数下才能做的事。他们在几周内完成,而不是几个月。

Vicuna-13B的质量达到OpenAI ChatGPT和Google Bard的90%*以上
这对我们有着巨大的冲击:
  • 我们没有独家秘密武器了。最大的希望就是,学习其他人正在做的事,与他们合作。我们应该优先考虑允许第三方集成。
  • 当这些免费的、不受限的开源平替具有完全相当的质量,用户不会再为受限的模型付费了。我们应该考虑下,我们真正的增值在哪里。
  • 巨型模型正在减慢我们的速度。从长远来看,最好的模型是那些可以快速迭代的模型。既然我们知道在参数少于200亿时模型会有怎样的可能,我们就应该更关注小模型。
https://lmsys.org/blog/2023-03-30-vicuna/

发生了什么

3月初,随着Meta的LLaMA被泄露给公众,开源社区得到了第一个真正性能强大的基础模型。它没有指令或对话调整,也没有RLHF。

尽管如此,开源社区立刻明白:他们得到的东西有多么重要。
随后,大量创新的开源平替模型不断地涌现出来。每隔几天,就出现一个大进展。
才短短一个月,就有了指令调整、量化、质量改进、人工评估、多模态、RLHF这么多功能的变体,许多还是建立在彼此的基础上的。
最重要的是,他们已经解决了规模的问题,现在任何一个人,都可以参与其中。
如今,许多全新的想法都来自普通人。训练和实验的门槛已经大大降低,从前需要一个大型研究机构合力工作,现在,只需要一台功能强大的笔记本,一个人在一晚上就能搞定。

我们本可以预见到这一切

这对任何人来说,都不算什么惊喜。图像生成领域的复兴之后,紧接着就是开源LLM的复兴。

许多人说,这就是大语言模型的“Stable Diffusion”时刻。
在这两个领域,让公众能够以低成本参与,都是通过低秩适应(LoRA)来实现的。它让微调机制的成本大大降低,
还实现了模型规模的重大突破。(比如图像合成的Latent Diffusion,LLM的Chinchilla)
在获得足够高质量的模型后,世界各地的个人和机构都开始了一系列对模型的创新和迭代。而这些创新,也迅速超越了大科技公司。
在图像生成领域,这些贡献至关重要,使Stable Diffusion走上了与Dall-E完全不同的道路。
Stable Diffuision的开源,导致了产品集成、市场、用户界面的创新,而在Dall-E身上,这些却没有发生。
这样做的后果是显而易见的,Stable Diffusion迅速占据了主流,与之相比,OpenAI的解决方案已经变得无关紧要了。
同样的事情是否会发生在LLM领域?目前还未知,但这两件事,有太多相似之处。

我们错过了什么?

开源社区最近取得成功的很多创新,直接解决了我们还未解决的很多难题。

更多地关注他们的工作,可以帮我们避免重新造轮子。
LoRA 是一种非常强大的技术,我们可能应该对它更加关注。
论文地址:https://arxiv.org/pdf/2106.09685.pdf
LoRA 通过将模型更新表示为低秩分解来工作,这将更新矩阵的大小减少了数千倍以上。
这就让模型微调的时间和成本都大大降低。
如果在几个小时内,就能在消费级硬件上微调出一个个性化的语言模型,这件事的意义就太重大了。尤其是,它还可以实时整合许多最新的、多样化的知识。
但这项技术在谷歌内部并未得到充分重视,尽管它直接影响了我们最寄予厚望的项目。

从头开始重新训练模型,是一条艰难的道路

LoRA 如此有效的部分原因在于,与其他形式的微调一样,它是可堆叠的。

可以应用指令调整改进模型,这样在其他贡献者添加对话、推理或工具时,就可以直接使用。
虽然单独的微调是低秩的,但它们的总和不需要,因此模型的全秩更新就可以随着时间的推移而累积。
这意味着,只要有新的、更好的数据集和任务出现,模型就可以以低廉的成本保持最新状态,无需支付完整运行的成本。
相比之下,从头开始训练巨型模型不仅会失去预训练的过程,还会失去在顶部进行的任何迭代改进。
在开源世界中,这些改进很快就会占据主导地位,这使得全面重新训练模型的成本极其昂贵。
我们应该考虑,每个新的应用或想法是否真的需要一个全新的模型?
如果我们真的有重大的架构改进,以至于无法直接重新使用模型权重,那么我们应该去投资更积极的蒸馏形式,来尽可能多地保留上一代模型的功能。
如果我们能够在小模型上快速迭代,那么从长远来看,大模型并不是强到无所不能
LoRA(大型语言模型的低秩适应)是微软提出的一种新颖技术,旨在解决微调大型语言模型的问题。
它的更新对于最受欢迎的模型大小来说非常便宜(约100美元),这意味着几乎任何有想法的人都可以生成一个,并分发出去。
以后,一天之内训练一个模型都是平平事。
以这样的速度,用不了多久,这些微调的累积效应很快就会弥补起初的模型大小的劣势。
事实上,这些模型的改进速度远远超过了我们使用最大模型所能做的,而且最好的模型与ChatGPT在很大程度上已经无法区分。
专注于研究一些大模型,反而让我们处于不利地位。
要数据质量,不要数据规模
许多项目通过对小型、精选数据集上进行训练来节省时间。这表明数据扩展规律具有一定的灵活性。
这样数据集的存在源于「Data Doesn’t Do What You Think」一文中的思路,它们正迅速成为在谷歌之外进行训练的标准方式。
这些数据集是通过合成方法(比如,从现有模型中筛选出最佳响应)和从其他项目中搜集而构建。谷歌在这两者中都不占主导地位。
幸运的是,这些高质量的数据集是开源的,因此可以免费使用。
与开源直接竞争,是一个失败的命题
AI新进展对谷歌的商业战略有着直接、即时的影响。如果有一个免费的、高质量、且没有使用限制的替代品,谁会为谷歌产品付费?
而且我们不应该指望能够赶上。现代互联网之所以依赖开源,是有原因的。开放源码有一些我们无法复制的显著优势。
比起他们需要我们,我们更需要他们
我们技术的保密一直是一个脆弱的命题。
谷歌的研究人员正定期离开,前往其他公司。所以我们可以假设他们知道我们所知道的一切。而且只要这条渠道是开放的,他们就会继续这样做。
但是,由于 LLM 的前沿研究成本低廉,保持技术领域的竞争优势变得更加困难。
世界各地的研究机构都在相互借鉴,以广度优先的方式探索远远超出我们自身能力的解决方案空间。
我们可以试着紧紧抓住我们的秘密,而外部创新会削弱了其价值,又或者我们可以尝试着互相学习。
与公司相比,个人受到许可的限制程度较小
近来,模型的创新大多在Meta的LLaMA模型权重泄露之后进行的。
虽然这肯定会随着真正的开源模型变得更好而改变,但关键是他们不必等待。
「个人使用」所提供的法律保护以及起诉个人的不切实际意味着,个人在这些技术炽热时就能获得这些技术。
作为自己的客户意味着,你理解用例
浏览人们在图像生成领域中创建的模型,从动画生成器到HDR景观,创造力源源不断地涌现出来。
这些模型由深入特定子类型的人使用和创建,赋予了我们无法企及的知识深度和共鸣。
拥有生态系统:让开源为我们工作
矛盾的是,大厂竞相争先的背后,赢家就是Meta。
因为泄露的模型LLaMA是他们的,所以相当于他们有效地获得了整个星球价值的免费劳动力。
由于大多数开源创新都基于LLaMA,所以没有什么能阻止他们直接将其纳入自己的产品中。
拥有生态系统的价值,未来将不可估量。曾经的谷歌已经成功地在其开源产品(如Chrome和Android)中使用了这一范式。
通过拥有创新发生的平台,谷歌巩固了自己作为思想领袖和方向制定者的地位。
我们对模型的控制越严格,开源替代品就越有吸引力。
谷歌和OpenAI都倾向于严格控制模型使用,开启一种防御性的反应。
但是这种控制只是虚构的,因为任何试图将LLMs用于未经批准的目的的人,都可以选择自由提供的模型。
谷歌应该在开源社区中确立自己的领导地位,通过合作来发挥引领作用。
这可能意味着要采取一些令人不安的步骤,比如发布小型ULM变体的模型权重。这必然意味着放弃对我们模型的一些控制。
但这种妥协是不可避免的。我们不能同时做到既推动创新,又控制创新。
结束语:OpenAI 怎么样?
鉴于OpenAI目前的封闭政策,所有关于开源的讨论可能让人觉得不公平。
如果他们不愿意,我们为什么要分享呢?但事实是,我们正通过源源不断地被挖走的高级研究人员与他们分享了一切。
在我们阻止这股潮流之前,保密是没有意义的。
最后,OpenAI 并不重要。
相对于开放源代码,他们正在犯同样的错误,他们保持优势的能力必然受到质疑。
除非他们改变立场,否则开源替代品可以,而且最终会超越他们。至少在这方面,我们可以先行一步。

开源时间线

23年2月24日,LLAMA发布

Meta发布LLaMA,开源代码,但没有公布权重。此时,LLaMA尚未进行指令或对话调优。
与许多当前模型一样,它是一个相对较小的模型(参数分别为7B、13B、33B和65B),经过相对较长时间的训练,因此与其大小相比具有相当强大的能力。
23年3月3日,不可避免的事情发生了
不到一周,LLAMA就被泄露给了公众。Meta现有的许可禁止将LLAMA 用于商业目的。
突然之间,任何人都可以进行试验。在整个社区,掀起了模型创新的海啸。
23年3月12日,语言模型在烤箱上运行
一个多星期后,Artem Andreenko成功在树莓派上运行模型。当时,模型运行速度非常慢,因为权重必须在内存中分页,实用性不强。
尽管如此,这为一系列缩小模型规模的努力奠定了基础。
23年3月13日,笔记本电脑上的微调
第二天,斯坦福发布了Alpaca,它为LLaMA增加了指令调优功能。
然而,重要的是,Eric Wang的alpaca-lora仓库,它使用LoRA在单个RTX 4090上几小时内完成了这个训练。
从这时起,突然间,任何人都可以对模型进行微调,引发了一场关于低成本微调模型的竞争。
许多铺天盖地的报道称xxx模型总共花费了几百美元。
更重要的是,低秩更新可以轻松地与原始权重分开分发,使他们摆脱了Meta原始许可的约束。任何人都可以分享和应用它们。
23年3月18日,变得更快了
GeorgiGerganov使用4位量化在 MacBookCPU 上运行 LLaMA。
这是第一个「无GPU」解决方案,速度足够快,实用性很强。
23年3月19日,一个13B型实现了与Bard的「平衡」
第二天,一个跨大学的合作发布了Vicuna,并使用 GPT-4驱动的评估对模型输出进行定性比较。虽然评估方法值得怀疑,但该模型实质上比早期的变体更好。
最最重要的是,只用了300美元进行训练。
值得注意的是,他们能够使用来自ChatGPT的数据,同时规避其API的限制
他们只需从像ShareGPT这样的网站上获取令人印象深刻的ChatGPT对话样本。
23年3月25日,选择自己的模型
Nomic创建了GPT4All,它既是一个模型,更重要的是,它也是一个生态系统。
所有人第一次看到模型(包括Vicuna)汇集在一个地方。训练费用: 100美元。
23年3月28日,开源版GPT-3
Cerebras使用Chinchilla暗示的最佳计算计划和μ参数化暗示的最佳缩放(optimal scaling)来训练GPT-3架构。
这比现有的 GPT-3克隆有很大的优势,代表了μ参数化在实际应用中的首次使用。这些模型是从零开始训练的,这意味着社区不再依赖 LLaMA。
23年3月28日,一小时完成多模态训练
LLaMA-Adapter 采用一种新的参数有效微调(PEFT)技术,在一个小时的训练中引入指令调优和多模态。
令人印象深刻的是,它们只使用了120万个可学习参数。该模型在多模态 ScienceQA 上刷新了SOTA。
23年4月3日,人们无法区分13B开源模型和ChatGPT
伯克利发布了Koala,这是一个完全使用免费数据进行训练的对话模型。
他们采取了衡量真实人类在Koala和ChatGPT之间的偏好的关键步骤。
虽然ChatGPT仍然稍占上风,但超过50%的时间,用户要么更喜欢Koala,要么无所谓。训练费用: 100美元。
23年4月15日,ChatGPT级的开源RLHF
Open Assistant发布了一个模型,更重要的是,发布了一个用于通过RLHF进行对齐的数据集。
这一模型在人类偏好方面接近ChatGPT (48.3%:51.7%)。
除了 LLaMA 之外,他们还展示了这个数据集可以应用到Pythia-12B上,为人们使用一个完全打开的堆栈来运行模型提供了选择。
此外,由于数据集是公开可用的,它使得对于小型实验者来说,RLHF从不可实现变得便宜,且容易。

谷歌筑墙,啪啪打脸

虽说开源是胜利,但现在的谷歌却反身架起城墙,拒绝开源。

今年2月,长期担任谷歌人工智能部门负责人Jeff Dean对内宣布了一项令人震惊的政策转变:
推迟与外界分享内部工作。
多年来,Dean一直把部门当作一所大学来管理,鼓励研究人员大量发表学术论文。据Google Research显示,自2019年以来,他们推动了近500项研究。
自ChatGPT诞生以来,一路风生水起,显然让谷歌一时慌了神,并就此必须做出改变。
Dean表示,谷歌在人工智能领域的发现只有转化成产品后,才会共享论文。
Jeff Dean在谷歌研究部门的季度会议上表示,这家位于旧金山的初创公司OpenAI,通过学习团队的论文,才跟上了谷歌的步伐。
我们都知道,ChatGPT中的T便指的是谷歌Transformer架构,是以Transformer架构为核心的大型语言模型。
论文:https://arxiv.org/pdf/1706.03762.pdf
为了追赶ChatGPT,谷歌开启了防御模式。这对谷歌来说,是一个重大转变。
这一政策首先是为了抵御一批强大的AI竞争对手,另外是为了保护其核心搜索业务、以及可能的未来。
然而正如内部文件泄露所称,谷歌不是胜者,OpenAI也不是,真正的赢家才是Meta。
开源的胜利,谷歌曾尝过。现在,是该做些改变了。
参考资料:
https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
https://www.washingtonpost.com/technology/2023/05/04/google-ai-stop-sharing-research/?utm_source=reddit.com

 

分类: openAI

0 条评论

发表回复

Avatar placeholder

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据