浏览次数: 370
【导读】万众瞩目的WWDC24上,苹果果然用AI把iPhone全部重塑。重磅登场的Apple Intelligence,让苹果全系产品有了史诗级升级。Siri被全面重塑,自由穿梭于系统中。AI大牛Karpathy对此狂赞,然而马斯克却彻底怒了,下令全员禁用苹果!
苹果说到做到,一夜间,iPhone果然被AI重塑!
长达一个半小时的WWDC大会,主题就是AI、AI、AI——
从iPhone、iPad到Mac,无不被生成式AI覆盖。横空出世的Apple Intelligence,让苹果全系产品有了史诗级升级。
现在的整个苹果全家桶,都会用上GPT-4o,Siri还能随时召唤ChatGPT。
硅谷各家大科技公司的大模型发展得如火如荼,苹果能做什么?库克的这句话揭示了答案——「LLM等AI突破,让我们有机会把苹果产品的体验推向新的高度」。
你们做模型,我们做产品,的确是苹果一贯擅长的赛道。
而且,对于大家普遍担忧的安全问题,苹果也有解:通过苹果强大的自研芯片,普通大模型在设备端运行,太大的大模型就放到云端。
而苹果专门打造的私密云计算技术,也保障了我们的隐私和安全,我们的数据就连苹果都无法访问。
被Apple Intelligence加持的Siri,也彻底改头换面,全面逼近苹果让它「自由穿梭于系统中,随时听我们调遣」的愿景。
此外,除了Vision OS的重大更新之外,库克的这个消息也让中国用户激动不已:Vision Pro将于6月28日登录中国市场,本周五开始接受预定,价格29999元起!
有中国网友评论说:太牛了,Apple Intelligence真的满足了自己对AI在设备上的所有想象,不愧是苹果。
以前是Artifical Intelligence,如今就是Apple Intelligence了。
对于iPadOS 18的数学笔记功能,很多人都表示这太狂野了!
关于计算器应用终于登录iPad这一史无前例的事件,网友们表示万分激动。
OpenAI创始成员,AI大牛Karpathy对于苹果的这次更新也称赞不已:「我们正在进入一个打开手机就可以说话的世界。它可以和你对话,而且它认识你。这实在太令人兴奋了!」
![](https://linpxing.cn/wp-content/uploads/2024/06/frc-3309cc7b8e3207ed20d4b70eba4d3456.png)
Karpathy总结了这次苹果发布会的几大主题:多模态输入/输出、智能体、无摩擦、主动、分级售授权、模块化、隐私
还有人给这次苹果的所有更新做出了一张bingo游戏图。
Apple Intelligence:不仅个人化,而且懂你
苹果的目标,就是为全球10亿用户构建强大的个人化产品。
而近期生成式AI和LLM的发展,直接给苹果产品使用体验的全新升级带来了可能。
苹果对于产品的核心原则是: 足够强大,在最要紧的事上都能帮到用户;直观易用;深度整合到产品的使用体验中;它必须足够「懂你」,以你的个人情境为基础;而且,还要注重保护隐私。
如果这些原则都能满足,那它绝不仅仅是AI了,而是一种「个人化智能」。
而符合全部这些条件的Apple Intelligence,就在昨晚闪亮登场了!
![](https://linpxing.cn/wp-content/uploads/2024/06/frc-3b736d24b0e0ffae0036b333d72b5b9c.png)
这个全新的个人化智能系统,能让我们手中的个人化产品更实用、更称心。
市场上已有的AI聊天工具虽然好,但有一个通病:很少充分了解用户,因而也不理解我们的需求。
而苹果,要改变这一切。Apple Intelligence,会让即将到来的iOS 18、iPadOS 18和macOS Sequoia,彻底脱胎换骨!
Apple Intelligence,将强大的生成式模型置于iPhone、iPad和Mac的核心,能够根据我们所处的个人情境,来提供协助,而且深度整合在了所有的APP中。
能力
Apple Intelligence,可以让我们的iPhone、iPad和Mac理解、生成语言和图像,还能代替我们跨多个app交互,简化操作过程。
Apple Intelligence中内置的LLM,能深刻理解自然语言。
比如,iPhone可以为通知设定优先次序,从而为我们减少不必要的干扰,同时又能不错过重要的信息。
它还会驱动一个全系统适用的全新书写工具,让我们写起东西来更从容。
在它的帮助下,我们无论是写文章、发帖,还是提炼想法分享给他人,过程都会无比丝滑(甚至还能帮我们检查要发在网上的评论)。
同时,它还自动支持邮件、备忘录、Safari浏览器、Pages、Keynote,甚至第三方APP。
Apple Intelligence还包含多种图像功能,从照片、表情符号到动图。
甚至,它还能让我们完全自创图像,让我们的日常对话更有趣。
更有趣的是,因为它认得我们照片图库中的人物,我们可以把他们的图像个性化,用到对话中。
比如,给朋友送上生日祝福时,我们可以生成ta的图像,用蛋糕、气球和花朵点缀起来。
更让人惊喜的是,这些功能在系统中所有app都可用,包括Notes,Freeform,Keynote,Pages等等。
Apple Intelligence的另一个特点,就是还能跨app操作,这无疑会带来深远的影响。
它所需工具的各种资源,就在我们自己的口袋中——这些常用的app里。
苹果设计的Apple Intelligence,能随时取用这些工具,代我们执行各种操作。
我们可以直接向它开口:「调出上周Joz发给我的文件」,或者「给我看看所有妈妈、Olivia和我的照片」「播放前几天我太太发给我的播客」等等。
Apple Intelligence,会实现数百种此类操作。
顾名思义,个人化智能最关键的要素之一,就是要深刻理解我们的个人情境。
而Apple Intelligence的运作,正是基于我们的个人信息都和情境之上的。
它能从我们的各种app中,检索和分析相关程度最高的数据,还能参考我们屏幕上的内容,比如我们正在查看的邮件,或者日历日程。
比如,我有一场会议改到了傍晚,我想知道开完这场会后,是否还能赶上女儿的演出,直接问Apple Intelligence就可以了。
因为它知道我女儿是谁,她几天前发来的演出详情,我这场会议的时间地点,甚至还能预估我从公司到剧院的交通情况。
架构
要实现这项功能,就离不开苹果软硬件整合,以及强大的芯片。
提供支持的芯片,包括A17 Pro,以及M系列芯片,它们为Apple Intelligence提供了坚实的算力基础。
它内置了设备端的语义索引,可以整理和提炼各种app中的信息。
我们提出请求,Apple Intelligence就会同通过语义索引,识别相关个人数据,然后传给模型,让它们根据个人情境更好地协助你。
然而有的模型,会大到无法放进随身携带的设备,怎么办?
不过这里依然有一个问题,在传统的做法中,服务器会储存我们的数据,在我们不知情的情况下使用这些数据。我们却无法对之验证,因为服务器软件只有所有者才能访问。
我们能全权掌控自己的数据,包括在哪里储存、谁能访问。当iPhone上的隐私和安全保护功能扩展到云端,我们就能解锁更多智能功能了。
它不仅能扩展自身的计算能力,还能引入更大的基于服务器的模型,来处理更复杂的请求。
而我们的隐私也会得到保护,因为我们的数据绝不会被存储,连苹果都无法访问。
体验
Apple Intelligence强大的语言理解功能将落地为写作助手(Writing Tool)。
作为操作系统的内置AI,写作助手不仅可以用在手机自带的短信或邮件中,也同样支持所有需要输入的第三方应用。
邮件中有了自带的校对功能,可以一键查看修改建议,并能直接看到所有词语的释义。
写邮件时,再也不需要一遍遍复制粘贴到其他应用的界面了,苹果一夜之间就抢了Grammarly的看家生意。
不仅是文本校对,Writing Tool也同样提供多样化的改写功能。
它可以同时在文中生成多个改写版本供你选择,也能随时回滚到原始版。
此外,用户还能和Writing Tool进行个性化交互,定制自己的改写需求,比如改变文体、文风、语气等等。
想要发一封有文采的邀请函?Writing Tool可以瞬间帮你把现有的平常文字改写成一首诗。
或者一键在友好、专业、简洁等三种文风间切换,丝滑适应不同身份的收件人。
谷歌都有了网页内容的摘要,苹果又怎么能落下。这不邮件的摘要功能就出来了,拯救所有不想读长邮件的打工人。
邮件太多懒得回?Writing Tool也帮你想好了对策。
Smart Reply功能可以自动理解邮件的上下文内容,并自动为你生成一堆选择题。
只需要点击几下选出自己的答案,就能生成一份智能回复,连打字都省了。
Siri
13年前,Siri首次问世,作为曾经首屈一指的智能语音助手曾经掀起巨大热度。
如今,繁忙的Siri每天需要处理15亿次语音请求。而它离苹果「自由穿梭于系统中,随时听我们调遣」的愿景,也更近了一步!
在Apple Intelligence的加持下,Siri变得更自然、更贴合语境了,因此也变得更加贴合我们。
如今当我们和Siri对话时,它和系统的整合会更深入。当它运行时,优雅的光晕会环绕着屏幕边缘。
我们和Siri的对话也可以更自然,因为它能理解更丰富的语言。即使说话不连贯,它都能理解我们的意思。
比如问它:明天缪尔海滩是什么天气,不对,是缪尔森林。
即使我们在提问中停顿,思考一番,Siri依然能跟上我们。
在对话中,Siri还能联系上下文。比如我们接着上面说「创建日历日程,明天上午9点去那里徒步」,它立马正确地理解「那里」指的是哪里,完成了指令。
如果我们不想跟Siri大声说话,现在可以直接给它打字了。
只要在屏幕下方快速轻点两下,就能让Siri快速设好闹钟,整个过程悄无声息。
跟Siri交流的过程中,我们可以在文字和语音中随时切换。
而且,现在Siri掌握了大量关于功能和设置的信息,能回答数千个问题,关于如何在iPad或Mac上进行操作。
即使我们不知道某项功能的确切名称,只需要口头描述一番,Siri就能帮我们找到了!
比如直接问它:「我想现在就写好信息,然后明天发送,该怎么做?」
Siri完全明白我们说的是哪个功能,还提供了分步说明。
Apple Intelligence还会为Siri带来屏幕内容感知功能,这样,它就能理解屏幕上的内容,执行相应的操作。
比如朋友发消息告诉你ta的新地址,你可以直接在信息对话中说,「把这个地址加入ta的联系人名片中」。
比如我们可以说:「让我看看Stacey在纽约穿着粉色大衣的照片」,Siri就会把它们找出来,然后还能按照我们的指令开始修图。
然后,我们还可以让Siri把这张照片加到备忘录中Stacey的简介里,它就会从照片app跳转到备忘录app中,来完成操作。
比如,我们可以让Siri用Moment的Pro Camera,来拍摄光轨的视频。
也可以让Siri把我们备忘录里的会议摘要,分享到我们在Superhuman中给大家写的邮件里。
通过为照片、日历日程、文件等创建语义索引,再加上往来消息和邮件的信息,比如预定酒店、音乐会门票的PDF文件、朋友分享的链接等,Siri能发现和理解的内容范围,将远超以往。
如果我们忘了资料是在邮件、信息还是在共享备忘录里,Siri都能解决。比如我们需要找到朋友之前推荐的书单,或者是填表时需要驾照号码。
假如我们打算去机场接妈妈,Siri能直接帮我们规划时间。
它能同时参考妈妈在邮件里写的航班详情,以及航班的实时动态,为我们提供最新的到达时间。
而在和妈妈的闲聊中,她提到过中午订了餐厅,我们就可以直接问Siri去那家餐厅需要多久,完全不必在邮件、信息和地图中跳来跳去了!
以上所展示的苹果AI能力,仅是一个「起点」。它能够以极为独特的方式理解你、尊重你、支持你。
未来,苹果还将带来超多的实用功能,比如备忘录中的录音和转写功能。
它能够帮你更详细地记下笔记,专心听讲,完全可以替代GoodNotes、Notability这类的学习工具。
录音/转写完成后,苹果AI还能帮你总结摘要,扫一眼便能抓住要点。
与此同时,录音/转写和苹果AI结合的能力,同样适用于电话应用。
当你实时通话的时候,开启录音,所有的参与者都将会收到通知,并且通话结束后苹果AI也会生成一段摘要。
Siri召唤ChatGPT
对于一些非常有用的外部AI工具,比如擅长处理某些需要广博知识,或者专业特长的任务,苹果直接将其模型纳入体验之中,而无需来回切换工具。
当然,这个工具就是行业的翘楚、市场的开拓者和领头羊—— ChatGPT。
首先,Siri可以借助ChatGPT的专长,随时为我们所用。
比如,你想用刚钓的鱼,和自家种的菜为朋友准备一顿丰盛的大餐时,可以找Siri给些灵感。
Siri便会问你,是否召唤ChatGPT,然后直接为你呈上最丰富的答案。
而且,问问题时,你还可以上传一张照片。比如,询问如何家装的建议,拍张照片然后问「这个露台种什么植物好看」?
Siri会首先确认是否会向ChatGPT分享照片,然后才会为你找寻点子,整个过程完全就是一气呵成。
除了照片,你还可以询问关于文档、演示文稿,或者PDF中的相关问题。
另外,苹果AI还借用了ChatGPT的编写能力,将其融入所有系统中适用的书写任务中。
假设你想为擅长解谜的6岁女儿写一个睡前故事,初步构想是「她来到了梦幻的蝴蝶童话王国。她和一只毛毛虫成为了好友,并帮它克服重重困难,最终变成了一只蝴蝶」。
只见,ChatGPT不一会儿功夫完成了一个Annie喜欢的小故事。
甚至,你还可以选中所有内容,让ChatGPT为其生成一副插画。
以上所有能力,无需注册ChatGPT,便可免费使用。
对于那些订阅ChatGPT的用户们,也可以关联自己的账号,可以在使用苹果AI过程中接入付费的能力。
不过,苹果再三强调,我们的请求和个人信息不会被记录。何时使用ChatGPT,都是你说了算,再分享任何信息之前,都会征求用户的许可。
ChatGPT也将集成到这次所有更新的iOS 18、iPadOS 18、macOS Sequoia系统中,并在今年晚些时候推出。
未来,其他先进的AI模型的能力,也会集成到苹果AI之中。
不出所料,苹果AI能力仅限在iPhone15级别的手机上使用,不过对于iPad、MacBook还比较友好些,能够兼容M1芯片及以上的硬件。
马老板怒了,禁止全员使用苹果
ChatGPT在苹果全家桶中无缝集成能力虽炫酷,却遭到的全网非议。
他连发多篇帖子,对ChatGPT上机苹果表示不满,甚至扬言禁止公司所有成员使用苹果的设备。
我不想要这个能力。这就如同间谍软件一般,如果你们不阻止,我的公司将禁止使用任何苹果设备。
「对于公司的外部来访者,都必须在门口将他们的设备放在「法拉第笼」(Faraday cage)中」。
苹果没有能力开发AI,却能够确保OpenAI会保护你的安全和隐私。一旦苹果将你的数据交给OpenAI,他们就不知道OpenAI究竟会如何处理这些数据,他们实际上是在出卖你的隐私权。
一位网友从底层架构图中得出,Siri可以读取手机上的所有数据(适用于选择加入的应用程序) 。
老实说,我真不理解苹果为什么要把任何东西发送给ChatGPT?这太怪异了。为什么不直接让Meta授权,然后自己部署400B的Llama模?从70B开始也可以呀…
他们口口声声强调隐私和安全,甚至声称你不应该相信任何人!结果他们却来了个180度大转弯——是的,我们正在把你的数据发送给ChatGPT。
还有人配上梗图讽刺道,「当奥特曼已耗尽100%互联网训练数据时,看到十亿部手机时」。
发布会之外,苹果还发布了一篇关于介绍苹果AI能力实现背后的基础模型的文章。
博客介绍道,苹果AI是由「多个」强大的生成式AI模型组成,这些模型专用于日常任务,并根据当前活动实时调整。
他们强调,内置的基础模型针对用户体验进行了微调,比如编写和提炼文本、对通知优先排序汇总等等。
另一个是,更大的基于苹果芯片加持云服务器的基础模型,可用于私有云计算。
其他模型还包括,用于编码的XCode,扩散模型(帮助用户如在Messages应用中,以视觉方式表达自我)。
预训练
苹果的基础模型,是在2023年发布的开源项目AXLearn框架之上训练的。
AXLearn建立在JAX和XLA之上,可以在各种训练硬件和云平台上高效、可扩展地训练模型,包括TPU和云端及本地GPU。
另外,苹果研究团队还采用了数据并行、张量并行、序列并行和全分片数据并行(FSDP)等组合方式,从数据、模型和序列长度等多个维度来扩展训练规模。
至于数据的选用,苹果表示自己用的是授权的数据训练基础模型。
其中包括两种数据来源:一是经过精心选择,目的是提升模型的特定功能;二是,苹果网络爬虫AppleBot工具从网上公开采集的数据。
后训练
苹果团队意识到,数据质量对于模型的成功,至关重要。
因此,他们在训练过程中,采用了「混合数据策略」,即结合使用人工标注和AI生成数据,并进行了彻底的数据筛选和处理。
具体来说,研究团队在模型「后训练」阶段,开发了两种全新的算法:
(1) 拒绝抽样的微调算法,使用多个教师模型作为参考,对模型输出进行过过滤和微调
(2) 人类反馈强化学习算法,结合使用了镜像下降策略优化,以及留一法优势估计器(leave-one-out advantage estimator)新技术。
结果发现,这两种算法可以显著提升模型指令跟随的质量。
优化
另外,苹果还采用了一系列创新技术,在设备端和私有云上优化模型的速度和效率。
他们对第一个token推理和扩展token推理的性能都进行了大量的优化。
无论是设备端模型还是服务器端模型,都采用了「分组查询注意力机制」(grouped-query-attention)。
苹果还使用了共享的输入和输出词表,以减少内存需求和推理成本。这些共享的嵌入张量在映射时不会产生重复。
设备端模型的词表大小为49k token,而服务器端模型的词表大小为100k token。
对于设备内推理,他们还是用了「低比特量化」(low-bit palletization)的技术,能满足所需的内存、功耗和性能要求。
为了保持模型输出质量,研究团队开发了一种新框架——使用LoRA adapter,并采用了混合2位和4位的配置策略,平均每个权重占3.5位——从而达到与未压缩模型相同的精度水平。
此外,他们还使用了一种名为「Talaria」模型,可以对模型的延迟和功耗进行交互式分析,更好地指导在不同操作中选择合适的量化精度。
苹果基础模型还采用了激活值量化和嵌入量化技术,并且开发了一种在苹果神经网络引擎上高效更新键值缓存的方法。
值得一提的是,通过以上优化,iPhone 15 Pro可实现每个提示token首次输出的延迟约为0.6毫秒,生成速率为每秒30个token。
这一性能实现,并未采用token猜测技术,如若开启,速度将会更近一步提升。
模型自适应
苹果基础模型针对用户日常任务进行了微调,并且能够根据实时任务完成动态化适应。
这一过程实现,是借助适配器,即一些可以插入到预训练模型各层的小型神经网络模块,对模型进行特定任务的微调。
通过调整适配器中注意力相关的参数和前馈网络的参数,可以让整个LLM的行为专门化到特定任务上。
性能与评估
针对总结功能的评估中,苹果与微软Phi-3-mini小模型进行了对比。
可以看得出,不论是在邮件、还是通知中,苹果设备端30亿参数的模型在「优秀」和「差」的生成中更占优势。
苹果还将自家模型,与开源模型(Phi-3、Gemma、Mistral、DBRX)和商业模型(GPT-3.5-Turbo、GPT-4-Turbo)进行了比较。
在这个基准测试中,30亿参数设备端模型的表现甚至超过了更大的模型,如Phi-3-mini、Mistral-7B和Gemma-7B。
而服务器端模型在性能上,甚至可与DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo相媲美,同时效率极高。
对于模型输出危害评估,苹果模型比率最低,说明输出有毒内容较少。
与此同时,苹果模型在安全提示的评估中,设备端模型完全碾压Phi-3-mini、Mistral-7B,服务端模型打败了DBRX-Instruct、Mixtral-8x22B。
在指令跟随(IFEval)基准上,与其他模型相比,苹果模型展现出了强大的能力。
最后一个是写作基准,终端上的苹果基础模型,是性能最优的。在服务器端,作文方面的能力还是不如GPT-4 Turbo。
据上次发布Vision Pro和Vision OS刚刚过去4个月,苹果就又在WWDC上宣布了Vision OS的重大更新。
库克在发布会上正式官宣,Vision Pro 将于6月28日登陆中国市场,将于本周五(6月14日)开始接受预定,国行价格为29999元起。
Vision Pro中的照片App集成了空间计算技术,戴上就可以浏览「3D」照片,让你有走进照片、「重现过去」的感觉。
最新的iPhone 15 Pro和Max的后置镜头已经可以拍摄空间影像,苹果也和佳能合作为专业照相机开发了空间镜头。
自然也不能落下。Vision Pro集成的机器学习模型,可以将照片从单视角变为双眼视角,还能添加图像深度,瞬间2D变3D。
之前的Vision Pro已经可以和Mac集成,苹果这次决定升级Vision中的虚拟屏幕,同时提高分辨率和屏幕宽度。
今年的更新后,一个Vision Pro相当于电脑的两个4k外接屏幕,动态注视点技术让你无论从哪个角度看屏幕都无比清晰。
而且,这个虚拟屏可以随时打开,比如「旅行模式」可以让你在飞机上随时大屏追剧或私密办公。
Vision Pro想要变得越来越好用,让以上这些功能走入现实,不能少了开发者的App和创作者的优质内容。
目前已经有超过2000个专门为Vision Pro开发App,以及其他1.5万个兼容VisionPro的手机或平板应用。
这次Vision Pro的更新也包括了各种服务于开发者的API:
– 3D空间内的多任务处理器Volumetric(可以说是Vision Pro上的Stage Manager)
– 让应用锚定在各种平面上的TableTopKit
– Enterprise API让企业可以定制各种复杂应用
比如使用TableTopKit开发棋牌游戏,让棋盘锚定在桌面上,加上显示在空间中的FaceTime的头像,下棋的体验就更加沉浸式了。
去年Vision Pro发布了Apple Immersive Video,经过今年的再次更新,苹果始终萎靡不振的内容产业很可能要翻盘了。
现在它的手里掌握着各路流媒体都不具有的空间影像技术。180度视角的8k视频加上高品质的音效,达到了甚至超越3D影院的逼真体验。
而且这次的发布非常垂直,打包了3D空间视频的全产业链。
对于业余爱好者,拍摄可以用iPhone或与苹果合作的佳能相机,剪辑可以用Mac自带的Final Cut Pro,观看可以用Vision OS中的Vimeo。
在专业创作领域,苹果和创意视频公司Black Magic Design合作,从摄像机到剪辑、后期软件全覆盖,今年晚些时候就会发布。
此外,苹果还和多方合作,制作原创的Apple Immersive Video并发布在Apple TV中。
合作方在内容领域都是大名鼎鼎,包括顶级歌手The Weekend、奥斯卡奖导演Edward Berger,以及与红牛制作的极限运动系列。
https://developer.apple.com/videos/play/wwdc2024/101/
https://machinelearning.apple.com/research/introducing-apple-foundation-models
0 条评论