【导读】GPT-4o一上线,大批初创公司又要面临倒闭了。全网网友实测后惊呼:这推理速度是碾压版的升级!然而马斯克、Karpathy、Meta研究者等一众大佬唱衰道:OpenAI不过如此,无非就是发布了一个在同一神经网络中结合文本-音频-视频三种模态并同时处理的模型。
 

OpenAI一夜之间,又干掉了一大批初创公司。

官方公布的全能模型GPT-4o的炸裂演示,即便过去了一天,依旧让全网深陷其中,无法自拔。

凭借实时语音视频对话,GPT-4o已经深入教育、翻译、视频会议等领域的变革。

OpenAI科学家Lilian Weng称,自己这次的日本之行,就用到了ChatGPT的实时翻译能力,比如翻译与寿司厨师对话,或在纪念品商店识别解释不同类型岩石。

目前,一些用户已经灰度测试到了GPT-4o,纷纷开启了测试。

一大波演示来袭

瞧好了,科幻版Her,正走进现实。

两个AI自主交流,解决客服索赔

ChatGPT可能最先抢走的工作,就是客服。

OpenAI研究科学家Joe Beutler放出了,全新的GPT-4o提供客户服务支持的有趣演示。

一起看看两个AI智能体,如何解决了客服索赔。

与客户合作构建变革性解决方案总能让我备受鼓舞。我们可以利用这一最先进模型构建的潜在解决方案,令我兴奋不已!

视频中,两个AI自主交流了起来,全程不用人类参与,就把问题解决了。

OpenAI联创Greg也转发了这个经典示例。

还有网友表示,准备让GPT-4o代替自己谈判所有的账单。

18世纪手写稿,一键转录

网友翻出18世纪的手写稿,让GPT-4o再转写一份。

在下图右边回应中,GPT-4o成功将这份笔迹识别出来,不过还是会有一些小错误。

成为盲人的「眼睛」

在另一个OpenAI官方用例中,与Be My Eyes合作,为盲人提供实时助手。

在这个1分钟演示视频中,展示了GPT-4o强大到足以让人震撼。

男主人公通过ChatGPT识别建筑物,并讲解了国旗上的国徽代表着什么。

当他走到湖前,ChatGPT非常悉心地讲解了,湖水中的鸭子们在游来游去,不慌不忙悠闲自在,有的还在嬉戏打闹,有的在寻找食物……

最后,盲人借助ChatGPT的「眼睛」,打到了回家的车。

有网友将其称之为,GPT-4o最好的用例。它将为每个人改变世界,甚至它将为视障人士创造一个全新的世界。

GPT-4o输出速度碾压GPT-4

还有网友测试对比了,GPT-4o和GPT-4针对同一问题的输出,吞吐量有多快。

如下的对比,一眼明了。

GPT-4o+函数调用

将GPT-4o与函数调用结合起来用,更是让人炸脑。

下面案例中,将一张错误的图片上传之后,GPT-4o主打分析,然后函数调用工具便会搜索可能修复方法。

构建Karpathy大模型OS

网友Ashpreet Bedi利用GPT-4o,去构建了Karpathy曾提出的LLM OS,没想到运行速度,非常炸裂。

他还将代码放了出来,以供大家自行操作。

GitHub地址:https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os

中国小姐姐谈赛博恋爱

GPT Store上线之后,各种铺天盖地的定制AI女友几乎将其淹没。

网友已经开始整活了

甚至,与AI女友相关的应用,直接成为ChatGPT商城上线首周中,最热门的应用。

而现在,有了GPT-4o加持的ChatGPT,谈一场赛博恋爱更是恰到好处。

这不,抖音小姐姐「午夜狂暴哈士奇狗」在GPT-4o还没放出之前,已经开启了与ChatGPT谈一场甜甜的恋爱。

下面视频中,他们准备要去海边约会去看落日,视频中小姐姐还专门化了美美的妆。

而ChatGPT谈情说爱的本领,让人听了瞬间肉麻。

视频传送门:https://v.douyin.com/i2QRdYET/

之前版本的ChatGPT还不能看到小姐姐美美的妆容、海边的景色….

而现在GPT-4o升级后的版本,能够识别表情和情绪,都不敢想象究竟有多强。

复刻「精灵宝可梦」

GPT-4o还可以完美地复刻了任天堂的游戏——宝可梦红(Pokémon Red)。

未来的游戏设计,就交由AI来做。

制作演示的网友表示,过去他曾用Claude Opus耗费大把时间,才做出一个勉强可以运行的同款游戏。

而其他的模型,就更菜了,几乎无法画出一个画面。

如下演示中,GPT-4o就…直接玩起了这个游戏。

它在终端的设计,细节非常准确,可以精准绘制地图,并模拟战斗。

Jim Fan预测全押中了

虽然OpenAI的这波更新在我们看来非常炸裂,但其实英雄所见略同,Jim Fan大佬表示「我早就说过应该这么干」。

在昨天发布会召开之前,他就发布了一篇推文,深入浅出地讲解了实时语音助手的技术路径,基本可以当作OpenAI技术报告的大纲了。

推文中首先表示,几乎所有的语音AI都需要经过3个阶段的推理——语音识别、LLM和语音合成。

然而,如果只是非常简单地把三种模型集成在一起,每次回答问题就会有接近5秒的延迟时间,这会造成用户体验断崖级的下降,无法打造「沉浸式对话」。

要想解决延迟问题、打造实时语音AI,就不能仅仅考虑三个子模型的加速,还需要重新考虑整个pipeline,让各个阶段尽可能重叠在一起,就像人类对话时都是一边听一边构思怎么说。

用一句话总结就是,「端到端模型总能胜出。」

不仅如此,发布会上展示的ChatGPT新特性,也都被Jim Fan一一点到,比如适时插入语气词、处理对话中的「打断」等等,简直是一波「神预言」。

OpenAI究竟强在哪里?

有意思的是,GPT-4o放出后,坊间也同时出现了一些唱衰OpenAI的声音。

有人说,这次放出的不是GPT-5,也不是搜索,其实就代表着OpenAI的倒退。

马斯克则嘲讽道,这些AI聊天的速度也太慢了吧。

此外,Andrej Karpathy大佬也用十分平静的语气给出技术总结,得到了马斯克的附议:

「他们发布的是一个在同一神经网络中结合文本-音频-视频三种模态并同时处理的模型,仅此而已。」

这就引起了网友们的讨论:究竟是谁,在这里淡化OpenAI做的事?

不可否认的是,OpenAI让《Her》中的Samantha成真了,这绝对是一件意义重大的事。

这位网友表示,「这是我见过的最令人惊奇的技术,那些失望的人大概本来是盼着ASI的吧。」

AI开发者Benjamin De Kraker表示,这种能听说能看还能推理的「虚拟人」,跟人都没区别,这不就是AGI吗?

对OpenAI感到不服的人,还有其他一些业内人士,比如沃顿商学院AI方向的教授Ethan Mollick,他表示:「GPT-4o并不是巨大的飞跃」。

还有一位Meta的研究科学家表示,OpenAI的GPT-4o技术没什么大不了的,在2个月内,开源领域就会有人开始预训练类似GPT-4o的模型了。包括他在内的研究者,都在加班加点地进行这项研究。

据他透露,Meta虽然暂时落后,但跟GPT-4推出时相比,他们其实离OpenAI更近了。

原因在于,他们已经构建了可扩展、与多模态一致的架构,以及关于如何训练这些模型的知识,而最重要的是,在这个研究领域,他们拥有除OpenAI以外最强大的团队。

而在过去两年中,这位研究者所在的团队一直致力于为早期融合、多模态token-in-token-out方法奠定基础。

在这方面,Meta也是发表了多篇论文。包括最初的CM3论文,到MM-scaling law,再到CM3Leon,除了已发表的六篇论文,还有几篇即将出版。

其实,这位老哥之所以着急澄清,也是因为被这位Teortaxes大V的言论逼急了。

在Teortaxes看来,Meta和OpenAI之间的差距是越来越大了。

虽然Armen在前几天就放消息说,Meta预训练的早期融合多模态模型已经获得了成功(甚至核心突破在2023年12月就已经实现了),可OpenAI的GPT-4o,都已经作为产品落地了啊,更何况还是给每个人免费可用。

看衰老一辈科技巨头的绝不止Teortaxes一个人,知名咨询公司Gartner副总裁 Chirag Dekate在接受Ventur Beat采访时表示,他认为Meta、谷歌等公司和OpenAI之间的「能力差距」越来越大了。

博主「i陆三金」总结道,其实OpenAI最被低估的,就是产品能力。

前有Sora,今有GPT-4o,能把一堆显而易见的技术打造成一个亮眼的产品,业内目前有这种实力的,OpenAI是无出其右。

看起来,这些产品背后的技术,如DiT、ViT、VAE或端到端的文本、视觉、音频模型,并不罕见。但唯有OpenAI,真正做出了产品。

参考资料:
https://x.com/Gorden_Sun/status/1790201278070689799
https://x.com/SmokeAwayyy/status/1790146421355843992
https://x.com/tuturetom/status/1790186661948883295
https://x.com/gdb/status/1790177196075864100
https://x.com/gdb/status/1790195202214572399
https://x.com/FinanceYF5/status/1790197126330482963
https://twitter.com/DrJimFan/status/1789695374963491139

 

分类: AIGC

0 条评论

发表回复

Avatar placeholder

您的邮箱地址不会被公开。 必填项已用 * 标注

此站点使用 Akismet 来减少垃圾评论。了解我们如何处理您的评论数据

蜀ICP备16001794号
© 2014 - 2024 linpxing.cn All right reserved.