用实例驳斥李彦宏开源模型会越来越落后

近日百度创始人、董事长兼首席执行官李彦宏先生在Create 2024百度AI开发者大会上发表了这么一个观点:开源模型会越来越落后。

封面.png

话音刚落,美国 Meta 就发布了 Llama3,包含了8B 和 70B 参数两个版本。Meta 表示, 最大的 Llama 3 参数超过 400B,虽然400B+模型仍在训练中,但在接下来的几个月中也将陆续发布,新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力


李彦宏的判断正确吗?话不多说,我们用实例来测试下。那就用Meta AI 和百度的文心一言3.5进行比较。因为上周我刚好写了一篇关于镜像变换的文章 用矩阵实现镜像变换 ,这个例子正好涉及到数学和编程,非常考验大模型的能力!


先来看 Meta AI 的表现!

Meta AI 第一问

meta-1.png


非常不错,代码是正确的,只不过无法正常显示图片,因为在x的负区域,因此要做下 width 平移,才能正常显示。


Meta AI 第二问 (注:是在同一个上下文)

meta-2.png


理论介绍的非常好!即使对初学者都非常友好!如果不考虑平移显示的问题,可以给满分!


再来看百度文心一言3.5的表现!

baidu-1.png

给出的水平镜像变换矩阵和垂直镜像变换矩阵都是错的!正确的变换矩阵请参考我的上一篇文章 用矩阵实现镜像变换


文心一言 第二问 (注:是在同一个上下文)

baidu-2.png

这一问,文心一言的回答非常多错误!我列出几点:


1. 这一句 “水平镜像是将矩阵按照水平中轴线进行翻转,而垂直镜像则是将矩阵按照垂直中轴线进行翻转。” 说反了! 


2. 这一句“对于二维空间中的图像,镜像变换矩阵M是一个2x2的矩阵,其反对角元素为1,其它元素为0。” 有误,不一定是2x2矩阵,和矩阵的宽、高以及是水平还是垂直镜像变换有关系。具体请参考我的上一篇文章  用矩阵实现镜像变换 


3. 这一句“通过对图像进行镜像变换,可以实现图像的翻转、旋转、缩放等效果。” 又是错的!把镜像变换怎么能实现旋转、缩放!


4. 这一句“此外,结合镜像变换和旋转变换,还可以实现图像的任意角度旋转。同时,通过镜像变换和裁剪操作的结合,也可以实现图像的缩放效果。” 和上面第3点类似,旋转和缩放和镜像变换无关!


从这2个例子来看 Meta AI 是完胜百度的文心一言3.5的!当然这样的比较比较片面!


1. 首先我没有使用百度的文心大模型4.0,因为我没有购买。


2. 我也做了其它测试,偏向于数学证明和算法,我不想在文章中展开太多。总的来说,Meta AI 和 文心一言3.5在我的其它测试用例中表现基本打平。


3. Meta AI 有时用中文提问,它会用英文回答,因此它会提示你:I am still improving my command of non-English languages, and I may make errors while attempting them. I will be most useful to you if I can assist you in English. 


4. 这里没有黑百度文心一言的意思!相反,文心一言是我用的最多的国内大模型。我发现文心3.5模型也一直在进步!同一个问题,之前乱回答的,现在回答得相当好了!我基本都会同时扔给ChatGPT-3.5和文心3.5进行比较测试,我的结论是文心3.5基本能达到ChatGPT-3.5的水平!


最后我的结论:从 Meta AI 的表现来看,Llama 3在语言方面已经达到甚至超过了文心3.5的水平,更不用说Llama 3还支持多模态!只要有Meta这样的大公司在背后持续开源,那么开源模型必定能追上闭源模型!如果Meta等大公司不再开源,那么开源模型靠个人或学术组织将非常困难,因为缺少数据、算力!


欢迎关注我的微信公众号[数学345]:长按"识别图中二维码";或打开微信扫一扫。

评论(0)