首页
Llama 3.1 405B VS Mistral Large 2,谁是开源之王?|AI横评
硅星人Pro
·
科技媒体
· 1 月前
作者
|
椒盐玉兔
邮箱
|
guojunjing@pingwest.com
最近两款大型 AI 模型相继发布。
在7月23日,
Meta
发布了
Llama 3.1 405B
模型,该模型不仅支持
8种
人类语言,还
精通多种计算机语言
,如下图所示:
紧接着在7月24日,
Mistral
AI
发布了最新的
Mistral Large2
模型,这款模型支持
数十种
人类语言,并
熟练掌握了80多种编程语言
,包括 Python、Java、C、C++、JavaScript 和 Bash等。它还精通一些更具体的语言,如
Swift
和 Fortran。
Base64 编码
是一种将二进制数据转换为文本格式的编码方式,常用于在文本协议中传输二进制数据。Base64 编码在
数据预处理
、模型输入输出、数据安全
等方面有着广泛的应用。
通过 Base64 编码,我们可以评估 AI 模型的多语言处理能力,测试它们是否能准确理解和翻译编码后的信息,尤其是它们对不同语言和编码格式的理解和处理能力。进而检验它们的多语言翻译能力、回答准确度和推理能力。
解码是编码的逆过程。
如果一个 AI 模型能够准确地解读和处理 Base64 编码或解码出相关信息,那么它在执行日常编程任务、解析网络数据,甚至从复杂文件中提取信息时,将会更加得心应手。
今天,我们就用这种看似晦涩的
Base64 编码和解码
来测试
AI
大模型的多语言能力。
接下来,我们要带着一点“侦探”的心情,来玩一个关于 Base64 编码的解谜游戏。
虽然主要选手是
Llama 3.1 405B
和
Mistral Large2
,
但我们也加入了
Qwen2-72B
和
GPT-4o
,一个是国内的头部开源项目,另一个则是闭源代表,看看他们
是否真的能够像处理普通语言那样,轻松应对这些“编码挑战”,
我们拭目以待!
游戏规则:
我们将使用 Base64 编码的字符串进行多语言测试,包括中文和英文。通过这次测试,我们可以了解各大模型在多语言翻译、回答准确度和推理能力方面的表现。
- 测试共 2 轮,每轮三次对话。每答对一次记 1 分。
- 为了确保测试的公平性,我们会提示模型不要使用代码工具进行解码。
- 提示词:这是一个 base64 信息【】,请你不使用代码工具告诉我这是什么信息。
首先我们大致知道下 Base64 编码解码的步骤和流程是什么。
Base64编码是将二进制数据转换成一系列特定的64个字符(A-Z, a-z, 0-9, +, /)来表示。如果解码过程中的步骤不正确或者字符串不是有效的Base64编码,那么解码结果可能会是错误的或无意义的。若要检查实际的Base64编码字符串代表的内容,可以使用在线工具或编程语言中的库来正确解码。
1
第一轮:英文解码
本轮采用英文单词转 Base64 编码测评,编码后的字符串分别为:
Justice:SnVzdGljZQo=
Bravery:QnJhdmVyeQo=
Kindness:S2luZG5lc3M=
我们先来用英文编码测试看看个大模型结果如何,
Llama 3.1 405B
答的都完全正确,
得 3 分。
但全部都是英文回答,对于中文不太友好。
不过它还是会附上自己特色的表情包,这“人味儿”谁不喜欢,情绪价值给的非常到位。
而
Mistral Large 2
解码的英文 Base64 信息
答对两题
,得 2 分。
在第二问中,原文是 brevery,解码的是“brave”,最有可能的错误来源是在字符到二进制索引的转换、索引到二进制的转换,或者在二进制数的重组过程中出现了错误。
不过值得表扬的是,在解码过程中它先是解释了原理,然后用 5 个步骤逐步分析推理最后解码,既详细又清晰明了,非常易懂。
图片可上下滑动
ChatGPT-4o
回答一如既往地极其简洁和快速,这次换成解码后的内容也是相当正确,记 3 分。
图片可上下滑动
最后来看下
Qwen2-72B
的英文解码回答,三个答案都是正确的,还解释了实际编码中的注意事项,易于理解,而且考虑周到,得 3 分。
1
第二轮:中文解码,无一生还?
本轮加大难度,采用中文词语转 Base64 编码测评,编码后的字符串分别为:
正义:5q2j5LmJ
勇敢:5YuH5pWi
善良:5ZaE6Imv
先来看看超大杯
Llama 3.1 405B
是怎么回答的:
一连三问, Llama 3.1 405B 依旧全英文回答解码信息,得到的却是“你好世界”、“你好”、“再见”这些词汇的英文,基本全错,
这一轮得0分。
放眼望去,Base64 字符串转换后通常不会有下图这样的结果,除非原始数据就是这样。
Llama 3.1 405B 在第二步就开始错了,即“Base64字符到ASCII的映射”,那之后的结果肯定也全都是错的。
在解码过程中,每个 Base64 字符应该映射到一个特定的6位二进制值。如果解码时字符到二进制的映射错误,解码出来的结果自然也会错误。
不过有趣的是,
Llama 3.1 405B 它
更有“人味儿”了
,每次回答都会有一些小表情在文字里
,而且回答之前还会加一些
语气词
之类的内容,真的越来越人性化了。
图片可上下滑动
再来看看今天发布的
Mistral Large 2
怎么样。
三问后,对于编码后的中文也是是一个也没答对,这一轮
得0分
。
虽然 Mistral Large 2 的解码推理过程很详细,具体到了每一步骤,但是这更加清楚的看到哪一步出错了。主要是在
第二步就错了,Base64字符到二进制的映射,那之后的推理步骤也都是错的,结果也一定是错的
。
这一步中,Base64 编码的字符被错误地直接映射到了 ASCII 字符,而不是它们正确的二进制值。例如把 '5' 映射到了 'H'。这种映射
忽略了 Base64 编码的实际工作原理
,即每个 Base64 字符实际上表示了一个6位的二进制数,而不是一个直接的ASCII 字符。
这样看来这块的能力非常有待加强。
图片可上下滑动
来看看对中文理解更强的
ChatGPT-4o
,它直接给出解码的内容,全部都对,
这一轮得3分。
再来看国产最抗打的
Qwen2-72B
,解码结果也是“测试”“你好”“世界”,基本全错,这一轮得0分。
我们来细看 Qwen2-72B 的思路,回答里只有推理思路,并且省略各种转换步骤,直接得出答案,这代表着得到的结果极大程度上是错误的。也就是说 Qwen2-72B 主要错误主要集中在
对 Base64 编码的理解
和
解码步骤的执行
上。
比如:
直接
从 Base64 编码得到具体的中文字符
,这是不太可能的,因为这需要正确的字节序列和编码(如UTF-8)来解释二进制数据。
最终得分是:
很明显 ChatGPT-4o 得6分,完全领先于其他各大模型,无论是中文、还是英文,Base64 码都能轻松转换为我们所理解的意思。
而其他三个模型 Llama 3.1 405B、Qwen2-72B 均获得3分,在英文解码方面表现都不错,但对中文解码相对不足。其中
Llama 3.1 405B 在回复的时候则更有“人味儿”,能给到人们更多的情绪价值。
但整体的回答偏向英文,中文语言功能相对较多,除非单独硬性要求它用中文回复。
而垫底的
Mistral Large 2 因为英文解码错误一题丢失一分,但其解码推理过程十分详细清晰,
显示出强大的推理能力,而其他模型在这方面的表现差异较大。
通过这次测试,
我们发现大模型在多语言和编程语言解码方面表现各异,当前大模型在多语言处理上有些许不平衡。
整体英文回答普遍准确且清晰,但中文回答准确度低。
1
最后
编码,是人类为了高效运输信息,对信息本身做的一系列逻辑变形。通常我们认为它是“计算机的语言”。但这次测试看下来,对于大语言模型来说,正确的编码和解码反而成了一道难题。尤其是在多语言环境下,每一次编码解码的过程涉及到多个步骤和多种编码规则,有一环出错甚至是二进制的一位算错,都不可能得到准确的答案。
综合来看,GPT-4o 确实还是强一些,仅从这个小游戏来说,Qwen2-72B 反而能和 Llama3.1 405B 五五开。有些意外的是 Mistral Large2 在这次成了垫底。
如果大家喜欢我们的这个小游戏,欢迎各位关注我们,想跟我们有进一步的讨论,也欢迎扫描下方的二维码加入我们社群。
点个
“
在看
”
,再走吧
推荐文章
【#日本政府被指对米荒无对策#】日本多地近期“大米荒”...
·
新浪科技
·
18 小时前
2
【TrendForce:#iPhone16系列下半年产...
·
新浪科技
·
昨天
2
【#微软批苹果税#】英国竞争和市场管理局(CMA)今日...
·
新浪科技
·
4 天前
2
月入5万的中产爹妈:暑假再见,已破产
·
36氪
·
4 天前
2
【#中国电信App小程序系统故障#】9月1日,中国电信...
·
新浪科技
·
6 天前
2
直播预告 | 反对“针对女性的暴力”,劳东燕、罗翔、林...
·
新则
·
2 年前
1
今日事,今日毕
·
Jing润玥六六
·
2 年前
1
【华泰固收|宏观】疫情冲击与监管压力下的动能放缓——2...
·
华泰固收强债论坛
·
3 年前
1
星球发行 |「久别/重逢」Meeting Again ...
·
看见音乐
·
3 年前
1
新牧网5月6日全国猪价【爱乐新特约】
·
新牧网
·
5 年前
1
© 2024 精读
删除内容请联系邮箱 2879853325@qq.com