LOADING

超越GPT4的捷径,被国产大模型找到了

资讯7个月前发布 hiailand
458 0 0

今年咱们新硅编辑部最大的困扰,就是面对各种“超越GPT大模型,陷入无尽的沉思。

我们就纳了闷了,为什么GPT这么好超越?

在“第一个中文大模型”、“第一个垂类大模型”等名号被各大科技公司相继占领之后,这场竞赛逐渐转移到了分数上,竞争者们纷纷宣称自己在某些维度上排名第一,或是在某方面远超GPT-4

即便是谷歌在发布其新模型Gemini时也未能免俗。

超越GPT4的捷径,被国产大模型找到了

图源:Gemini官网

到了年末,AI排行榜上充斥着各种高分大模型,然而它们似乎也就止步于此,高分的模型就只存在于排行榜上,真正能用的似乎也没几个。

用李彦宏的话来说,就是目前大量的资源浪费在各种各样基础模型的训练上,甚至是跑分刷榜上,而比较少的资源和精力放在了AI原生应用上。

大模型为什么要跑分,源于一个最朴实的概念:如果用户用不上,那么如何证明咱家的模型高级?

01

ChatGPT横空出世后,大家只知道ChatGPT很厉害,因为它可以像模像样地回答任何问题,哪怕是脑筋急转弯。于是大家开始用各种刁钻的问题问大模型,来判断大模型好不好。

被称为人类最后堡垒的弱智吧问题,常常用来用测试大模型,像什么“老鼠生病了,吃老鼠药可以治好吗?”、“跳多高才能跳过广告?”“生蚝煮熟了还叫生蚝吗?”

超越GPT4的捷径,被国产大模型找到了

但仔细想想,这种测试方式不够科学也不太全面,而且万一未来AI主导社会,显然也不是靠抖机灵上位的。

于是,众多研究机构、高校开始建立完善的大模型评估体系。比如由MBZUAI、上海交通大学、微软亚洲研究院共同推出的CMMLU,专门用于评估大模型在中文语境下的知识和推理能力。

我们根据OpenCompass(主流的开源网站)整理了一下目前主流的大模型评测方法,大概有39种。

超越GPT4的捷径,被国产大模型找到了

严格意义来说,这39种评测方法只要有一个领域领先GPT,就可以拿来当宣发标题了。

大模型测试都会涉及5个方面的能力。考试能力语言能力知识能力理解能力推理能力

我们一一来介绍下,每个能力都是什么,以及为什么要测试这些能力。

考试能力主要测试了大模型在特定任务或条件下的表现。以GAOKAO-Bench为例,这个测试集简单来说就是让大模型去参加高考。

GAOKAO-Bench收集了2010-2022年全国高考卷的题目,包括选择填空之类的客观题,和阅读理解类的主观题,其中主观题训练集的标准答案由上海市曹杨第二中学的老师们评分。

插句题外话,这所学校在上海高中里面可以排进前二十。

这一能力通常说明模型在接受特定训练后,能否实现相应的效果,也是评测中努努力最容易得高分的项目。

这和好好学习就能考高分如出一辙。

超越GPT4的捷径,被国产大模型找到了

图源:GAOKAO-Bench 例题

语言能力指大模型理解和使用语言的能力,包括语法、句法和语义。

比如AFQMC测试就用到蚂蚁金融的数据,可以评估大模型能否判断”双十一花呗提额在哪””哪里可以提花呗额度”两句话意思不一样。

超越GPT4的捷径,被国产大模型找到了

图源:AFQMC 例题

知识能力指模型拥有的信息和数据,以及如何使用这些信息来回答问题或解决问题。

当我们问ChatGPT一些常识问题,如“中国的首都在哪里?”,ChatGPT会毫不犹豫的回答北京。这就是大模型的知识能力。也就是说大模型的知识能力越好,知识盲区越小。

超越GPT4的捷径,被国产大模型找到了

图源:commonsenseQA 例题

理解能力指模型对信息的深入理解,包括上下文、隐含的意义和复杂概念。能否识别弱智吧问题,基本就靠这个能力,但凡说生蚝煮熟了就不是生蚝的,理解能力通通不过关。

超越GPT4的捷径,被国产大模型找到了

图源:C3 例题

推理能力指模型根据现有信息做出逻辑判断和决策的能力。例如CMNLI测试了大模型能否确定两个句子之间的逻辑关系,从而判断大模型的推理能力。

超越GPT4的捷径,被国产大模型找到了

图源:CMNLI例题

比如这个例子,新的权利已经足够好了,其实并不等于每个人都很喜欢最新的福利。

大模型测试的数据集很多,而且会有新的测试出现,但测试的能力基本都是考试能力语言能力知识能力理解能力推理能力

02

看到眼花缭乱的测试,你是不是觉得高分的大模型一定很厉害?

还真不一定。

首先,行业内存在“大模型测试泄露”的问题。很多大模型的测试题目是公开的,导致厂商可以“针对性训练”模型以提高分数。

这一现象在人民大学高瓴人工智能学院最近发表的论文《Don’t Make Your LLM an Evaluation Benchmark Cheater》被证实。这种做法虽然能提升测试成绩,但并不代表模型的真实能力得到了提升。

超越GPT4的捷径,被国产大模型找到了

图源:《Don’t Make Your LLM an Evaluation Benchmark Cheater

换句话说,只要把这些测试题全部喂给大模型,然后送这个模型去考试,怎么得分都不会低,毕竟是开卷考试。

具体来看,在使用测试题进行训练后,小模型也能秒杀大模型。论文中测试了很多模型,这里我们以LLaMA为例。

LLaMA-2(7B)在没有使用测试题训练前,在各大测试中分数都不如LLaMA-13B。但在使用测试题训练后,LLaMA-2(7B)的分数可以接近甚至高于LLaMA-65B。

后者的参数量是前者的近10倍,要知道,在绝大多数情况下,参数量往往决定了大模型的能力。

超越GPT4的捷径,被国产大模型找到了

图源:《Don’t Make Your LLM an Evaluation Benchmark Cheater》

那不公开的闭源测试可以解决这个问题吗?也不行。

闭卷考的主要优势是它可以防止厂商针对特定的测试题目进行优化,从而提供更真实的模型性能评估。

可问题是,这种测评如何服众?没人知道到底如何测试模型的情况下,其评测的可信度就得打一个问号。

03

质疑随之而来,比如“卖榜单”。

在没有足够透明度的情况下,厂商可能会通过某些手段来影响或操纵排名,从而损害测试的公正性,国内有一个大模型测试集,由于没有公开测试详细内容,引来网友质疑。

超越GPT4的捷径,被国产大模型找到了

超越GPT4的捷径,被国产大模型找到了

图源:知乎网友评论

在大模型测试榜单即将水漫金山前,中国信通院发布了《大规模预训练模型技术和应用评估方法》,评测范围包含智能语义、智能视觉、智能语音、跨模态四个能力域,共计30余个能力项。

这算是给“混乱”的大模型评测带来了一个“国标”方案。

虽然《大规模预训练模型技术和应用评估方法》还未全面普及,仅完成了模型开发和模型能力两部分的内容,还未形成统一完善的标准,但至少在国内也有官方权威的口径进行评测。

不管怎么说,拿不到国标就不能上路。

超越GPT4的捷径,被国产大模型找到了

图源:中国信通院

不过也存在一种说法,就算目前的大模型测试存在问题,但这些测试题已经足够全面了,能做这么多题就不错了,以后只要把题库不断完善,大模型不就越来越强大了?

所以都怪驾校只到科目四,不然也不会出这么多事故了。

很显然,会做题并不代表能力强。毕竟人类在做题的过程中有成长的概念,而现阶段的AI还没到“自我成长”的阶段。

通过做题训练出来的大模型,有一种术语称其为“快思考”

Google DeepMind资深工程师卢一峰表示:“(快思考阶段中)它的知识是来自于整个互联网的数据,压缩以后进行的重组、汇编,凭此来试着回答用户的问题,它实际上离我们真正所谓的‘慢思考’——即帮助人类去解决一些很难的问题,还有很长的路要走。”

“区别就在于,你可以让它帮你写一些日常的邮件,但是如果你问它,「我们怎么能够把人类带到火星?」这样的问题,那它就无法用一次问答的方式获得完整的答案。”

举个例子,“快思考”的大模型就像一本百科全书,你只能获得书里有的内容,不管怎样提问他给出的答案都是在书中某个角落里写过的,最多帮你整合编辑一下。

而“慢思考”的大模型就像一位专家,他可以用脑子里的知识储备进行学习,从而实现“回答一切问题”的能力。

因此,大模型跑分并不能全面体现大模型的能力。

04

那么性能测试就没有意义了吗?

前文中,我们探讨了大模型测试存在诸多问题,那么大模型开发者为什么仍热衷于进行性能测试?

首先,大模型测试可以帮助开发者对大模型的能力有一个初步的认识,能考上985大学通常来说比上大专的能力会强一些。

此外,它们也涉及到一些重要的“价值对齐”问题,例如避免人种歧视、性别歧视,或是协助恐怖袭击等。

另一方面,在模型竞争激烈的环境下,性能测试成为厂商展示自家模型最主要的营销手段,毕竟当前大模型的普及程度尚浅,且缺乏明确的应用场景,厂商很难通过实际应用来吸引用户,一个最直接的“得分”更能抓人眼球。

是不是很熟悉?这种现象与早期智能手机和PC市场的情况颇为相似。

起初,用户对消费电子的理解不深,主要通过性能分数来判断手机的优劣,鲁大师跑分就是在这个时候崛起的。

然而,随着智能手机的普及和关键应用场景的明确化,用户体验逐渐成为了评价标准的核心。

超越GPT4的捷径,被国产大模型找到了

图源:某微博大V对手机跑分吐槽

到了应用普及的年代,谁还看跑分?

本文来自微信公众号“新硅NewGeek”(ID:gh_b2beba60958f),作者:董道力

© 版权声明

相关文章

暂无评论

暂无评论...