Loading...

直追GPT-3.5,“欧洲版OpenAI”推出新模型,成立6个月估值20亿美元

资讯11个月前发布 hiailand
707 0 0

12月初,法国AI初创公司Mistral AI已正式结束其备受期待的A轮融资。据彭博社报道,公司已筹集了3.85亿欧元(约4.15亿美元),该公司的估值约为20亿美元。Mistral AI今天也开放了其商业平台。

12月8日,Mistral AI的官方Twitter发布了他们账号开通以来的第三条推文,没有热闹盛大的发布会,也没有让人眼前一亮的宣传视频,仅仅是一条普通到不能再普通的磁力链接,就打破了AI开发者圈的平静。

直追GPT-3.5,“欧洲版OpenAI”推出新模型,成立6个月估值20亿美元

△图源:Twitter

这条下载链接通向的正是近期震动AI圈的开源MoE模型——Mixtral8x7B。

从名字来看,Mixtral8x7B就揭示了其架构:由8个70亿参数组成的小模型组合,这也被称为MoE(Mixture of Experts,混合专家)架构——指把复杂任务分成一系列更小且更容易处理的子任务,每个子任务都由一个特定领域的“专家”负责处理。MoE架构让整体模型更多功能且强大。同样这也是GPT-4采用的架构。

从官方公布的数据来看,Mixtral8x7B在基准测试中的表现十分出色,跑分全面超越GPT-3.5,更在多个跑分上超过了Llama2 70B,并且推理速度还是后者的6倍。

直追GPT-3.5,“欧洲版OpenAI”推出新模型,成立6个月估值20亿美元

△图源:Mistral AI

在生成同等质量的模型时,Mixtral8x7B的推理过程消耗的成本也明显低于Mistral AI,高能效优势显著。

直追GPT-3.5,“欧洲版OpenAI”推出新模型,成立6个月估值20亿美元

△图源:Mistral AI

此外,Mixtral8x7B还支持英语、法语、意大利语、德语和西班牙语五种语言,具备自然的编码能力。

开源、跑分优秀、高效……这一系列的优势叠加起来,让Mixtral8x7B有了赶超Chat-GPT的势头,这确实足以让人感到兴奋。

一位开发者在Mistral MoE的基础上做了微调,发布了dolphin-2.5-mixtral-8×7模型。这是一个完全未经审查的开源模型,这意味着它不会受开发者的道德观影响,也不会回复“作为一个AI助手,我不能……”

直追GPT-3.5,“欧洲版OpenAI”推出新模型,成立6个月估值20亿美元

△图源:Twitter

而随着Mixtral8x7B一起走入大众视野的,还有它的开发者—来自法国的大模型公司Mistral AI,从名不见经传到一举成名,他们仅仅用了半年。

“欧洲版OpenAI”,成立仅半年估值20亿美

彭博社报道,公司已筹集了3.85亿欧元(约4.15亿美元),该公司的估值约为20亿美元。

而仅仅在6个月前,Mistral AI才完成1.05亿欧元(约1.13亿美元)的天使轮融资——也是欧洲历史上最大的种子轮融资。Mistral AI仅仅用了7页PPT,就吸引了包括Redpoint、Index Ventures在内的一众欧洲老牌风投机构。事实上,这家颇受欧美两地明星投资机构青睐的AI独角兽公司,在今年5月才在法国巴黎正式成立。

尽管成立时间不长,Mistral AI的三人创始团队却相当有分量,在多模态、RAG方向上都有着丰富经验。公司CEO Arthur Mensch是前DeepMind研究科学家,主导了Chinchilla、Retro、Flamingo等重要论文的发表,而这三篇论文分别是20-22年间Google在LLM、RAG、多模态三个领域最重要的作品。

首席科学家Guillaume Lample,也是前Meta研究科学家,与CTO Timothee Lacroix,都来自Llama核心团队。目前,MistralAI的团队仅有22名员工,保持着小而美的风格。

直追GPT-3.5,“欧洲版OpenAI”推出新模型,成立6个月估值20亿美元

△图源:Mistral AI

不要大而全,强攻小模型

在大语言模型当道的今天,Mistral AI却反其道而行之,从成立之初就专注于研发「小模型」。联合创始人兼CEO Arthur在与硅谷投资人Sarah Guo和Elad Gil的专访中提到,让模型变小一定会有助于Agents的开发和应用,小模型能够有效降低使用成本,也能在更多设备上运行,从而让更多有意思的应用有机会被构建。

Mistral AI近期发布的聊天模型正是对这一理念的实践。

近期,Mistral AI刚刚发布了开放平台La plateforme,并提供了mistral-tiny、mistral-small和mistral-medium三个基于指令生成文本的聊天模型,以及一个嵌入模型。

其中,最受市场关注的还是目前仍在测试阶段的“中杯”模型Mistral-medium。作为Mistral AI推出的最强开源模型,Mistral-medium在MT-Bench得分高达8.6,在主流测评中各项指标已优于GPT-3.5。

直追GPT-3.5,“欧洲版OpenAI”推出新模型,成立6个月估值20亿美元

△图源:Mistral AI

Mistral AI另一个特别之处在于,对开源路线的坚定选择。

事实上,在2020年前,大部分大模型的研究成果都是共享和透明的,直到一些公司开始加速商业化,闭源模型才越来越广泛被使用。我们所熟知的OpenAI,最早就是作为一家开源的非盈利性组织创办的,而后才转为闭源公司,这也是曾经的投资者马斯克对其相当不满的点。

如今,除了Meta的LLaMA系列以外,目前大部分头部大模型厂商,如OpenAI、Google和微软都选择了闭源,但开源模型还是以能够快速迭代、可定制性的特点受到欢迎。这也是Mistral被称为“欧洲版OpenAI”的原因,在大公司纷纷闭源之际,也有人将Mistral AI称为开源路线的希望。

有趣的是,近日一张由ARK Invest团队制作的趋势图预测了2024年开源社区与专有模型在生成式AI上的发展。据其预测,开源模型的性能在不断提升,与专有模型之间的差距也将越来越小。对此,Meta首席AI科学家、图灵奖获得者Yann LeCun也转发表示:

开源人工智能模型正走在超越专有模型的路上。

直追GPT-3.5,“欧洲版OpenAI”推出新模型,成立6个月估值20亿美元

△图源:Twitter

目前,Mixtral8×7B已经在不少开源模型平台上线,而开源究竟能否赶超闭源,仍需时间验证。

© 版权声明

相关文章

暂无评论

暂无评论...