OpenAI紧张?对手Mistral开源模型效能直逼GPT-4
法国新创商Mistral近来外泄的开源AI模型刚刚获得高层认证,而根据网友测试,其性能直逼OpenAI目前最强大的大型语言模型「GPT-4」。
VentureBeat 31日报导,1月28日左右,一位代号「Miqu Dev」的网友在开源AI模型与编码分享平台HuggingFace张贴了一组档案,组合起来后便成为全新LLM「miqu-1-70b」。 该名网友并提到,这款LLM的提示模板跟Mistral一样。
有人随即透过社交平台X分享了上述讯息。 网友N8 Programs 31日在X指出,不管「Miqu」是甚么,这款LLM在情感智能评分标竿软件「EQ-Bench」的跑分高达83.5分,击败世界上几乎每一款LLM,仅落后GPT-4.
机器学习研究人员也注意到Miqu。 摩根大通机器学习科学家Maxime Labonne 31日透过LinkedIn网站指出,Miqu是不是「MIstral QUantized」的缩写,目前还无法确定,但Miqu已快速成为最佳的开源LLM之一。 调查虽仍在进行中,但估计大家很快就能看到表现超越GPT-4的Miqu微调版本。
在机器学习界,Quantization (中文称作量化)是一种以短数字序列取代特定长数字序列的技术,可让AI模型在功能较不强大的电脑、芯片上执行。
消息延烧几天后,Mistral执行长Arthur Mensch终于在2月1日透过X证实,「提前获得存取权的客户中,一名过度热情的员工外泄了我们训练并公开发送过的旧模型,且是经过量化(并打上水印)的版本。」
Mensch说,「为了赶快跟特定客户展开合作,我们在取得整个丛集后立刻重新训练了这款源自Llama 2的模型——预训练在Mistral 7B释出当天就已完成。」 他还说,自此之后公司进展良好,敬请期待!
VentureBeat报导指出,Mensch说「敬请期待」,似乎暗示Mistral训练的「Miqu」模型不但效能已经逼近GPT-4.现在还可能追平、甚至超越GPT-4.
这对整个生成式AI及计算机科学界而言,将是关键的分水岭。 GPT-4自2023年3月释出以来,就一直是全球最强大、效能最高的LLM,连Google目前的「Gemini」模型都比不上。 一个效能媲美GPT-4的开源AI模型(理论上可免费使用),势必会对OpenAI造成极大竞争压力,尤其是在愈来愈多企业都开始检视开源AI模型的情况下。
Mistral创办人分别为Arthur Mensch、Timothée Lacroix及Guillaume Lample,三人之前曾担任过Meta及Google的研发人员,协助Meta打造过开源软件的LLAMA模型。 Mistral去年12月募资4亿美元、估值因而攀升至20亿欧元,英伟达也是投资者及伙伴。 相较之下,OpenAI的估值约达860亿美元。