智谱AI发布新一代高性能模型GLM-4
北京智谱华章科技有限公司 (智谱 AI) 在「智谱 AI 首届技术开放日」大会上,发布了新一代基座大模型 GLM-4. 据指出,相较于前一代模型,GLM-4 在整体性能上有了显著提升,不仅支持更长的上下文信息处理,推理速度也更为迅捷,有效降低了推理成本。
官方指出,GLM-4能够支持高达128k的上下文窗口长度,单次提示词处理的文字量可达到300页之多。 在测试中,GLM-4 处理长达 128K 的文字时,也未出现因长上下文信息失焦而导致的精度下降问题。
大会上还发布了GLM-4-All-Tools全家桶。 相较于以往需要提示词或代码,才能呼叫大模型的能力。 而现在,由于GLM模型的强大Agent能力,GLM-4实现了自主根据用户意图,自动理解、规划复杂指令,自由调用WebGLM搜寻增强、Code Interpreter代码解释器和多模态生成能力,从而完成更加复杂的任务。
据指出,与上一代ChatGLM3相比,GLM-4在综合能力上实现了全面跃升,性能提升了60%,已经逼近GPT-4. 同时,GLM-4 也增强了智能体能力。
从众多评测集中可以看到,GLM-4 的效能提升非常明显。 相较于GPT-4.GLM-4在MMLU、GSM8K、BBH、HellaSwag数据集上分布达到了94%、95%、99%和90%的水平。
而在 HumanEval 数据集上,GLM-4 则拿到了 72 分,明显超过了 GPT-3.5 和 GPT-4 的水平。
智谱AI表示,2024年还将发起开源开放的大模型开源基金,该计划包括三个「一千」:智谱 AI 将为大模型开源社区提供一千张卡,助力开源开发; 提供1000万元的现金用来支持与大模型相关的开源项目; 为优秀的开源开发者提供 1000 亿免费 API tokens。
智谱AI CEO张鹏表示,大模型开源基金的目的在于推动大模型研发的大进展,促进大模型整个开源生态的大繁荣。 面对全球的大模型创业者,智谱AI也将Z计划进一步升级,联合生态伙伴发起总额10亿元的大模型创业基金用于支持大模型原始创新,覆盖大模型算法、底层算子、芯片优化、行业大模型和超级应用等方向。