国内首批!智谱AI CodeGeeX代码大模型获信通院可信AI代码大模型评估最高等级

来源: 东方网
2024-06-12 09:44 
分享
分享到
分享到微信

北京智谱华章科技有限公司的智谱CodeGeeX代码大模型参与中国信通院组织的可信AI代码大模型首轮评估,最终获得4+级评级, 成为国内首批通过该项评估的企业之一。

在信通院官方发布的评测中,给予了CodeGeeX代码大模型较高评价:

“参与本次评估的智谱CodeGeeX代码大模型在通用能力方面,其代码解释、代码生成、代码转换等方面表现突出;在专用场景方面,其支持网站开发、桌面应用开发、移动应用开发、数据库开发、人工智能开发等多个场景的能力;在应用成熟度方面,其具备较完善的数据安全合规机制,在数据分类分级、模型服务可追溯性、风险可控性及可维护性等方面均表现优秀。”

CodeGeeX代码大模型基于智谱GLM大模型通过代码数据预训练和指令微调而成,支持超过100种编程语言,具备优秀的模型特性、强大的代码能力、全面的开发辅助能力。代码补全能力支持上下文补全、跨文件补全等;研发问答能力用于代码解释、代码翻译、代码注释、代码审查、代码修复、生成单元测试等任务,显著提高开发效率。基于多来源检索增强RAG技术,可实现基于本地知识库及开源代码仓库的问答,大幅提升准确率。同时,模型具备Code Interpreter代码解释器能力,可以批量处理多种格式的文件、批量实现数据可视化、绘制数学函数图等。

图1:CodeGeeX代码大模型的核心能力

目前,CodeGeeX插件产品的个人用户已经超过100万+,企业版本也已经广泛应用于科技、金融、医疗和制造等多个行业,每天为程序员生成超过2000万行代码,显著提高程序员的编程开发效率。CodeGeeX插件产品适配了VSCode、JetBrains IDEs全家桶、Visual Studio 2022、并适配了Visual Studio 2019、HBuilderX和deepin-IDE。在不同场景下,都已成为程序员必备的智能编程助手。

背景信息:信通院可信AI代码大模型评估介绍

可信AI代码大模型评估围绕通用能力、专用场景能力、应用成熟度,为模型能力提升和企业选型提供规范性参考。

(一)通用能力:考察模型的代码理解、代码生成与补全、代码转换、单测生成、代码诊断与优化、研发问答六大能力,一方面采用由多语言、多任务组成的专用评测数据集进行准确度等客观指标的评分,另一方面结合多位编码专家对可接受度指标的主观评分,综合评估代码大模型通用水平。

(二)专用场景能力:关注大模型所支持的专业场景数,如网站开发场景、数据库开发场景、大数据开发场景、人工智能开发场景等,以及相应场景下模型的代码生成和辅助编程的能力。

(三)应用成熟度:关注大模型数据管理机制、模型及其服务管理机制,评估应用实施阶段的服务质量。

图2:可信AI代码大模型评估内容

免责声明:该文章系我网转载,旨在为读者提供更多新闻资讯。所涉内容不构成投资、消费建议,仅供读者参考。
【责任编辑:钟经文】
中国日报网版权说明:凡注明来源为“中国日报网:XXX(署名)”,除与中国日报网签署内容授权协议的网站外,其他任何网站或单位未经允许禁止转载、使用,违者必究。如需使用,请与010-84883777联系;凡本网注明“来源:XXX(非中国日报网)”的作品,均转载自其它媒体,目的在于传播更多信息,其他媒体如需转载,请与稿件来源方联系,如产生任何问题与本网无关。
版权保护:本网登载的内容(包括文字、图片、多媒体资讯等)版权属中国日报网(中报国际文化传媒(北京)有限公司)独家所有使用。 未经中国日报网事先协议授权,禁止转载使用。给中国日报网提意见:rx@chinadaily.com.cn