国产代码大模型首批通过权威评估
-
国产代码大模型惊艳亮相！阿里云通义灵码、华为云盘古智谱等首批通过权威评估
6月11日消息 中国信息通信研究院近日公布了可信代码大模型评估的首轮评估名单，阿里云通义灵码、华为云盘古智谱等国产大模型均入选并首批通过此次评估。该评估基于“智能化软件工程技术和应用要求第1部分代码大模型标准”（编号01102023）进行，围绕通用能力、专用场景能力、应用成熟度等方面对模型能力进行全面评估，为企业选择合适的代码大模型提供规范性参考。
此次评估覆盖6大通用能力场景、7大专用能力场景以及3大服务成熟度指标，多维度验证研发大模型在研发场景能力和人效优化效果方面的表现，重点考察其在代码理解、代码生成和补全、研发问答、单元测试用例生成等方面的支持度。
评估结果显示，华为云盘古智谱、阿里云编程助手通义灵码、中国电信星辰政务大模型等首批通过评估，并在全部100多个能力评估中表现优秀，获得4评级。
阿里云通义灵码在通用能力方面在代码转换、代码检查及修复、代码优化等方面表现突出；专用场景方面提供网站开发、数据库开发、大数据开发、嵌入式开发等多个场景支持能力；应用成熟度方面具备完善的数据合规及数据分类分级机制，模型稳定性及可维护性表现优异，在模型推理性能、模型服务风险可控性等方面均表现优秀。
该评估结果为代码大模型厂商提供了能力提升和改进的参考标准，也为企业选择合适的代码大模型提供了有效衡量其能力水平的依据。未来，相信更多国产代码大模型将凭借自身优势，在行业应用中发挥更大作用。