中国AI大模型工业应用指数发布

今天(4日)2024世界人工智能大会暨人工智能全球治理高级别会议在上海世博中心启幕。在“AI赋工业，数智启未来”人工智能赋能新型工业化主题论坛上，《中国AI大模型工业应用指数(2024年)》发布。

随着人工智能技术的快速迭代发展，AI大模型工业应用场景不断丰富。“中国AI大模型工业应用指数”旨在及时跟踪国内外AI大模型技术发展态势，挖掘大模型潜在工业应用场景，系统评估通用人工智能与工业融合的进展与成效。

指数体系由大模型基础应用能力与行业应用能力构成。大模型基础应用能力包含文生文、图生文等领域的准确性、稳定性能力;大模型的行业应用能力包含民爆、电力、石化、钢铁、医药等重点行业大模型在研发设计、生产制造、运维管理等环节具体场景的应用有效程度。

经过多轮测评与专家研讨，在基础应用能力方面，率先发布中国AI大模型文生文准确性与稳定性指数，其中准确性指数反映了国内外头部AI大模型在工业领域文本生成的精准程度。总体上，国内大模型准确性指数为78，国际大模型准确性指数为76，国内顶级大模型在工业领域文本生成的准确性已具备竞争力;在行业知识层面，我国在多个行业如电力、建材、纺织的知识储备已经具备一定领先优势;细分能力层面，国内模型在语句能力和专业知识掌握上比国外模型更加优秀，在数理能力还有待提升。稳定性指数代表模型在一定外部扰动下持续给出正确回答的能力，反映模型在复杂环境下的鲁棒性。总体上，国内大模型稳定性指数为71分，低于国际的74分;在行业知识层面，电力和采矿等行业知识储备有待提升;在细分能力层面，国内大模型需要在顺序变换和逻辑扰动等领域需进一步加强。

在行业应用能力方面，率先发布中国AI大模型民爆行业应用指数，针对大模型在民爆行业安全防控场景开展应用评测。总体上，国内大模型行业应用指数为84分，国际为93分，国外大模型仍具备领先优势;在场景细分能力上，国内大模型在人员行为监测、事故监测、危险车辆监测细分场景与国外大模型有一定的差距，国内模型仍有较大进步空间。