12月11日，在中关村大数据日暨数字经济融合创新发展论坛上，中关村智用人工智能研究院（以下简称“智用研究院”）执行院长孙明俊正式发布了面向产业应用的AI开源评测基准AI-Rank。此基准是在中关村管委会、中国科协科学技术传播中心的指导下，中关村智用人工智能研究院、百度、浪潮联合发起，基准所采用的评价体系可通过多个指标测试综合评分，能够客观、全面、系统地反映人工智能产业的现状及其发展方向。智用研究院执行院长孙明俊、百度深度学习技术平台总经理马艳军、浪潮信息副总裁 AI&HPC总经理刘军共同参加了启动仪式。

AI-Rank面向产业应用的AI开源评测基准启动仪式

执行院长孙明俊提到，当前我国人工智能产业发展呈现倒金字塔型格局，应用量庞大但基础薄弱。作为具备应用牵引、国际接轨、开源共建的产业级基准测试体系，AI-Rank希望能够切实挖掘人工智能产业发展过程中的需求与痛点，突出应用牵引、真实客观、产业共建的特色，符合我国发展态势和需求以及产业趋势体系，助力全产业AI相关企业整体应用和技术成熟度提升。

区别于已有评测基准只注重单一速度指标，AI-Rank主指标侧重对方案面向产业应用水平的考量，通过多维度拟合给出综合表现，并提供系列子指标以对系统的技术优势进行全面展示。具体来讲，AI-Rank具备三大特色：面向产业应用进行指标设置，设定更广泛、系统、实用的量化评价体系；增加软件赛道，不能单纯比拼硬件速度，同时测评面向产业真实应用的软件能力；支持国产化，考察国产化生态，实现硬件、算法、平台的一体化协同发展。针对软件赛道，在同样的硬件设置上，综合考虑多种典型硬件配置，考察软件的综合表现, 例如模型覆盖率、性能表现等。在硬件赛道，则会在给定的软件环境和AI任务上，针对不同硬件进行多方位指标的测试，以评价不同硬件的性能表现。

通过开源基准测试体系的建立，对AI性能进行科学的测评，达到公开、公正、公平，并实现测评结果可定量、可复现、可对比，吸引更多社区开发者广泛参与共同建设，以实现基准所采用的评价体系能够客观全面系统的反映人工智能产业的现状及其发展方向。

现场还发布了AI-Rank发展路线图计划，通过构建基石选择核心平台、算法、硬件，设定观察员席位参与讨论；吸引价值链上各环节参与者，包括企业科研机构与学校等参与并提供贡献两方面，最终将AI-Rank打造成国际领先的、具有广泛影响力和公信力的知名标准认证体系，通过开放性测评平台及专业认证服务，为企业在AI产业中带来巨大增值价值。目前，AI-Rank已经启动成员招募，并于明年5月30日公布第一次评估结果。