AI Rank:应用牵引、国际接轨、开源运作

的产业级基准测试体系

AI-Rank的目标
是希望能够切实挖掘人工智能产业发展过程中的需求与痛点,突出应用牵引、真实客观、产业共建的特色,助力全产业AI企业整体应用和技术成熟度提升。
AI-Rank的意义
是通过开源基准测试体系的建立,进行科学的测评,达到公开、公正、公平的要求。测评结果可定量,可复现,可对比,并吸引社区开发者共同建设。基准所采用的评价体系能够客观全面系统的反映人工智能产业的现状及其发展方向。

三个评测方向

一 . 硬件基础设施
在给定软件环境和AI任务上,针对服务器、边缘和移动端等不同硬件进行多方位指标测试,以评价不同硬件的性能表现。
二 . 通用算法能力
在同样的应用场景和硬件设置上,综合考虑多种典型硬件配置,考察算法能力的综合表现, 例如模型覆盖率、性能表现等。
三 . 垂直行业场景
面向智能交通、智慧矿山、智能安防、智慧环保等垂直行业场景,设置AI算法基线评测指标、数据集和方法。

三个评测特点

一 . 面向产业应用进行指标设置
设定更广泛、系统、实用的量化评价体系,引导产业AI软硬件体系化建设,促进生态产业链的发展。
二 . 基于国产化,增加软件评测赛道
考察国产化生态,硬件、算法、平台的一体化协同发展,测评面向产业真实应用的软件能力。
三 . 开源运作构建生态,面向国际推广
建设国际领先与公信力的标准和认证体系,通过开源共建、开放性评测及专业认证服务,为成员带来巨大增值。