浙江大学第一届ARM人工智能算法大赛

OPEN AI LAB 简介

由Arm加速器安创空间、全志科技、地平线机器人发起成立。

OPEN AI LAB旨在推动Arm嵌入式智能机器的产业发展,为智能机器应用场景构建嵌入式SoC基础计算框架,并整合应用场景服务接口。致力于推动芯片、硬件、算法软件整个产业链的深度协作,实现有计算的地方就有人工智能。

比赛平台说明

硬件平台:

比赛的硬件使用基于瑞芯微RK3399平台的硬件单板与摄像头。

单板规格和使用手册参考:http://www.t-firefly.com/product/rk3399/index.html

提示: 不同情况下,调用不同的算法可能效果存在差异;

有些情况下,只调用两个A72的核计算效果反而比六核同时运行更佳,具体可以用taskset命令来实现。

软件平台:

软件平台将由OPEN AI LAB提供,包括 Linux/Ubuntu, CaffeOnACL, MxnetOnACL。

比赛的软件平台推荐使用:

CaffeOnACL https://github.com/OAID/caffeOnACL

MxnetOnACL https://github.com/OAID/MXNetOnACL

但不做严格限制。

赛题规则说明

赛题A:人脸识别

比赛内容:能够在室内场景中识别出摄像头中的三个人脸

识别距离:人脸距离摄像头1.5米

主要比赛性能:帧率(在能够准确识别的前提下:三张正面人脸距离1.5米,正常光照,测试时间内错误率为零)

一等奖条件:单纯比较性能,在能够准确识别人脸的前提下,帧率最高者获一等奖,奖金为20000元;

■ 性能评选:单纯比较性能,在能够准确识别人脸的前提下,帧率最高者获一等奖,奖金为20000元;

只打印inference函数花费时间,10帧取平均值

■ 比赛条件:
1.距离1.5m;
2.在一个摄像头中同时识别出至少三个人脸;
3.输入为camera, 640*480 实时图像,格式YUYV(YUV422),不限定用何种特征方式;

■ 比赛流程:
1.由工作人员固定好8个摄像头,最大限度集中,各组调试;
2.9个工作人员进入规定区域,各组录入人脸信息(以规定ID记录以便后续的准确性判断);
3.9个工作人员先离开规定区域,再3个3个依次进入,在能够准确识别的前提下, 记录处理速度(10帧inference的平均值);

二等奖条件:性能为主要考虑因素,同时关注算法的鲁棒性以及是否使用Deep Learning算法

■ 鲁棒性测评(30分):
1.使用小型充电台灯,从人脸90度/0.5m打光;根据能否检测判断是否得分,若能成功检测,计9分,否则计0分;
2.在特定背景(图案见附加说明)下,根据能否检测判断是否可以得分,若能成功检测,计8分,否则计0分;
3.45度角,1.5m,检测人脸;根据能否检测判断是否可以得分,若能成功检测,计7分,否则计0分;
4.人到摄像头的距离增大为3m,根据能否检测判断是否可以得分,若能成功检测,计6分,否则计0分;


参考算法
◆ MTCNN(检测算法)
◆ Lightened CNN(识别算法)

参考demo:https://github.com/OAID/face-demo
◆ 参赛者可以完全自由创作代码,也可以在以上demo的基础上进行修改迭代完成。

额外说明:所需识别的人脸现场随机确定,所以算法中需要有注册功能。可以参考demo实现方式。

■ Q&A:
■ 如何查看对比帧数?
答:在算法的某一特定位置会被要求执行打印函数,用以显示帧率或同性质信息。
■ 人脸是现场录入吗?
答:现场录入。
■ 打印的时间是detection的时间还是包括isp的时间?
答:所有的时间。
■ 时间是平均帧率?如果漏帧或者算法需要跳帧怎么办?
答:只打印算法做处理的帧的时间或帧率。


赛题B:人体跟踪

比赛内容:能够在室外场景中跟踪摄像头中的指定单个人体目标

识别距离:人体距离摄像头3~5米,行走路径大约为椭圆形

主要比赛性能:跟踪能力(在能够准确跟踪的前提下:正常光照,单个目标移动,全程跟踪没有drift,即漂移或bbox大于目标框的150%)

一等奖条件:单纯比较性能,在能够准确跟踪人体的前提下,跟踪能力最强者(帧率最高者)获一等奖,奖金为20000元

■ 性能评选:
只打印inference函数花费时间,10帧取平均值

■ 比赛条件:
1.人体距离摄像头3~5米;
2.行走路径大约为椭圆形,无遮挡;
3.跟踪过程中不能丢框,则为跟踪失败

■ 比赛流程:
1.由工作人员固定好7个摄像头,最大限度集中,各组调试;
2.一个工作人员进入规定区域,并以正常步行速度来回直立椭圆形移动;
3.在能够准确跟踪的前提下,记录处理速度(帧率、单次循环处理时间);

二等奖条件:性能为主要考虑因素,同时关注算法的鲁棒性以及是否使用Deep Learning算法

■ 鲁棒性测评(30分):
1.在背景变化时(具体定义参见附加说明);若能够准确跟踪,计6分,否则计0分;
2.在(白天)灯光关闭的情况下;若能够准确跟踪,计6分,否则计0分;
3.人体遮挡下半身部分;若能够准确跟踪,计6分,否则计0分;
4.在追踪过程中,用一张白纸完全遮挡摄像头,待目标移动2秒后,移开白纸;若能找回跟踪目标,计6分,否则计0分;
5.人体形状变化:直立改为弯腰;若能够准确跟踪,计6分,否则计0分;

参考算法
◆ GOTURN
◆ SqueezeNet

参考demo:九月底上传GitHub(OAID)
◆ 参赛者可以完全自由创作代码,也可以在以上demo的基础上进行修改迭代完成。

■ Q&A:
■ 如何查看对比帧数? 答:在算法的某一特定位置会被要求执行打印函数,用以显示帧率或同性质信息。
■ 跟踪区域变化是否被允许,比如一开始跟踪的是整个身体,后来只跟踪了上半身? 答:不允许,必须保持全身跟踪。

赛题C:手势识别

比赛内容:能够通过摄像头识别出参赛者自定义的5个以上手势

识别距离:手势距离摄像头1.5米

主要比赛性能:帧率(在能够准确识别的前提下)

一等奖条件:单纯比较性能,在能够准确识别手势的前提下,帧率最高者获一等奖,奖金为20000元

■ 性能评选:
只打印inference函数花费时间,10帧取平均值

■ 比赛条件:
1.手势距离摄像头1.5米;
2.能够通过摄像头识别出参赛者自定义的5个以上手势;
3.摄像头中只出现一支手;

■ 比赛流程:
1.依抽签顺序挨组进行检测;
2.参赛者自行进行手势操作;
3.在能够准确识别的前提下,记录处理速度(帧率、单次循环处理时间);

二等奖条件:性能为主要考虑因素,同时关注算法的鲁棒性、手势的多样及动态性以及是否使用Deep Learning算法

■ 鲁棒性测评(30分):
1.使用小型充电台灯,从手势90度/0.5m打光;根据能否检测判断是否得分,若能成功检测,计9分,否则计0分;
2.在特定背景(图案见附加说明)下,根据能否检测判断是否可以得分,若能成功检测,计8分,否则计0分;
3.在手势角度偏离30°时;根据能否识别出2个手势,判断是否可以得分,若能成功检测,计7分,否则计0分;
4.同时识别多个手势;根据能否同时在画面中识别出两个手势,判断是否可以得分,若能成功检测,计6分,否则计0分;

参考算法
◆ OpenPose Based

参考demo: 10月上传Github(OAID)
◆ 参赛者可以完全自由创作代码,也可以在以上demo的基础上进行修改迭代完成。

附加说明

1. 为方便参赛选手提前熟悉场地,12月8日(周五)上午将开放比赛场地供选手调试;
2. 参赛选手需要在12月11日24点前提交设计方案报告,包括方案创新性、性能数据、参赛代码等;
3. 第二名将综合参考性能(30分)、鲁棒性(30分)、创新(40分)三方面,共计100分;
性能按排名得分:第2、3名:30分;第4、5名:25分;第6名及以后:20分;
鲁棒性分数评判标准参考比赛规则;
创新性分数评判由多位工程师打分决定,参考技术方案报告、整体代码结构等因素;
4. 12月15日比赛现场会对设计方案报告中的创新部分进行一定验证;
5. 参赛选手需要在比赛12月20日前上传比赛最终代码;若发现欺骗行为,事后取消奖金;
6. 人脸和手势识别鲁棒性测试背景图片

7. 人体跟踪鲁棒性测试背景变化说明:

A

B

相比之前测试,背景A部分保持不变,在背景B部分将出现静止站立人群;