[Object Tracking Robot]3장 3주차 후기

2021.5.27 12:30

 

안녕하세요

프로그래밍을 배우는 빛나는 샤트입니다.

 

AIFFEL 해커톤3 3주차 진행 현황 및 후기.

 

• 기간: 2021.05.10 ~ 2021.06.18
• 주제: 특정 1인을 추적하며 따라가는 자율주행 모바일 로봇 구현(위고 코리아와 협업, 하드웨어 장비 및 기술 지원)
• 인원: 총 5명
• 역할: 팀장, Tracking 알고리즘 개발, ROS를 활용한 로봇 구동 & 알고리즘 연동

 

1. 3주차 목표: Test 영상을 이용해 Go 기능 구현 확인

2. 3주차 업무 키워드

- YOLOv4, YOLOv4 tiny 차이점

- Test 영상 촬영

- Test 영상 활용해 객체 추적 확인

- 로봇 구동 방식 정립(bbox 추적에 따른 전진 및 회전 결정)

 

3. YOLOv4 VS YOLOv4 tiny

아래 글에 정리했음.

[Object Tracking Robot]Study 내용 정리 (3) - YOLOv4 tiny (tistory.com)

[Object Tracking Robot]Study 내용 정리 (3) - YOLOv4 tiny

 

4. Test 영상 촬영

9가지 영상 촬영함.

 - 카메라 고정, 사람이 점점 멀어지는 동영상

 - 카메라 고정, 사람이 점점 가까워지는 동영상

 - 카메라 고정, 사람이 좌우로 움직이는 동영상

 - 카메라 고정, 1.5m에 사람이 가만히 서 있는 동영상

 - 카메라 고정, 2.0m에 사람이 가만히 서 있는 동영상

 - 카메라 고정, 2.5m에 사람이 가만히 서 있는 동영상

 - 카메라 고정, 3.0m에 사람이 가만히 서 있는 동영상

 - 카메라 움직임, 사람과의 거리 1.5 ~ 2.5m 유지하며 움직이는 동영상1

 - 카메라 움직임, 사람과의 거리 1.5 ~ 2.5m 유지하며 움직이는 동영상2

 

5. Test 영상 활용해 객체 추적

움직이는 객체 추적

추적하며 객체 추적하기

 

위와 같이 DeepSORT(YOLOv4 tiny 적용)를 활용해서 객체를 추적하는 데모를 확인함.

이제 depth camera를 이용해 거리정보까지 넣어서 로봇 구동을 진행할 예정.

 

6. bbox와 depth camera

- 사실 처음에는 bbox크기로만 객체와의 거리를 추정하려고 했는데 사람의 bbox를 발목까지만 인식하는 경우 확인.

- 발목까지만 인식하게 되면 bbox크기가 제각각으로 변해서 정확한 거리를 추정하기 힘들다.

- 실제로 아래와 같이 사람을 거리별로 가만히 서 있는 상태에서 동영상을 촬영하고 bbox 크기를 구해보았다.

카메라와의 거리: 1.5m

 

카메라와의 거리: 2.0m

 

카메라와의 거리: 2.5m

 

카메라와의 거리: 3.0m

위의 결과를 정리해보면 아래 표와 같다.

거리	width	height
1.5m	430	980
2.0m	370	940
2.5m	290	890
3.0m	240	760

 

하지만 사람이 움직이는 영상에서는 위의 결과와 달랐다.

아무래도 Depth Camera값을 우선적으로 받는 것으로 해야겠다.