○ Jetson nano에서 pre-trained network를 이용한 object detection (객체 검출) 소개 

• • • 강의자료 다운로드

• • • Computer vision, Machine learning, CNN 관련 참고자료

(1) Computer Vision: Algorithms and Applications (PDF)

(2) Machine learning - Andrew Ng (Youtube)

(3) CS231n - Introduction to Convolutional Neural Networks for Visual Recognition, Stanford university (Youtube , Page)

• • • 객체 인식을 위한 딥네트워크 모델: SSD-Mobilenet-v2 (91 종류의 객체를 포함하는 MS COCO dataset을 학습한 모델)

    • SSD-Mobilenet-v2 관련 자료는 아래 링크에서 볼 수 있음.

(1) Single Shot MultiBox Detector (SSD)

(2) MobileNets

(3) COCO dataset

• [Original Github] Single Shot MultiBox Detector Implementation in Pytorch

• Jetpack 내부 SSD repo

○ 이미지 데이터 이용 객체 인식

• Docker container에서, 입력 이미지와 출력을 지정하여 Detectnet 실행

(1) Terminal 실행 (Ctrl + Alt + t)

(2) Docker container 접속 코드

cd jetson-inference

docker/run.sh

(3) 저장된 이미지 파일에 대한 객체 검출 수행 코드 (첫 실행 시 1분 이상 소요, 그 이후부터 10초 이내 실행 됨.  굵은 글씨 변경 가능)

detectnet.py --network=ssd-mobilenet-v2 data/images/peds_2.jpg data/images/test/output.jpg

(4) 결과 확인 코드

(4-1) 새 terminal 열기 (Ctrl + Alt +t)

(4-2) 출력 이미지 파일 저장된 위치 이동

cd jetson-inference/data/images/test

(4-3) 이미지 파일 열기, 아래 그림과 같이 결과 확인

eog output.jpg

○ 카메라 이용 실시간 객체 인식

• Docker container 에서, 카메라를 이용하여 촬영되는 영상에 대해 Detectnet 기반의 객체 검출 수행

(1) Terminal 실행 (Ctrl + Alt + t)

(2) Docker container 접속 코드

cd jetson-inference

docker/run.sh

(3) 카메라 기반 객체 검출 수행 코드 (첫 실행 시 1분 이상 소요, 그 이후부터 10초 이내 실행 됨.  굵은 글씨 변경 가능)

detectnet.py --network=ssd-mobilenet-v2 --input-width=400 --input-height=300 csi://0

○ 자기 주도 실습 (15분)

• data/images 에 있는 다른 이미지 파일에 대해 Object detection 적용해보기

• 카메라를 이용해서, 본인 주변에 있는 물건, 사람, 동물 등에 Object detection 적용해보기

• Object detection 원리, 입력~출력 구조 생각해보기

○ detectnet.py 코드 리뷰

• Jetson nano에서 detectnet.py 열기

(1) Terminal 열기 (Ctrl + Alt +t)

(2) 아래 코드를 입력하여 detectnet.py 열기

nano jetson-inference/python/examples/detectnet.py

• 아래 "Google Colaboratory" 클릭하면, Google colab에서 볼 수 있습니다.

○ 참고

• Argparser (링크)

• Jetson.inference (링크, 다운 받아 인터넷 브라우저에서 열기)

• Jetson.utils (링크, 다운 받아 인터넷 브라우저에서 열기)

※ Jetson 모듈 위치: cd jetson-inference/docs/html/python