본문 바로가기
Embedded System/Embedded Processor

딥러닝을 지원하는 임베디드 프로세서 in Machine Vision

by 고뭉나무 2021. 7. 31.

 

머신비전 산업에서도 이미지 Deep Learning 기술이 자리잡아 가고 있으며, 이를 구동할 수 있는 HW 가속기, '컴퓨팅 플랫폼'을 내놓고 있다.

장비의 크기를 줄이고 투자 비용을 절감하는 방법으로 PC가 아닌 임베디드 시스템을 사용하는 것이 있다.

 

그리고 현재는 더 나아가 딥러닝 기술을 접목한 임베디드 시스템을 지원하기도 한다.

임베디드 비전은 작은 크기, 낮은 전력 소비 및 경제적인 비용을 구현하는 수많은 최신 애플리케이션을 지원한다. 딥러닝과 효율적인 비용의 임베디드 비전 시스템을 결합하면 혁신적인 임베디드 애플리케이션을 제작할 수 있다.

그 결과, 스마트 커넥티드 디바이스가 더 빠른 런타임 응답, 더 낮은 지연 시간, 고급 개인 정보 보호 및 보안 기능을 제공하는 엣지에서 대부분의 딥러닝 작업을 이상적으로 진행할 수 있다.

 

카메라 업체에서 기존 카메라와 호환 가능한 패키지 형태로 출시하고 있으며 주로 사용하는 프로세서 칩 제조사는 'NVIDIA'와 'Xilinx' 이며 임베디드 플랫폼으로는 'NVIDIA의 Jetson'을 가장 많이 사용한다.

 

 

 

Basler

  • Add-on Camera Kits
  • Embedded Vision Development Kits
  • Embedded Vision Processing Kit

총 3가지로 머신비전 업계에서 가장 다양하고 광범위한 제품을 지원하고 있다.

 

https://www.baslerweb.com/ko/embedded-vision/embedded-vision-portfolio/embedded-vision-kits/#series_overview___powerpacks_embedded

 

임베디드 비전 키트 | Basler

Basler의 임베디드 비전 개발 키트는 당사의 소프트웨어와 함께 고객이 시스템에 대한 프로토타이핑을 쉽고 간단하게 시작할 수 있도록 지원합니다. 자세한 내용을 확인해 보세요!

www.baslerweb.com

 

카메라 해상도는 5MP, 13MP

인터페이스는 USB3.0, MIPI CSI-2, LVDS

Chip Brand Model name Remark
NVIDIA Jetson Nano - Cloud 연결 가능
- DRAM: 4GB 64bit LPDDR4 25.6 GB/s
- Storage: 32GB
Xilinx Zynq-7010 - DRAM: 1GB DDR3
- Storage: microSD card
NXP i.MX8M mini - DRAM: 2GB
- Storage: 16GB
Qualcomm Snapdragon 820 -

 

Cloud 서버를 통해 딥러닝을 Tasking(학습)하고 해당 하드웨어에서 Inferencing(추론)을 진행한다.

 

Basler는 딥러닝을 위한 하드웨어만 지원하는 것이 아니다.

Amazon Web Services와 협업하여 클라우드 서비스 또한 제공한다.

 

https://www.baslerweb.com/ko/sales-support/knowledge-base/deep-learning/embedded-deep-learning/

 

 

 

 

Teledyne Dalsa

 

Dalsa는 아직 회사 규모에 비해 딥러닝 플랫폼에 소극적인 편이다. 혹은 전략적일 수도 있다.

현존하는 가장 강력한 딥러닝 임베디드 플랫폼은 NVIDIA의 Jetson 만 기존 라인업 카메라에 호환 가능하게 하였다. 

 

카메라는 Genie Nano, Linear GigE

지원 SDK는 GigE-V Framework for Linux SDK (Ubuntu, Red hat, CentOS)

 

https://www.teledynedalsa.com/en/products/imaging/vision-software/nvidia-jetson-platform-support/

 

NVIDIA Jetson Platform Support | Teledyne DALSA

In a small footprint Supporting Linux for Tegra on the Nvidia Jetson platform (including TK1, TX1, TX2 and Xavier models), Teledyne DALSA's GigE-V Framework is  a simplified, user-level API for accessing the features of GigE Vision devices. With easily

www.teledynedalsa.com

 

 

 

Baumer

 

Baumer는 딥러닝을 위한 전용 카메라를 출시하였다.

그리고 이와 호환되는 컴퓨팅 플랫폼은 역시 NVIDIA Jetson 이다.

 

카메라는 3.2MP, 5MP

지원 SDK는 Baumer GAPI SDK (Ubuntu, Debian, Fedora, openSUSE)

NVIDIA - Jetson Nano / Xavier NX

 

https://www.baumer.com/us/ko/product-overview/industrial-cameras-image-processing/industrial-cameras/ax-series/c/43083?utm_source=VSD&utm_medium=advertorial&utm_campaign=SR-VT&utm_content=NL-07-12 

 

Smart cameras for AI applications – AX series

The perfect image processing platform

www.baumer.com

 

귀여운 영상으로 스마트 카메라에 대한 장점 홍보를 하고 있다 :)

https://www.youtube.com/watch?v=duX5lcJkRoM&t=155s 

 

 

 

 

NVIDIA 'Jetson'

그럼 모든 카메라 제조업체에게 선택을 받은 NVIDIA 'Jetson' 에 대해 알아보자.

뭐가 그렇게 좋길래 딥러닝 플랫폼에서 이렇게 사랑 받는 것일까?

 

https://www.nvidia.com/ko-kr/autonomous-machines/embedded-systems/jetson-nano/product-development/

 

NVIDIA Jetson Nano

수백만 개의 작고 전력 효율적인 AI 시스템에 놀라운 새로운 기능을 제공하십시오.

www.nvidia.com

 

크기

70 x 45mm에 지나지 않는 Jetson Nano 모듈은 신용 카드보다 더 작은 크기를 자랑한다. 하지만 프로덕션 준비를 마친 이 SOM(System on Module)은 스마트 시티 및 공장에서 농업 및 로보틱스에 이르기까지 다양한 업계의 엣지에서 디바이스에 AI를 배포할 수 있다는 측면에서 효용성이 매우 크다.

 

성능

Jetson Nano는 최신 AI 알고리즘을 빠르게 실행할 수 있는 472GFLOPs의 성능을 제공한다. 다수의 뉴럴 네트워크를 병렬로 실행하고 여러 고해상도 센서를 동시에 처리하므로 NVR에서 지능형 게이트웨이에 이르는 다양한 애플리케이션에 적합하다.

*여기서 FLOPs는 한 번에 처리하는 데이터 속도를 일컫는다. 그래서 값이 클수록 처리 속도가 빠르다.

 

전력

AI, 컴퓨터 비전, HPC 분야를 불과 5~10W의 전력으로 강력하고 효율적으로 연구할 수 있다.

 

 

그래서 NVIDIA Jetson 모델은 이미지 분류, 개체 감지, 세분화 및 음성 처리 등의 애플리케이션에서 다수의 뉴럴 네트워크를 병렬로 실행하게 해주는 강력한 소형 컴퓨터이다.

 

그리고 다른 칩 제조사에 비해 GPU로 유명한 회사이다 보니 보드에 GPU가 장착되어 있다.

딥러닝 처리에는 아직 GPU 만한 것이 없기에 딥러닝 가속기로는 NVIDIA 제품이 좋을 수 밖에 없다.

반응형

댓글