본문 바로가기

AI | 딥러닝/Concept13

[Microsoft DeepSpeed] ZeRO paper series 리뷰 Abstract현존하는 거대한 Language Model들은 학습하는 것에 문제가 있음.학습을 빠르게 하고싶다 = 많은 GPU + 큰 Batch size → Data Parallelism엄청 큰 모델을 학습하고 싶다 → 모델을 쪼개자 → Model Parallelism위 두 가지와 모두 호환 가능하면서 GPU 메모리 부족 문제로 어려운 초대형 모델 training을 가능하게 함.즉, GPU 메모리 사용량을 줄여줌.→ "ZeRO: Zero Redundancy Optimizer"DP/MP에서 발생하는 Memory Redundancy를 제거Communication cost를 최소화 ZeRO OverviewZeRO는 메모리 소비 스펙트럼을 분석하여 Model States와 Residual States로 나누어.. 2024. 10. 18.
[뉴스 스크랩] 점점 커져가는 초거대 NLP AI 모델들의 크기 초거대 AI 모델 2020년 이전에는 NLP 모델 중에서 거대한 크기의 모델이 없었다. CNN 모델에 비하여 파라미터 수가 현저히 낮은 작은 크기의 모델만 존재하였다. 그러다 2020년 6월 OpenAI가 'GPT-3'라는 transformer 기반의 NLP 모델을 발표하면서 판을 뒤집었다. 초거대 AI 모델의 의미 모델의 크기가 커진다는 것은 어떤 의미일까? 모델의 크기, 즉, 학습된 신경망의 규모는 신경망이 가진 파라미터(parameter, 매개변수) 수로 측정할 수 있다. 개략적으로 말해서 AI 모델의 파라미터 수가 많을수록 모델이 학습 데이터에서 더 많은 정보를 받아들일 수 있고, 새로운 데이터에 대해서도 더 정확한 예측을 할 수 있다는 의미이다. 대분류 모델 명 Parameter(매개변수) 수 .. 2022. 3. 15.
[AI/딥러닝] 진정한 딥러닝을 위한 3가지 분류 (Classification, Object Detection, Image Segmentation) 3탄 진정한 딥러닝을 위한 3가지 분류 마지막 시리즈 이다. Classification과 Object detection에 관한 내용은 아래 1탄과 2탄을 참고하면 좋다. 2021.08.31 - [AI | 딥러닝/Concept] - [AI/딥러닝] 진정한 딥러닝을 위한 3가지 분류 (Classification, Object Detection, Image Segmentation) 1탄 2021.09.09 - [AI | 딥러닝/Concept] - [AI/딥러닝] 진정한 딥러닝을 위한 3가지 분류 (Classification, Object Detection, Image Segmentation) 2탄 이번 포스팅에서는 마지막 남은 한 가지 'Image segmentation'에 대해 알아볼 예정이다. Segmentat.. 2021. 9. 19.
[AI/딥러닝] 진정한 딥러닝을 위한 3가지 분류 (Classification, Object Detection, Image Segmentation) 2탄 이 포스팅을 읽기 전 classification과 object detection의 성능 지표에 대해 설명한 아래 포스팅을 먼저 읽고 오면 도움이 된다. 2021.08.31 - [AI | 딥러닝/Concept] - [AI/딥러닝] 진정한 딥러닝을 위한 3가지 분류 (Classification, Object Detection, Image Segmentation) 1탄 [AI/딥러닝] 진정한 딥러닝을 위한 3가지 분류 (Classification, Object Detection, Image Segmentation) 1탄 자율 주행 기술을 위해서는 위의 그림처럼 승용차, 트럭, 사람, 표지판 내용을 인식할 뿐만 아니라 움직이는 차량을 계속적으로 추적하여 속도, 이동할 방향을 확인한 후, 해당 차의 주행을 판단 .. 2021. 9. 9.
[AI/딥러닝] 진정한 딥러닝을 위한 3가지 분류 (Classification, Object Detection, Image Segmentation) 1탄 자율 주행 기술을 위해서는 위의 그림처럼 승용차, 트럭, 사람, 표지판 내용을 인식할 뿐만 아니라 움직이는 차량을 계속적으로 추적하여 속도, 이동할 방향을 확인한 후, 해당 차의 주행을 판단해야 한다. 그럼 이 기능을 구현하기 위해서는 어떤 기술이 필요할까? 아주 기초적인 단계부터 다지고 가면 크게 3가지로 말할 수 있다. 1. Classification 2. Object Detection 3. Image Segmentation 위 순서대로 기술을 고도화 시킨다고도 볼 수 있다. 혹은 적용하는 어플리케이션 특성에 따라 하나는 생략하고 두가지만 접목시켜 구현하기도 한다. Classification : Single object에 대해서 object의 클래스를 분류하는 문제이다. Classification +.. 2021. 8. 31.
[AI/머신 러닝] 머신러닝의 종류 (Supervised, Unsupervised, Reinforcement) 머신 러닝 종류에는 3가지가 있다. Supervised learning (지도 학습) Unsupervised learning (비지도 학습) Reinforcement learning (강화 학습) 3가지 모두 학습 시키는 방식이 다르며, 고도화된 딥러닝 네트워크를 위해서 한 네트워크에서 3가지 모두 사용하기도 한다. Supervised learning Label(정답)을 알려주면서 컴퓨터를 학습시킨다. 보통 Task를 강화하는 목적으로 사용되며, 종류로는 Classification과 Regression이 있다. Classification은 결과 data를 통해 정답을 이분법으로 정한다. A 아니면 B로 정답을 결정한다. Regression은 결과 data의 경향을 통해 새로운 수치를 발견한다. 예를 들어.. 2021. 8. 24.
[AI/딥러닝] On-device AI를 위해 하드웨어 컴퓨팅이 가야할 길 2021년 세상에서 이미지 인식과 분류, 자율 주행, 딥페이크, 채팅 봇 등 여러 분야에서 AI 딥러닝 기술이 쓰이고 지속적으로 개발되고 있습니다. 하지만 대부분 수백대의 CPU와 GPU가 장착되어 있는 서버를 통해 이루어지죠. 그래서 획득한 데이터를 서버로 전송하여 딥러닝 추론을 거쳐 다시 동작하는 기기로 전달 됩니다. 그리고 그 전달 받은 결과를 보여주는 것이죠. 그렇기에 사용자의 모든 데이터는 서버로 전송되며 개인의 정보보호는 이루어지고 있지 않습니다. 또한 서버의 증량으로 탄소 배출량도 나날이 늘어가고 있죠. 이러한 문제를 해결하며 좀 더 트랜디한 기술을 제시하기 위해 엔비디아, 삼성전자 등 많은 기업들이 투자하는 곳이 있습니다. 바로 'On-device AI' 이죠. 말그대로 Device 안에 .. 2021. 8. 14.

티스토리툴바