전체 글100 [Verilog] Fixed point Scaler 연산 (Quantization - 비트 수가 다른 파라미터와 연산) Pytorch에서 quantization을 구현 코드를 verilog로 변환하기 위해서는 fixed point scaler 연산이 필요하다. 연산에 있어서 필요한 여러 개념들이 있는데 아래 블로그 글을 참고하면 좋다. 2023.09.05 - [Digital Logic/Verilog] - [Verilog] Fixed point Scaler 연산 (Quantization - binary 연산) 2023.09.06 - [Digital Logic/Verilog] - [Verilog] Fixed point Scaler 연산 (Quantization - sign 곱셈/덧셈 연산) [Verilog] Fixed point Scaler 연산 (Quantization - binary 연산) Fixed point 란? ve.. 2023. 9. 6. [Verilog] Fixed point Scaler 연산 (Quantization - sign 곱셈/덧셈 연산) Fixed point Scaler 연산의 기초는 아래 블로그 글을 참고하면 좋다. 2023.09.05 - [Digital Logic/Verilog] - [Verilog] Fixed point Scaler 연산 (Quantization - binary 연산) [Verilog] Fixed point Scaler 연산 (Quantization - binary 연산) Fixed point 란? verilog로 프로그래밍 하기 위해서는 값의 형태가 fixed point로 구성되어야 한다. 위의 그림처럼 sign / Integer / Fraction 으로 되어 있다. 특히 quantization의 경우, Integer와 scaler로 나눠서 연산 rubber-tree.tistory.com Scaling 연산 Res.. 2023. 9. 6. [Verilog] Fixed point Scaler 연산 (Quantization - binary 연산) Fixed point 란? verilog로 프로그래밍 하기 위해서는 값의 형태가 fixed point로 구성되어야 한다. 위의 그림처럼 sign / Integer / Fraction 으로 되어 있다. 특히 quantization의 경우, Integer와 scaler로 나눠서 연산하며 scaler의 integer와 fraction이 각각 몇 bit인지를 알고 있어야 된다. Fixed point Scaler 연산 아래와 같이 quantization하는 pytorch 코드가 있다. // rescaling rescale = self.a_max / self.a_max_origin inp = inp * rescale // rounding inp = torch.round(inp) inp = inp * (1. / se.. 2023. 9. 5. NPU 부흥을 위해 꼭 필요한 것 '컴파일러' https://byline.network/2021/12/08-72/ 연봉 10억원 줘도 못구하는 NPU 컴파일러 개발자 - Byline Network ‘챗GPT와 AI반도체의 미래’ 스터디&네트워킹 모집합니다 (얼리버드 할인 중) NPU 기업들이 컴파일러 인재... byline.network NPU 기업들이 컴파일러 인재 찾기에 혈안이다. 퓨리오사, 리벨리온 등 국내 주요 NPU 기업 모두 컴파일러 인재 채용에 발벗고 나섰다. 아직 초기 단계인 AI반도체 시장이 활성화될 수 있는 핵심 열쇠가 컴파일러가 될 것이라는 판단에서다. NPU는 기존에 사용되던 범용 반도체에 비해 구조가 다소 복잡하다. 범용 반도체는 입력된 데이터를 순차적으로 처리하는 ‘폰 노이만(Von Neumann)’ 아키텍처를 기반으로 한다.. 2023. 2. 18. NeurIPS 2022 Conference Comment(후기) in New Orleans, USA NeurIPS (Neural Information Processing Systems) NeurIPS는 올해로 36주년을 맞았으며 2022년에 총 2905편의 논문을 accept 하고 약 10,000여명의 사람이 학회장으로 모이는 국제 최대 AI 학회이다. 내가 지금껏 다녔던 Machine Vision 혹은 HW IC Chip 학회와는 규모가 족히 2배이상 차이난다. 특히나 구글, 애플, 아마존, Meta 등 자원이 빵빵한 기업들도 함께 paper를 쓰고 따로 기업 부스를 열어 그들의 AI 기술과 관련 인턴쉽 홍보도 하기에 분위기는 더 달아오른다. 여담으로 paper author를 대상으로 기업별 social dining도 있다. 나는 이번 학회에 논문을 따로 내지 않았기에 그 내막을 자세히 알진 못하지만.. 2022. 12. 5. [뉴스 스크랩] 점점 커져가는 초거대 NLP AI 모델들의 크기 초거대 AI 모델 2020년 이전에는 NLP 모델 중에서 거대한 크기의 모델이 없었다. CNN 모델에 비하여 파라미터 수가 현저히 낮은 작은 크기의 모델만 존재하였다. 그러다 2020년 6월 OpenAI가 'GPT-3'라는 transformer 기반의 NLP 모델을 발표하면서 판을 뒤집었다. 초거대 AI 모델의 의미 모델의 크기가 커진다는 것은 어떤 의미일까? 모델의 크기, 즉, 학습된 신경망의 규모는 신경망이 가진 파라미터(parameter, 매개변수) 수로 측정할 수 있다. 개략적으로 말해서 AI 모델의 파라미터 수가 많을수록 모델이 학습 데이터에서 더 많은 정보를 받아들일 수 있고, 새로운 데이터에 대해서도 더 정확한 예측을 할 수 있다는 의미이다. 대분류 모델 명 Parameter(매개변수) 수 .. 2022. 3. 15. AI반도체에 가장 많은 투자를 하는 IBM, 10년을 바라보며 투자 중 AI반도체에 가장 많은 투자를 하는 IBM 10년을 바라보며 투자 중 IBM은 인간의 뇌신경 구조와 기능을 모방해 만든 뉴로모픽 반도체 분야에서 가장 앞선 기업으로 꼽힌다. 올바니연구소에선 수백 명의 연구원이 IBM 핵심 제품인 메인프레임 서버, AI 플랫폼 등에 활용할 AI반도체를 연구하고 있다. 연구용 초대형 팹(fab: 반도체 제조시설)만 다섯 개에 달한다. 세계에서 가장 뛰어난 성능을 보유한 뉴로모픽 반도체로 불리는 ‘트루노스(TrueNorth)’도 이곳에서 탄생했다. 삼성전자뿐 아니라 ASML, 도쿄일렉트론, 어플라이드머터리얼스 등 세계적 장비회사도 이곳에서 IBM과 공동 연구를 진행 중이다. 목표는 '무어의 법칙' 미세 공정을 성공하여 충전 성능 향상 IBM과 삼성전자가 올버니연구소에서 공동개.. 2022. 1. 3. [Pytorch 프로젝트] CNN(Convolutional Neural Network)으로 MNIST 데이터 분류하기 🔊 해당 포스팅에서 사용된 컨텐츠는 위키독스의 PyTorch로 시작하는 딥러닝 입문 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다. 포스팅은 CNN(Convolutional Neural Network) 기법을 이용하여 MNIST 데이터를 분류하였다. 같은 MNIST 데이터로 softmax regression과 MLP(multi-layer perceptron) 방식으로도 MNIST 데이터를 분류하였으니 참고하면 좋다. 2021.10.24 - [AI | 딥러닝/Project] - [Pytorch] Softmax regression으로 MNIST 데이터 분류하기 2021.10.24 - [AI | 딥러닝/Project] - [Pytorch 프로젝트] MLP.. 2021. 10. 25. 이전 1 2 3 4 5 ··· 13 다음
