엔비디아 Dally 10년 동안 AI GPU 성능 1,000배 향상

Bill Dally, 엔비디아(NVIDIA)의 수석 과학자, 컴퓨팅 성능의 미래와 포스트 무어의 법칙 시대에 대한 관점을 공유하였습니다. 그의 주장은 새로운 프로세서 개발에는 새로운 재료의 발명과 검증, 독창성, 그리고 지난 세대와는 다른 접근이 필요하다는 것입니다. 이는 더 작고 빠른 칩을 만드는 과정에서의 변화를 반영하고 있습니다.

엔비디아 GPU 1000 향상

엔비디아 리서치 팀은 Dally의 지도하에 놀라운 성과를 이루어내며, AI 추론 분야에서 GPU의 성능을 상당히 향상시켰습니다. 이러한 발전은 "황의 법칙"으로 언급되기도 하며, 엔비디아의 기술 혁신과 성과를 강조하고 있습니다. IEEE 스펙트럼과 월스트리트 저널을 통해 이러한 성과가 대중화되었음을 언급하였습니다.

Dally의 강연에서, 대규모 언어 모델 및 생성형 AI의 성장에 대응하기 위해 하드웨어 업계가 속도를 내고 있다고 언급되었습니다. 이러한 수요에 부응하기 위해 새로운 접근 방식이 필요하다고 강조하고 있습니다.

엔비디어 1,000배 성능 상승 기여

Dally가 언급한 1,000배의 성능 상승에 기여한 중요한 요소 중 하나는 숫자 표현의 단순화입니다. 이것은 컴퓨터가 계산 시에 숫자를 더 효율적으로 다루는 방법을 발견하여 나타났다고 설명하였습니다. 이러한 혁신은 기존의 방식과는 다른 계산 기술의 도입을 의미하며, 이로써 성능 향상이 가능하게 되었습니다.

엔비디아 호퍼(NVIDIA Hopper) 아키텍처

Bill Dally의 설명에 따르면, 엔비디아 호퍼(NVIDIA Hopper) 아키텍처는 새로운 계산법을 채택하여 성능 향상과 에너지 절감을 실현합니다. 이 아키텍처는 8비트 및 16비트 부동 소수점 및 정수 수학을 동적으로 혼합하여 사용하며, 생성형 AI 모델의 요구 사항을 충족시키기 위해 조정되었습니다.

또한, 고급 명령을 활용하여 GPU의 작업을 효율적으로 구성하는 방법을 개발하여 12.5배의 성능 향상을 이끌어냈습니다. 이러한 명령은 에너지 절감을 도모하면서 더 많은 작업을 수행할 수 있게 합니다.

엔비디아 암페어 아키텍처

엔비디아 암페어 아키텍처는 AI 모델의 가중치를 단순화하고 모델 정확도를 유지하는 혁신적인 구조적 희소성을 도입하여 또 다른 2배의 성능 향상을 실현하였습니다.

NV링크 인터커넥트 네트워킹 활용

더불어, NV링크 인터커넥트와 엔비디아 네트워킹을 활용하여 시스템 간의 효율적인 통신을 구축하고, 단일 GPU 성능을 1,000배까지 향상시키는 방법을 설명하였습니다. 이러한 혁신은 컴퓨팅 분야에서 큰 발전을 이루어내고 있음을 나타냅니다.

엔비디아 무어의 법칙

Bill Dally의 주장에 따르면, 엔비디아는 고성능 GPU를 28nm에서 5nm 반도체 노드로 마이그레이션했지만, 이러한 기술적 발전은 총 이익에 비해 상대적으로 작다고 지적하고 있습니다. 무어의 법칙에 따르면 성능은 2년마다 두 배로 증가해야 하는데, 이를 달성하기 위해서는 더 많은 혁신과 노력이 필요한 상황입니다.

엔비디아 황의 법칙

그러나 Dally는 황의 법칙, 즉 엔비디아의 혁신적인 접근 방식으로 성능 향상이 계속될 것이라고 낙관적으로 전망하고 있습니다. 숫자 표현의 단순화, AI 모델의 희소성 증대, 그리고 더 나은 메모리 및 통신 회로 설계를 통해 앞으로 몇 가지 발전 기회가 제공될 것으로 기대하고 있습니다.

마무리

또한, 새로운 칩과 시스템이 등장할 때마다 새로운 혁신이 필요하며, 이로써 컴퓨터 엔지니어들은 더욱 흥미로운 시대를 맞이하게 될 것이라고 강조하였습니다. 더불어, 엔비디아 엔지니어들은 새로운 역학 관계를 통해 성공적인 팀의 일원이 되고 영향력 있는 설계를 이루어낼 수 있는 기회를 가질 것이라고 믿고 있습니다.