숫자 형식의 혁명
인공지능은 새로운 숫자 형식 설계에 전례 없는 폭발을 주도했습니다 — 컴퓨터 하드웨어에서 숫자를 디지털로 표현하는 방식들입니다. 더 낮은 비용으로 점점 더 큰 신경망을 훈련하고 실행하려는 추진력은 엔지니어들에게 데이터 표현에 사용되는 비트 수를 줄일 수 있는 모든 가능한 방법을 탐색하도록 이끌었으며, 이 과정에서 계산 시간과 에너지 소비를 절감했습니다. Google의 bfloat16, NVIDIA의 TensorFloat-32, 그리고 다양한 8비트 및 4비트 표현들이 AI 엔지니어의 무기고에서 표준 도구가 되었습니다.
이러한 저정밀 형식들이 AI에서 작동하는 이유는 신경망이 수치적 부정확성에 대해 매우 관대하기 때문입니다. 한 뉴런의 활성화 값에서의 작은 반올림 오차는 수백만 개의 매개변수에 걸쳐 발생하는 통계적 평균화에 의해 흡수됩니다. 훈련이 수렴하기 위해 약간 더 많은 반복이 필요할 수 있지만, 더 작은 숫자를 처리함으로써 얻은 속도는 약간 더 많은 노이즈 계산의 비용을 훨씬 초과합니다.
이러한 AI 최적화 형식의 성공은 자연스러운 유혹을 만들었습니다: 저정밀이 신경망에서 작동한다면, 과학 컴퓨팅에도 동일한 접근 방식을 적용하지 않을까요? Laslo Hunhold가 IEEE Spectrum 인터뷰에서 상세히 설명하는 바와 같이, 수학은 전이되지 않습니다.
과학 컴퓨팅이 다른 이유
과학 컴퓨팅은 물리적 현상을 설명하는 방정식 시스템을 컴퓨터가 풀어내는 계산 물리학, 유체 역학, 구조 공학 시뮬레이션, 기후 모델링, 분자 동역학 및 수십 가지의 다른 분야를 포함합니다. 이러한 시뮬레이션은 기본적인 방식에서 신경망 계산과 다릅니다: 단지 통계적 상관관계가 아닌 수치적 정확성이 필요합니다.
물리학자가 날개 위의 난기류 흐름을 시뮬레이션할 때, 각 계산 셀은 잘 정의된 물리 법칙을 통해 인접한 셀들과 상호작용하는 압력, 속도, 온도 값을 정확히 표현해야 합니다. 한 셀의 작은 수치 오차는 평균화되지 않습니다 — 수치적 불안정성이라는 현상을 통해 시뮬레이션 전체에 전파되며, 잠재적으로 기하급수적으로 증가합니다. 감지할 수 없는 반올림 오차로 시작한 것이 물리적으로 무의미한 결과를 생성하는 시뮬레이션으로 확대될 수 있습니다.
정밀도에 대한 이러한 민감성은 시뮬레이션 소프트웨어의 실패가 아닙니다. 이는 풀어지고 있는 편미분방정식의 수학적 성질을 반영합니다. 이러한 방정식 중 많은 것들은 본질적으로 혼돈적이며, 초기 조건이나 중간 계산의 작은 변동이 극적으로 다른 결과로 이어진다는 의미입니다. 수치 분석의 전체 분야는 이러한 오차를 이해하고 제어하기 위해 존재하며, 수십 년의 연구를 통해 시뮬레이션이 신뢰할 수 있는 결과를 생성하기 위해서는 특정 최소 정밀도 요구사항을 충족해야 함이 확립되었습니다.
맞춤형 형식의 도전
최근 Barcelona 기반의 Openchip에 AI 엔지니어로 합류한 Hunhold는 과학 컴퓨팅을 위해 특별히 설계된 숫자 형식을 개발하기 위해 노력해왔습니다 — AI에서 차용한 것이 아닙니다. 그의 접근 방식은 과학 시뮬레이션의 정밀도 요구사항이 신경망의 요구사항과 질적으로 다르다는 것을 인식하고 있으며, AI 형식을 과학 문제에 단순히 적용하는 것이 실행 가능한 단축법이 아님을 인식하고 있습니다.
이 도전은 다면적입니다. 과학 컴퓨팅은 숫자 범위의 특정 부분에서 더 높은 정밀도가 필요하며 다른 부분에서는 더 낮은 정밀도를 견딜 수 있습니다. 물리 시뮬레이션의 값 분포는 신경망의 활성화 분포와는 전혀 다르게 보입니다. 한 애플리케이션에 최적화된 형식은 다른 애플리케이션에 활발하게 해로울 수 있습니다.
- AI 숫자 형식은 반올림 오차에 대한 신경망의 관용에 의존하여 계산을 가속화하기 위해 정밀도를 감소시킵니다
- 과학 시뮬레이션은 수치적 정확성이 필요합니다 — 작은 오차가 재앙적으로 확대될 수 있습니다
- 저정밀 AI 형식은 공학 시뮬레이션에서 물리적으로 무의미한 결과를 생성할 수 있습니다
- 연구자들은 과학 컴퓨팅을 위해 특별히 설계된 맞춤형 숫자 형식을 개발하고 있습니다
- 물리 시뮬레이션의 값 분포는 신경망 활성화와 근본적으로 다릅니다
하드웨어 차원
이 문제는 소프트웨어를 넘어 하드웨어 설계까지 확장됩니다. 현대 AI 가속기 — NVIDIA, Google, AMD 및 스타트업의 GPU와 맞춤형 칩들 — 은 머신러닝에 사용되는 특정 숫자 형식에 대해 점점 더 최적화되고 있습니다. 그들의 산술 장치는 bfloat16, FP8 및 다른 AI 네이티브 형식을 최대 처리량으로 처리하도록 설계되었지만, 기존 배정밀도 부동소수점 성능은 정체되었거나 상대적으로 감소했습니다.
이 하드웨어 추세는 과학 컴퓨팅에 대한 실질적인 문제를 만듭니다. 칩 제조업체가 AI 특화 형식을 계속 우선시한다면, 과학자 및 엔지니어들은 최신의 가장 강력한 컴퓨팅 하드웨어가 그들의 워크로드에 부적절하게 적합되어 있음을 발견할 수 있습니다. 초당 조 단위의 저정밀 AI 연산을 수행할 수 있는 칩은 기후 모델 또는 구조 분석이 요구하는 배정밀도 산술로 어려움을 겪을 수 있습니다.
Hunhold의 맞춤형 과학 형식에 대한 작업은 부분적으로 이러한 하드웨어 현실에 의해 동기 부여됩니다. 과학 컴퓨팅이 기존 배정밀도보다 더 적은 비트로 수용 가능한 정확성을 달성하는 숫자 형식을 식별할 수 있다면, 이러한 형식들을 AI 형식과 함께 미래 하드웨어에 구현할 수 있으며, 과학 워크로드가 AI 칩 성능을 주도하는 동일한 제조 진전으로부터 이득을 얻을 수 있도록 보장합니다.
잘못하는 것의 대가
부적절한 수치 정밀도를 과학 컴퓨팅에 적용한 결과는 추상적이지 않습니다. 공학 시뮬레이션은 항공기 구조, 원자로 격납 시스템, 교량 하중 및 제약 분자 상호작용의 설계에 정보를 제공합니다. 그럴듯해 보이지만 수치적으로 잘못된 결과를 반환하는 시뮬레이션은 현실 세계에서 재앙적으로 실패하는 설계로 이어질 수 있습니다.
AI 산업의 저정밀 컴퓨팅에 대한 놀라운 성공은 진정한 성과이지만, 과학 컴퓨팅 커뮤니티가 강조하기를 원하는 영역 특화 주의사항이 함께합니다: 패턴 인식에서 작동하는 것이 자동으로 물리학에서 작동하지는 않습니다. 숫자는 맞아야 하며, 생명이 시뮬레이션의 정확성에 달려있을 때 맞다는 것은 매우 다른 의미입니다.
이 기사는 IEEE Spectrum의 보도를 기반으로 합니다. 원본 기사 읽기.
