컴퓨팅을 더 빠르게 만드는 획기적인 동시 및 이기종 멀티스레딩 기술

Apple와 Google과 같은 기술 대기업의 모든 신제품이 배터리 수명 소수점 증가, 제조업체가 아직 최적의 수율을 내지 못한 프로세서의 나노미터 감소, 혹은 몇 메가픽셀 추가와 같은 점진적인 개선을 특징으로 한다고 해도, 다음과 같은 질문이 제기됩니다: 이러한 소폭 향상이 과연 충분한가? 더 많은 하드웨어를 추가하는 것이 해결책일까?

하지만 캘리포니아 대학교 리버사이드 캠퍼스(UCR) 전기·컴퓨터공학과의 정홍위 부교수는 그렇지 않다고 말합니다:

이미 프로세서가 존재하므로 새로운 프로세서를 추가할 필요가 없습니다.

정 교수와 연구팀은 병렬 처리를 위한 새로운 소프트웨어 프레임워크를 개발했습니다 Simultaneous and Heterogeneous Multi-threading (SHMT)이라고 불리는 프레임워크를 만들었습니다. 초기 결과에 따르면 SHMT는 현재 개인용 컴퓨터, 휴대폰 및 기타 장치의 프로세서에 내재된 잠재 능력을 활용하여 처리 속도를 크게 향상하고 전력 소비를 감소시킬 것으로 기대됩니다.

기술 커뮤니티에서 ‘획기적’이라고 평가받는 SHMT는 데이터 흐름 병목 현상을 제거하고 다수의 처리 유닛이 원활하게 협업하도록 목표합니다. 이 혁신은 개인 전자기기뿐만 아니라 데이터 센터 및 기타 대규모 병렬 컴퓨팅에도 영향을 미칠 수 있습니다.

고급 광자 기술이 더 나은 스마트폰을 만드는 데 어떻게 기여하는지 알아보려면 여기를 클릭하세요.

병목 현상 해소

동시 및 이기종 멀티스레딩으로 달성할 수 있는 전체 가능성을 탐구하기 전에, 현재 컴퓨팅 시스템의 한계를 먼저 이해해 보겠습니다.

대부분의 장치에서는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 텐서 처리 장치(TPU)와 같은 다양한 구성 요소가 정보를 별도로 처리합니다. 데이터가 한 처리 유닛에서 다른 유닛으로 전달될 때, 종종 전체 시스템 성능을 저해하는 ‘병목 현상’이 발생합니다.

전통적인 프로그래밍 모델은 일반적으로 작업을 단일 유형의 프로세서에 할당하여 다른 자원을 유휴 상태이거나 활용도가 낮게 만들기 때문에 이 문제가 더욱 악화됩니다. 이러한 관찰을 반영하여 Kuan-Chieh Hsu와 Hung-Wei Tseng이 저술한 연구 논문 ‘Simultaneous and Heterogeneous Multi-threading’은 다음과 같이 말합니다:

기존의 프로그래밍 모델은 각 코드 영역에 가장 효율적인 처리 유닛만을 사용하도록 초점을 맞추어, 이기종 컴퓨터 내의 처리 능력을 충분히 활용하지 못합니다.

SHMT는 컴퓨팅 시스템 내 여러 구성 요소의 다양성을 활용함으로써 이 접근 방식에서 벗어납니다. 이러한 개념을 이기종성이라고 합니다. 계산 기능을 분해하고 사용 가능한 처리 유닛에 분배함으로써 SHMT는 진정한 병렬 처리를 가능하게 합니다.

계산 기능을 여러 처리 유닛에 분해하고 분배하는 이 접근 방식은 사용 가능한 자원의 활용도를 극대화하여 성능을 향상하고 에너지를 절감합니다. 연구 논문은 전통적인 프로그래밍 모델이 “코드 영역을 오직 하나의 프로세서에만 할당할 수 있어 다른 컴퓨팅 자원을 유휴 상태로 두고 현재 기능에 기여하지 못한다”고 지적하며 그 한계를 추가로 분석합니다.

반면 SHMT는 각 처리 유닛의 고유한 역량과 공유 코드 영역에서의 협업을 활용하여 이러한 제약에서 벗어나고자 합니다. 저자들은 또한 현대 컴퓨팅 기술이 여러 유형의 처리 유닛과 하드웨어 가속기를 통합하고 있기 때문에 명백히 이기종적이라고 지적합니다. 따라서 이러한 다양한 구성 요소의 힘을 효과적으로 활용할 수 있는 프로그래밍 모델이 필요하며, 바로 SHMT가 목표로 하는 바입니다.

따라서 SHMT는 기존 컴퓨팅의 병목 현상을 해결함으로써 더 빠르고 효율적인 컴퓨팅을 위한 길을 열어줍니다.

동시 및 이기종 멀티스레딩 기술은 어떻게 작동하나요?

분명히, 다양한 하드웨어 구성 요소 간에 컴퓨팅 작업을 효율적으로 관리하고 분배하는 것이 SHMT의 기본 원리입니다.

이 프레임워크는 CPU 애플리케이션의 작업을 가상 하드웨어 장치로 오프로드하도록 돕는 가상 연산(VOPs) 컬렉션을 포함합니다. 연구에 따르면 “가상 연산(VOPs) 집합은 CPU 프로그램이 기능을 가상 하드웨어 장치에 ‘오프로드’하도록 허용합니다.” 이러한 VOPs는 프로그램과 하드웨어 사이에 장벽을 만들어 통신 및 작업 위임을 중재합니다.

런타임 시스템은 각 하드웨어 자원의 능력을 평가하고 애플리케이션 실행 중에 지능적인 스케줄링 결정을 내려 성능을 최적화합니다. 연구에 따르면 “프로그램 실행 중에 런타임 시스템은 동시 및 이기종 멀티스레딩의 가상 하드웨어를 구동하며, 하드웨어 자원의 스케줄링 결정 능력을 측정합니다.” SHMT는 자원 효율성을 극대화하고 작업별 요구에 맞추기 위해 하드웨어 능력을 동적으로 평가합니다.

런타임 시스템은 VOPs를 고수준 연산(HLOPs)으로 분해하여 다양한 하드웨어 작업 큐에 배분합니다. 연구에 따르면 “런타임 시스템은 VOPs를 하나 이상의 고수준 연산(HLOPs)으로 나누어 여러 하드웨어 자원을 동시에 활용합니다.” VOPs를 HLOPs로 분해함으로써 작업 할당에 대한 세밀한 제어와 각 처리 유닛의 최대 활용을 달성합니다.

SHMT 스케줄링 정책은 품질 인식 워크 스틸링(QAWS) 방식을 활용하여 효율적인 자원 활용과 다양한 워크로드를 보장합니다. 연구에 따르면 “SHMT는 자원을 독점하지 않으면서 품질 관리와 워크로드 균형을 유지하도록 돕는 품질 인식 워크 스틸링(QAWS) 스케줄링 정책을 사용합니다.” 이 접근 방식은 시스템 전반에 작업을 효과적으로 분배할 뿐만 아니라 어느 처리 유닛도 자원을 독점하는 것을 방지합니다.

SHMT가 품질을 희생하지 않고 성능을 극대화하려면 QAWS 스케줄링 정책이 필요합니다. 연구에서는 “SHMT는 큰 오버헤드 없이 결과를 보장해야 한다”라고 명시합니다. 이기종 처리 유닛의 출력이 정확하고 일관되도록 보장하기 위해 SHMT는 스케줄링에 품질 관리 기술을 통합합니다.

SHMT가 각 하드웨어의 특정 기능을 활용할 수 있다는 점은 큰 장점입니다. 연구에서는 “SHMT는 동일한 기능의 계산을 여러 종류의 컴퓨팅 자원으로 분할하고 동시에 이기종 병렬성을 활용할 수 있다”라고 언급합니다. SHMT는 이기종 시스템에서 병렬성을 활용하여 여러 프로세서 유닛에 작업을 동시에 실행함으로써 성능을 크게 향상시킵니다.

SHMT의 또 다른 유연하고 적응적인 측면은 런타임 시스템입니다. 연구에 따르면 “HLOPs는 하드웨어에 독립적이므로 런타임 시스템은 필요에 따라 작업 할당을 조정할 수 있다”고 합니다. 이러한 적응성 덕분에 SHMT는 하드웨어 가용성이나 워크로드 요구의 변화에 실시간으로 대응하여 시스템을 최적 효율과 성능으로 유지합니다.

전반적으로 이 연구는 SHMT가 어떻게 작동하는지 이해하기 위한 모든 필수 단계를 제시하고, 이기종 컴퓨팅 환경에서 놀라운 효율성과 효과성을 달성하게 하는 핵심 요소와 프로세스에 주목합니다. VOPs, HLOPs, QAWS 스케줄링 전략을 활용해 병렬 처리를 혁신하는 SHMT 덕분에 효율적이고 강력한 컴퓨팅의 새로운 시대가 다가오고 있습니다.

프로토타입 초기 테스트에서의 긍정적 결과

SHMT가 작동함을 입증하기 위해 UCR 연구진은 최신 스마트폰에 사용되는 부품을 활용하여 데이터 센터 수준의 기능을 모방한 프로토타입 시스템에 대한 엄격한 테스트를 수행했습니다. 이 프로토타입은 시스템의 M.2 Key E 슬롯을 통해 통합된 Google Edge TPU, 쿼드코어 ARM Cortex-A57 프로세서를 갖춘 NVIDIA Jetson Nano 모듈, 그리고 128개의 Maxwell 아키텍처 GPU 코어를 포함했습니다.

다양한 워크로드 상황에서 SHMT 프레임워크의 성능을 평가하기 위해 연구진은 프로토타입을 여러 벤치마크 프로그램에 적용했습니다. 결과는 인상적이었습니다: 최고 성능을 보인 QAWS 전략은 에너지 사용량을 51% 감소시켰을 뿐만 아니라 기본 기법에 비해 처리 성능을 1.95배 향상시켰습니다.

이 결과는 SHMT가 다양한 장치와 소프트웨어 애플리케이션 전반에 걸쳐 처리 성능과 에너지 효율성을 크게 향상시킬 잠재력을 강조합니다. SHMT는 새로운 하드웨어에 큰 비용을 들이지 않고도 모든 자원을 보다 효율적으로 활용함으로써 현재 시스템을 최대한 활용할 수 있음을 보여주었습니다.

점점 더 빠르고 효율적인 컴퓨팅에 대한 요구가 증가함에 따라 동시 및 이기종 멀티스레딩과 같은 혁신은 기술의 미래 방향을 형성하는 데 점점 더 중요해질 것입니다. UCR 연구팀의 작업은 디지털 세계의 역동적인 요구에 적응할 수 있는 장기적이고 고성능의 컴퓨팅 솔루션을 찾는 것이 그 어느 때보다 쉬워졌음을 명확히 보여줍니다.

동시 및 이기종 멀티스레딩의 함의와 향후 방향

SHMT의 개발 및 테스트는 컴퓨팅 미래에 대한 깊은 변화를 의미합니다. 기존 하드웨어를 활용하여 상당한 성능 향상과 에너지 절감을 제공함으로써 여러 응용 분야에서 컴퓨팅 장치 설계와 사용 방식을 혁신할 잠재력을 가지고 있습니다.

SHMT가 널리 채택됨에 따라 소비자는 비용이 많이 드는 하드웨어 업그레이드를 피하고 더 빠르고 반응성이 뛰어난 모바일 기기, 태블릿, 노트북 및 데스크톱을 즐길 수 있게 될 것입니다. 이로 인해 더 많은 사람들이 고성능 컴퓨터를 구매하고 이용할 수 있게 되어 디지털 격차를 해소하는 데 도움이 될 것입니다.

데이터 센터 및 기타 대규모 컴퓨팅 시스템도 성능을 희생하지 않으면서 비용과 에너지 사용을 절감하기 위한 필수 도구로 SHMT를 활용할 수 있습니다. 또한 SHMT와 같은 에너지 효율 및 지속 가능성을 촉진하는 혁신은 기술의 환경적 영향에 대한 우려가 커짐에 따라 더욱 중요한 역할을 차지하게 될 것입니다.

최선을 다했음에도 불구하고 UCR 연구팀은 여전히 극복해야 할 과제와 향후 추가 연구 및 발전의 기회가 존재한다는 점을 인식하고 있습니다. 소프트웨어 엔지니어와 하드웨어 제조업체는 SHMT를 대규모로 구현하기 위해 긴밀히 협력해야 합니다. 이를 통해 모든 장치와 플랫폼에서 기술이 원활히 작동하도록 보장할 수 있습니다. 그러나 이 혁신적인 기술을 활용하기에 가장 적합한 애플리케이션과 워크로드를 파악하기 위해서는 추가 연구가 필요합니다.

이러한 과제에도 불구하고 학계와 기업 모두 SHMT의 유망한 초기 결과에 주목하고 있습니다. 연구가 진행되고 협력이 구축됨에 따라 이 획기적인 기술이 컴퓨터 산업을 변화시킬 가능성이 점점 더 매력적으로 다가오고 있습니다.

다른 많은 뛰어난 아이디어와 마찬가지로 동시 및 이기종 멀티스레딩은 상식적인 발상처럼 보이지만, 세부 사항에 문제가 있습니다. CPU와 GPU 간의 공유 캐시 아이디어는 흥미롭지만, 이는 하드웨어 아키텍처의 전면적인 개편을 필요로 할 가능성이 높습니다.

이는 현재의 x86-64 아키텍처에서 벗어나야 하며, 공유 L3 또는 L4 캐시를 갖춘 새로운 프로세서 아키텍처 개발이 필요합니다. 결과적으로 CPU의 복잡성이 증가하고 공유 캐시에서 얻는 이점을 상쇄할 수도 있습니다.

게다가 캐시 메모리는 일반적으로 시스템 RAM에 비해 매우 작으며, 대용량 고대역폭 메모리를 필요로 하는 GPU 애플리케이션에 적합하지 않습니다. 그러나 유니버설 메모리와 같은 발전이 이러한 문제를 해결할 수 있습니다. SHMT에 대한 연구가 지속됨에 따라 이 혁신적인 기술이 어떻게 발전하고 병렬 처리 및 이기종 컴퓨팅의 미래에 어떤 영향을 미칠지 기대됩니다.