ETRI, 초대형 AI 학습 ‘메모리 부족’ 해법 제시

GPU 메모리 한계 해소 ‘옴니익스텐드’ 공개…AI·데이터센터 인프라 적용 가능성 검증

▲ ETRI 연구진이 서버와 메모리 노드를 이더넷으로 연결한 메모리 확장 시스템의 동작을 점검하는 모습. ⓒETRI

국내 연구진이 초대형 인공지능(AI) 학습 과정에서 반복적으로 제기돼 온 ‘메모리 부족’ 문제를 완화할 수 있는 이더넷 기반 메모리 확장 기술을 개발했다.

AI 모델 대형화와 함께 급증하는 데이터 처리 수요에 대응할 수 있는 인프라 기술로 주목된다.

한국전자통신연구원(ETRI, 이하 ETRI)은 초대형 AI 학습에서 병목으로 작용해 온 GPU 메모리 한계를 해결하기 위해 이더넷 기반 메모리 확장 기술 ‘옴니익스텐드(OmniXtend)’를 개발했다고 밝혔다.

이 기술은 여러 서버와 가속기 장비에 분산된 메모리를 네트워크로 연결해 하나의 대용량 메모리처럼 공유하는 구조가 특징이다.

최근 대규모 언어 모델(LLM)을 비롯한 초대형 AI와 고성능 컴퓨팅(HPC) 수요가 늘어나면서 연산 성능 향상과 별개로 메모리 용량과 데이터 이동 한계로 인한 이른바 ‘메모리 장벽(memory wall)’ 문제가 지속적으로 제기돼 왔다.

ETRI는 표준 네트워크 기술인 이더넷을 활용해 이러한 구조적 한계를 완화하는 방안을 제시했다.

옴니익스텐드는 기존 장비별로 분리돼 있던 메모리를 네트워크 전반에서 풀(pool) 형태로 공유할 수 있도록 설계됐다.

이를 통해 서버 교체 없이도 메모리 확장이 가능해 데이터센터 구축·운영 비용을 줄일 수 있고 데이터 이동 지연을 줄여 AI 학습 효율 향상도 기대할 수 있다는 설명이다.

ETRI 연구진은 FPGA 기반 메모리 확장 노드와 이더넷 기반 메모리 전송 엔진 등 핵심 요소기술을 개발해 시스템 안정성을 검증했다.

실제 시연에서는 이더넷 환경에서 다수 장비가 하나의 메모리 풀을 구성하고 서로의 메모리에 실시간 접근하는 과정을 구현했다. LLM을 활용한 연산 부하 테스트에서도 메모리 확장 적용 시 추론 성능이 두 배 이상 회복되는 결과를 확인했다.

연구진은 기존 PCIe 기반 구조가 연결 거리와 확장성에서 제약이 있었던 반면, 이더넷 스위치를 활용한 옴니익스텐드는 물리적으로 분산된 장비를 하나의 메모리 풀로 묶을 수 있어 초대규모 AI 환경에 적합하다고 설명했다.

ETRI는 해당 기술을 지난해 유럽과 북미에서 열린 RISC-V 관련 국제 행사에서 공개했으며 리눅스 재단 산하 칩스 얼라이언스(CHIPS Alliance) 인터커넥트 워킹 그룹 활동을 통해 오픈소스 표준화 논의에도 참여하고 있다.

향후 ETRI는 데이터센터 하드웨어·소프트웨어 기업을 중심으로 기술이전을 추진해 상용화를 도모할 계획이다.

AI 학습·추론용 서버와 메모리 확장 장치, 네트워크 스위치 등에 적용하는 방안을 검토하는 한편, 차량·선박 등 고신뢰 임베디드 시스템과 이종 가속기 간 메모리 공유 구조로의 확장 연구도 이어갈 예정이다.

김강호 ETRI 초성능컴퓨팅연구본부장은 “NPU와 가속기 중심의 메모리 인터커넥트 기술 연구를 확대해 차세대 AI 시스템에 적용 가능한 구조로 고도화할 계획”이라며 “국제 협력을 통해 기술 성숙도를 높이겠다”고 말했다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 ‘메모리 중심 차세대 컴퓨팅 시스템 구조 연구’ 과제의 일환으로 수행됐다.