<디지털데일리>가 주최하는 [AI WAVE 2024]가 오는 5월 9일, 서울 롯데호텔의 사파이어 볼룸에서 열립니다. 이번 행사의 주제는 ‘산업별 AI 혁신과 도전과제’로, 인공지능 기술이 여러 산업 분야에 미치는 영향과 이로 인한 시장 변화를 심도 깊게 다룰 예정으로 <디지털데일리>는 행사에 앞서 AI 기술의 현 주소와 각 산업별 도입 사례 등을 조망하는 기획기사를 연재합니다.<편집자>

[디지털데일리 고성현 기자] 인공지능(AI) 시대가 본격적인 막을 올리면서, 이를 구현하기 위한 데이터센터의 총소유비용(TCO) 절감이 업계 최대 과제로 부상했다. 막대한 칩 구매 가격과 전력 소모량 등 유지비용이 AI 대중화의 걸림돌이 되고 있어서다. 이에 따라 비용 절감·성능 혁신을 함께 구현하는 차세대 시스템 개발이 확대되고 있다.

반도체, 데이터센터 업계는 AI 서비스 구현에 최적화된 주문형반도체(ASIC)를 개발하는 한편, 차세대 데이터 연결 표준인 컴퓨트익스프레스링크(CXL)를 적용해 저변을 넓혀갈 계획이다.

데이터센터에서 AI를 구현하는 영역은 두가지로 구분된다. 첫째는 막대한 데이터를 알고리즘으로 지식을 습득해 AI 모델을 만드는 학습(Learning), 둘째는 학습한 모델을 통해 입력된 기능을 구현하는 추론(Inference)이다. 초거대언어모델(LLM) 등을 구축하는 과정이 학습에 해당하며, 이를 기반으로 챗봇·통화 번역·금융 등 각종 서비스를 구현하는 것이 추론에 해당한다.

현재 AI 학습·추론용 칩 시장을 주도하는 기업은 엔비디아다. 데이터를 병렬 처리하는 그래픽처리장치(GPU)의 성능과 특성, 자체 개발자 소프트웨어 쿠다(CUDA)의 넓은 범용성이 밑바탕이 됐다. 특히 막대한 데이터 처리를 요구하는 학습 분야에서는 압도적인 시장 점유율을 유지하는 모양새다.

최근에는 사정이 달라졌다. 엔비디아의 AI GPU 가격이 천정부지로 솟은 데다 고전력을 요하는 GPU 특성 탓에 데이터센터 유지비용까지 막대하게 높아진 탓이다. 특히 추론 분야는 학습 분야 대비 데이터량이 적고 특화된 칩이 요구돼, 고비용·고전력인 AI용 GPU을 대체하려는 움직임이 두드러지게 나타나고 있다.

이미 주요 하이퍼스케일 기업들은 자체 ASIC 개발을 활발히 추진 중이다. 구글은 AI 전용 칩인 텐서처리장치(TPU)를 지속 개발하며 추론에 이어 학습용 칩까지 범위를 넓히고 있으며, 마이크로소프트(MS)도 '애저 마이아'를 출시하는 한편 추론 전용칩 '아테나'를 개발하고 있다. 아마존웹서비스(AWS)는 학습용 칩 '트레이니움'을 2세대까지 출시했고, 추론용 칩 '인퍼런시아'의 차세대 제품을 개발 중이다.

AI 추론용 칩 시장을 진입하기 위한 반도체 업계의 칩 개발도 눈에 띈다. 인텔이 추론·학습용 칩 '가우디3'를 개발하며 관련 시장 진입을 노리고 있고, AMD도 MI300 등이 일부 성과를 얻었다. 삼성전자 역시 네이버와 협력해 추론용 AI칩 '마하1' 개발에 뛰어든 상황이다. 이밖에 텐스토렌트·그록·세레브라스 등 북미 스타트업과 리벨리온·퓨리오사AI·사피온 등 국내 스타트업이 관련 시장에 진입을 노리고 있다.

AI칩 개발이 확대되면서 관련 시장도 성장할 전망이다. 글로벌 시장조사업체 가트너는 올해 439억달러 수준인 글로벌 AI칩 시장이 2030년에 1179억달러까지 확대될 것으로 예상했다.

반도체 업계 관계자는 "높은 데이터센터 유지비를 줄이기 위해 신경망처리장치(NPU)를 비롯한 칩 채용이 늘어날 전망"이라며 "하이퍼스케일이 자체 제작한 ASIC은 핵심 기능 영역에 사용되고, 외부 칩 업체의 제품은 그 외 기능에 탑재되며 고루 성장할 것으로 보고 있다"고 말했다.

장기적으로는 차세대 인터페이스 표준인 CXL이 AI 데이터센터로 저변을 확대할 전망이다. 여러 단계를 거쳤던 데이터 통신 방식이 일원화되며 처리속도가 높아지고, 불필요한 부품을 줄여 원가 경쟁력도 확보할 수 있어서다.

CXL는 프로세서와 장치 간 연결하는 방식에 대한 규약(Protocal)이다. 메모리 물리적 한계 극복·용량 확장(Pooliing)을 비롯, 장치 간 데이터 통신 지연을 없애고 정보를 공유해 처리 성능을 혁신하는 것이 핵심이다. 현재는 메모리 용량을 유휴 영역 없이 사용하는 단계인 CXL 2.0 버전이 확대되고 있으며, 차후에는 여러 장치 간 캐시 일관성(Coherence)을 갖춰 특정 프로세서 과부하를 없앤 3.0, 3.1 버전이 적용될 전망이다.

CXL 2.0을 주도하는 기업은 미국 인텔이다. CXL을 지원하는 서버용 프로세서 제온6 출시를 앞두고 있다. 메모리 기업인 삼성전자와 SK하이닉스 역시 이에 맞춘 CXL 메모리 모듈을 개발, 상용화를 추진 중이다.

국내 스타트업인 파네시아는 CXL 3.0·3.1 저변 확대를 위한 종단간 솔루션 'CXL 3.1 올인원 프레임워크' 프로모션에 나섰다. 메모리 풀링 기능에 한정된 2.0에서 데이터 공유를 구현, 대규모 데이터 처리 속도를 획기적으로 높였다. 이와 관련, 회사는 지난달 30일부터 1일(현지시간)까지 미국 캘리포니아주 산타클라라에서 열린 '제1회 CXL 컨소시엄 개발자 컨퍼런스 2024(CXL DevCon 2024)'에 참가해 CXL 상호 운용성 검증 시연과 솔루션 공개에 나섰다.