[디지털데일리 김보민기자] "인공지능(AI)은 우리 삶을 편리하게 만드는 동시에 보안 환경에서 혁신적 변화를 예고하고 있습니다. 보안에 대한 우려와, 개인정보보호라는 중요 이슈를 다루는 만큼, 심도 있는 대화가 필요한 시점입니다."

전경훈 삼성리서치 사장은 10일 삼성전자 서울R&D캠퍼스에서 열린 '삼성보안기술포럼(SSTF) 2024' 환영사를 통해 이렇게 밝혔다. 챗GPT가 등장한 이후 생성형 AI를 비롯한 차세대 기술에 대한 기대감이 커졌지만, 사이버 공격자 또한 AI를 활용하고 있는 만큼 경각심이 필요하다는 취지다.

이날 SSFT 무대에 오른 국내외 전문가들 또한 공감대를 표했다. '눈에는 눈, 이에는 이'처럼 AI 기술 또한 같은 궤도를 달리고 있다는 점도 강조했다. 알려지지 않은 제로데이 버그를 찾는 것은 물론, 에이전트(agent) 단위에서 명령 하나로 취약점을 알아내는 기술도 본격 성과를 내는 분위기다.

◆ 자동으로 버그 찾고, 보안패치 만들고...결승 진출한 이 팀은?

김태수 삼성리서치 상무는 이날 '생성형 AI 시대, 보안 과제와 기회'를 주제로 발표했다. 김 상무는 "생성형 AI는 전통 소프트웨어가 하지 못했던 일을 예상하지 못한 방식으로 잘 해낼 수 있다"며 "방어 관점에서 피싱 공격을 감지해 알려주는 등 쉽게 이를 활용할 수 있는 서비스도 있다"고 말했다.

다만 일각에서는 엔드 유저 단위를 넘어선 AI 보안 활용법이 필요하다는 목소리가 나온다. 최근 해외뿐만 아니라 국내에서도 개발자 단위에서 코드 인풋(input)을 활용해 AI 보안을 강화하는 작업이 이어지는 이유다.

최근 AI 기술을 활용해 보안 방패를 강화할 수 있다는 사실을 입증한 대표적 사례는 글로벌 해킹시스템 경연대회 'AI 사이버챌린지(AIxCC)'에서 나왔다. 삼성리서치, 조지아텍, 포항공과대(POSTECH), 한국과학기술원(KAIST)이 연합해 출전한 '팀 애틀랜타'는 8월 미국 라스베이거스에서 펼쳐진 준결승을 통과해, 내년 결승 무대에 오른다.

이번 AIxCC 과제는 오픈소스 소프트웨어를 보호하는 새로운 AI 시스템을 설계하는 것으로, 프로그램 취약점을 찾아 수정하는 추론 시스템을 개발하는 것이었다. 사이버 추론 시스템을 기반으로 취약점을 식별한 뒤 패치하는 작업도 이어졌다. 에스큐라이트3(SQLite3), 젠킨스(Jenkins), 리눅스커널(Linux Kernel), 엔진엑스(Nginx) 등 오픈소스 프로그램들에 취약점을 숨겨둔 뒤, 이를 수정하는 방식으로 진행됐다.

팀 애틀랜타의 추론 시스템은 거대언어모델(LLM)을 기반으로 소프트웨어 버그를 감지, 수정한 뒤 인간과 유사한 추론을 통해 이를 자동 수정했다. C/C++, 자바(Java) 등 프로그래밍언어를 지원하는데, 추후 결승에서는 목표 소프트웨어를 늘리고 버그를 찾아 고치는 일을 자동화하는 작업을 구현할 계획이다.

김 상무는 "특별히 자랑스러워하는 것은 (대회) 운영진이 계획하지 않았던 것을 탐지해냈다는 점"이라며 "아무도 생각하지 못했던 제로데이 버그를 찾고 고쳤다"고 부연했다. 끝으로 "전통 소프트웨어 스택에 이를 잘 적용한다면 우리가 상상하지 못한 일을 할 수 있지 않을까 기대감이 크다"고 강조했다.

◆ "오펜시브 보안에 탁월" AI 에이전트, 사람 손길 덜어준다

한편 이날 현장에서는 AI 에이전트에 대한 기술 소개도 이어졌다. AI 에이전트는 인간 개입 없이 다양한 작업을 스스로 하는 AI 시스템으로, 알아서 환경을 인식하고 의사 결정을 내리는 것이 특징이다.

챗GPT가 첫 등장했을 당시만 해도 생성형 AI는 간단한 질문에도 틀린 답을 내리기도 했다. 규모가 큰 숫자를 곱하라고 하면 오답을 주는 방식이었다. 그러나 특정 작업에 특화된 AI 에이전트 기술은 이를 보완할 대안으로 떠오르고 있다.

브렌든 돌란 가빗 미국 뉴욕대학교 컴퓨터공학부 교수는 "최근 더 똑똑하고 역량이 있는 AI 모델이 생기면서 패러다임이 바뀌기 시작했다"며 "문장 기반 대화가 가능해졌고, 이제 인텔리전스 영역에서 본질적인 문제를 해결할 가능성도 포착되고 있다"고 진단했다. 특히 "오펜시브 보안 영역에서 활용성이 높을 것"이라고 전망했다.

가빗 교수는 특정 작업에 특화된 도구(툴)를 생성형 AI에 합친 개념을 유의 깊게 살펴봐야 한다고 강조했다. 그는 "이전에는 언어모델이 좋지 않았기 때문에 틀린 답이 나왔지만, 지금은 추가적은 툴을 끌어들이거나 파이썬 코드 등을 활용해 정확한 답을 출력할 수 있다"고 말했다.

그러나 이러한 방식 또한 환각현상(할루시네이션)과 같은 생성형 AI 단점을 완벽히 막아내지는 못한다. 할루시네이션은 실제 사실과 다른 정보를 마치 '진짜'인 것처럼 알려주는 현상이다. 가빗 교수는 "소프트웨어 보안을 강화하고 프로그램 완벽성을 찾아 취약점을 막아야 하는데, 결국 인간이 굳이 검증하지 않아도 되는 증거인 '익스플로잇(exploit)'을 갖추는 것이 중요하다"고 부연했다.

그 해답으로는 보안 취약점에 코드가 있고, 이를 패턴으로 분석할 필요가 있다는 것이다. 이를 기반으로 AI 에이전트를 운용할 시, 인간보다 더 빠르게 취약점 등을 찾아낼 가능성이 높아진다고 가빗 교수는 설명했다.

일례로 글로벌 해킹대회 CTF(Capture the Flag)에서는 이러한 방법론에 대한 효과가 입증되기도 했다. 가빗 교수는 본인이 속한 XBOW를 통해 104개 CTF 과제를 만들었는데, 인간이 40시간이 걸리는 일을 AI 에이전트가 28분 만에 해냈다고 부연했다. 그는 "중간급 정도 위협요인(리스크)에서 AI 에이전트가 사람보다 일을 잘 해내는 것을 포착했다"고 말했다.

끝으로 가빗 교수는 "조만간 AI 에이전트는 사이버 보안에서 탁월한 역량을 가지게 될 것이고, 특히 오펜시브 보안 영역에서 역량을 발휘할 것"이라고 언급했다.