인공지능(AI)이 구동되는 과정에는 엄청난 전력 에너지와 고성능 컴퓨팅 파워가 필요하다. 이런 시스템의 집약체인 데이터센터를 통해 AI 모델은 훈련되고 운영된다. 2023년부터 전 세계가 챗GPT를 비롯한 AI 서비스에 열광하면서 데이터센터 공급은 수요에 비해 부족해졌다. 처음 수백MW(메가와트) 규모였던 데이터센터는 이제 1GW(기가와트)를 넘는다. 여러 데이터센터를 합쳐 10GW까지 확장하는 계획도 나오고 있다.

데이터센터를 기반으로 운영되는 AI 서비스는 비싼 데다, 개인정보 유출 가능성이 크다는 단점이 있다. 이에 데이터센터를 거치지 않고 개인용 컴퓨터(PC)나 스마트폰에 내장된 칩이 AI 연산을 직접 처리하는 ‘온디바이스(On Device) AI’에 대한 관심이 커지는 상황이다. 이미 테슬라의 자율주행차에서는 차량에 내장된 AI 칩 ‘풀 셀프 드라이빙(FSD) 컴퓨터’를 통해 AI 기능이 작동하고 있다. 

최근 삼성전자 갤럭시 스마트폰에도 퀄컴의 모바일 SoC(System on Chip) ‘스냅드래곤’이나 삼성전자의 모바일 애플리케이션 프로세서(AP) ‘엑시노스’가 탑재되고 있다. 아이폰17에는 애플이 설계한 칩 ‘A19’가 들어간다. 모두 기기의 AI 기능을 운영하는 칩들이다.

최근 PC에 AI 비서 ‘오픈클로(Openclaw)’를 설치해 컴퓨터 내 파일을 알아서 정리하거나 이메일을 분류하게 하는 서비스가 주목받고 있다. 이 서비스를 잘 실행할 수 있는 컴퓨터로 애플 실리콘 기반의 ‘맥 미니(Mac Mini)’가 인기다. 컴퓨터 내에서 AI 비서를 실행하려면 컴퓨팅 자원이 필요한데, 맥 미니가 적은 전력으로 AI 비서를 운영하는 데 최적화돼 있기 때문이다. 

챗GPT 같은 생성형 AI 서비스를 이용하려면 매달 구독료를 내야 한다. 하지만 온디바이스 AI 서비스는 AI 모델을 운영하는 칩을 내장한 기기를 한번 사기만 하면 매달 추가 요금 없이 이용할 수 있다. 대다수 생성형 AI 서비스 구독료가 매월 20달러(약 2만9000원)부터 많게는 200달러(약 29만 원)까지로 비싸다는 점을 고려하면 온디바이스 AI는 합리적인 선택일 수 있다.

온디바이스 AI는 개인정보 유출에 대한 사용자의 불안감을 낮추기도 한다. 데이터센터를 기반으로 작동하는 AI를 사용하다 보면 AI가 나에 대해 많은 것을 알게 될수록 더 많은 나의 개인정보가 데이터센터로 전송된다는 사실이 걱정스러워진다. 내 직업과 업무, 나이, 거주지, 연봉, 재산 수준, 가족 등 정보가 데이터센터로 흘러들어간다. 하지만 온디바이스 AI는 내가 소유한 기기 안에만 개인정보가 저장되기 때문에 상대적으로 개인정보가 유출될 가능성이 적다. 내 PC 속 파일이나 데이터에 AI가 접근해 조작할 수 있는 AI 비서가 발전할수록 정보 유출 우려는 더욱 커진다. 온디바이스 AI의 중요성이 강조될 수밖에 없는 이유다.