구글이 저전력 환경에서도 작동 가능한 초소형 인공지능(AI) 모델 '젬마3 270M'을 출시했다.

2억7천만 개 파라미터로 구성된 이 모델은 스마트폰, 태블릿, 소형 가전 등에서도 무리 없이 실행 가능하며 각 업무에 따라 빠르고 저렴하게 조정할 수 있는 것이 강점이다.

17일 실리콘앵글 등 외신에 따르면 구글은 젬마3 270M을 AI 오픈소스 플랫폼인 허깅페이스를 통해 공개했다. 

젬마3 270M은 작업별 미세 조정을 위해 설계된 경량 AI 모델로 강력한 지침 따르기(instruction following)와 텍스트 구조화 기능을 갖추고 훈련된 것이 특징이다. 

총 2억7천만 개의 매개변수 중 약 1억7천만 개는 임베딩 파라미터이며 나머지 1억 개는 트랜스포머 블록으로 구성돼 있다. 이같은 구조는 크기 대비 성능 효율이 뛰어나며 특정 업무 목적에 맞춰 빠르게 훈련할 수 있도록 설계됐다.

이 모델의 가장 큰 장점은 경량성과 에너지 효율성이다. 구글 딥마인드의 엔지니어 오마르 산세비에로는 "이 모델은 토스터에서도 작동할 수 있다"고 X(구 트위터)를 통해 소개했다. 

실제로 젬마3 270M은 고성능 GPU나 클라우드 연결이 필요 없는 라즈베리 파이 같은 초소형 컴퓨터나 저사양 임베디드 기기에서도 원활히 작동한다는 것이 구글 측의 설명이다. 

성능 면에서도 높은 완성도를 보여줬다. 구글에 따르면 젬마3 270M의 지시 기반 추가 학습(instruction tuning) 버전은 AI 성능 벤치마크인 IFeval에서 51.2%의 정확도를 기록했다. 이는 동급 초경량 모델 중에서도 우수한 수준이며 일부 10억 개 이상의 파라미터를 가진 대형 모델과 비교해도 뒤지지 않는 결과다.

구글은 지시 기반 추가 학습 기반의 AI가 실제 산업 현장에서도 성과를 내고 있다고 설명했다. 대표 사례로 SK텔레콤과 AI 스타트업 어댑티브 ML(Adaptive ML)이 공동 수행한 프로젝트를 들었다. 

SK텔레콤은 다국어로 구성된 콘텐츠를 정밀하게 관리해야 하는 과제를 안고 있었고 이를 해결하기 위해 대규모 범용 모델이 아닌 구글의 40억 파라미터 모델인 '젬마3 4B'를 특정 업무에 맞춰 미세 조정했다. 

그 결과 해당 모델은 SK텔레콤이 기존에 운용하던 더 큰 자체 모델보다 특정 작업에서 더 뛰어난 성능을 보였으며 처리 효율성과 정확도 모두에서 높은 평가를 받았다.

구글은 젬마3 270M을 개발자들이 손쉽게 사용할 수 있도록 다양한 도구와 함께 공개했다. 관련 문서와 파인튜닝 레시피도 함께 제공돼 개발자들은 자신의 환경이나 요구사항에 맞춰 모델을 직접 조정하거나 응용할 수 있다.

전력 소모 측면에서도 실질적인 활용 가능성을 보여줬다. 구글의 내부 테스트 결과에 따르면 INT4 양자화 된 젬마3 270M을 픽셀9 프로 스마트폰에 설치해 25회 이상 대화형 AI를 실행한 결과 배터리 소모는 0.75%에 불과했다. 배터리 수명에 민감한 모바일 환경이나,제한된 전력을 사용하는 사물인터넷(IoT) 기기에서도 효율적으로 구동될 수 있다는 점을 시사한다.