사진=BC카드 제공

BC카드가 국내 금융권 최초로 양자화 기술이 적용된 초거대 언어모델(LLM) 18종을 글로벌 AI 플랫폼 허깅페이스에 공개했다고 9일 밝혔다. 이를 통해 AI 기술을 고가 장비 없이도 활용할 수 있는 길이 열리며, 중소기업과 소상공인 등의 디지털 격차 해소에 기여할 전망이다.

이번에 공개된 모델들은 고성능 GPU 없이도 구동 가능한 동적 양자화 기술이 특징이다. 동적 양자화는 AI 모델이 사용하는 수치를 압축해 배포한 뒤 실제 구동 시 복원하는 방식으로, 연산 성능과 효율성을 동시에 높일 수 있다. 

특히 BC카드는 자체 기술력을 바탕으로 정확도 저하 없이 수치 손실을 최소화해 ‘손실률 0%’ 수준의 양자화를 구현했다.

이 기술 덕분에 GPU 사용량이 대폭 줄고 처리 속도가 크게 향상됐다. 실제로 BC카드의 양자화 LLM은 글로벌 기업의 최신 GPU에서 실행한 결과, AI 연산 속도가 최대 3.5배 빨라졌다. 기존에는 4000만 원대 고가 GPU에서만 가능했던 320억 개 파라미터 규모 모델도, 이제는 300만 원대 GPU에서 원활히 구동이 가능해졌다.

업계에서는 이번 기술 공개가 단순한 성능 혁신을 넘어 AI 서비스의 진입 장벽을 낮추는 전환점이 될 것으로 평가한다. 고가 장비 부담으로 AI 도입을 주저하던 중소기업이나 소상공인, 스타트업들도 보다 저비용으로 초거대 AI를 활용할 수 있게 됐기 때문이다.

BC카드는 자사 서비스에도 해당 기술을 적극 활용하고 있다. 현재 AI 에이전트 ‘모아이’를 통해 ▲사내 지식 질의응답 ▲가맹점 심사 자동화 ▲고객 민원 분류·처리 등 내부 업무의 효율화를 꾀하고 있다. 

또한, ‘페이북 AI핫딜’과 ‘리빙+’ 서비스를 통해 개인 맞춤형 마케팅과 생활 콘텐츠 추천 등 AI를 기반으로 결제 기능을 넘어서는 다양한 소비자 서비스를 제공 중이다.

향후 BC카드는 소상공인 가맹점주를 위한 AI 기반 가맹점 추천, 맞춤형 마케팅 캠페인 기획 등의 지원 서비스를 연내 출시할 계획이다. 아울러 AI에 익숙하지 않은 사용자도 쉽게 활용할 수 있도록 MCP 기반 통합 솔루션을 직관적인 인터페이스로 제공할 예정이다.

조명식 BC카드 상무는 “이번 LLM 모델 공개는 고가 장비 없이도 다양한 산업 현장과 금융 업무에서 AI를 효율적으로 적용할 수 있는 기반을 마련한 것”이라며, “앞으로도 누구나 쉽게 활용할 수 있는 AI 기술을 통해 기업과 개인 모두가 혜택을 누릴 수 있는 서비스를 지속적으로 선보이겠다”고 말했다.

BC카드가 이번에 허깅페이스에 공개한 LLM은 구글의 ‘Gemma’(5종), 알리바바의 ‘Qwen3’(4종), ‘Qwen2.5’(7종), 카카오의 ‘카나나 1.5 8B’(2종) 등 총 18종이다. 

허깅페이스는 자연어 처리, 컴퓨터 비전, 음성 인식 등 다양한 AI 모델을 공유·협업할 수 있는 글로벌 플랫폼으로, 전 세계 AI 생태계의 허브 역할을 하고 있다.

[경제엔미디어=박철홍 기자]