2022년 말 등장한 챗GPT는 인공지능(AI)의 활용 방식을 근본적으로 바꿔놓았다. 이에 따라 AI는 더 이상 일부 기업의 연구 실험실에서 시험되던 기술이 아니라 누구나 일상적으로 사용하는 도구로 빠르게 자리 잡았다. 문서 작성과 고객 응대를 넘어 이제는 의사결정 과정과 운영 전략 수립에도 AI가 활용되는 단계에 이르렀다. 그렇다면 기업이 진정한 의미의 AX를 실현하려면 무엇이 달라져야 할까. 기술 도입을 넘어 데이터 체계와 인프라, 조직 운영 방식까지 재구성하는 전환은 어떻게 가능할까. AX를 이루기 위한 과제와 조건, 그리고 이를 뒷받침하기 위한 관련 업계의 움직임을 짚어본다.
AI 도입 늘었지만…전사적 AX는 ‘제자리 걸음’
‘AI 전환(AX, AI Transformation)’은 단순히 AI를 도입하는 수준을 넘어 이를 중심에 두고 조직의 운영 체계를 재설계하겠다는 움직임을 일컫는다. AX는 기존의 ‘디지털 전환(DX, Digital Transformation)’과도 결이 다르다. DX가 업무 프로세스를 시스템화하고 효율화하는 데 초점을 맞췄다면 AX는 판단과 실행의 구조 자체를 AI 기반으로 재편하는 데 방점이 찍혀 있다. 이런 움직임 속에 산업 전반의 AI 도입 사례도 빠르게 늘고 있다. 제조업은 설비 이상 탐지와 품질 검사 자동화, 생산 스케줄 최적화 등 공정 단계에 AI를 접목하고 있으며 금융권은 대출 심사 고도화와 이상 거래 탐지, 내부 문서 자동화 등 업무 효율 개선에 무게를 두고 있다. 유통·물류 기업 역시 수요 예측 모델과 재고 관리 시스템, 배송 경로 최적화 알고리즘 등을 도입하며 운영 효율을 끌어올리는 방향으로 AI 활용 범위를 넓히고 있다. 다만 이러한 확산이 곧바로 전사 차원의 AX로 이어지고 있는 것은 아니라는 평가도 나온다. 상당수 기업이 AI를 특정 기능이나 부서 단위에 접목하는 데 그치고 있다는 의견이다.
일례로 보스턴컨설팅그룹(BCG)이 2024년 발표한 조사에 따르면 전 세계 기업의 78%가 최소 한 가지 이상의 비즈니스 기능에 AI를 도입했다고 응답했다. 다만 AI를 통해 ‘상당한 비즈니스 가치’를 창출했다고 답한 기업은 4%에 불과했다. 또 다른 분석에서는 AI 도입 기업의 74%가 가치 창출과 이를 조직 전반으로 확장하는 과정에서 어려움을 겪고 있다고 밝혔다. 맥킨지가 2025년 공개한 보고서에서도 AI를 실험 단계를 넘어 전사적으로 확장했다고 응답한 기업은 20%대 초반 수준에 머물렀다. AI 도입 자체는 빠르게 늘고 있지만, 이를 기업 전반의 AX로 연결하는 과정에는 여전히 높은 장벽이 존재한다는 의미다. 그렇다면 이러한 간극은 어디에서 비롯되는 것일까. 핵심은 AX가 단순한 기술 도입의 문제가 아니라 기업의 운영 구조 전반을 재구성하는 과제라는 데 있다. 특정 업무에 AI를 적용해 성과를 내는 것과 조직의 의사결정·권한·책임 체계를 AI 중심으로 재설계하는 일은 차원이 다른 문제다. 예컨대 생성형 AI를 고객센터에 도입해 상담 응답 시간을 단축하고 반복 문의를 자동 처리하는 것은 분명 의미 있는 AI 활용 사례다. 제조 현장에서 불량 검출에 AI를 적용하는 경우도 마찬가지다. 사람이 육안에 의존하던 공정을 자동화함으로써 검사 속도를 높이고 미세 결함을 조기에 발견해 불량률을 낮출 수 있기 때문이다. 다만 데이터 수집과 정제, 모델 학습과 배포, 성능 모니터링과 재학습으로 이어지는 전 주기 체계를 설계하는 일은 다르다. 이보다 더 나아가 그 결과를 실제 의사결정과 업무 프로세스에 반영하도록 재조정해야 한다는 점에서 이는 단순한 시스템 도입을 넘어선다. �“AX 이전의 숙제…기초적인 DX부터 안돼”
이 지점에서 확인해야 할 것이 기업의 준비 수준이다. 업계에 따르면 상당수 기업은 AX에 앞서 선행돼야 할 DX조차 완전히 마무리하지 못한 상태에 머물러 있다. 데이터가 부서별로 분절됐고 통합과 표준화가 충분히 이뤄지지 않아 “데이터는 많은데 정작 활용 가능한 데이터는 없다”는 상황도 적지 않다. 여기에 모델 학습을 추진하려 해도 고품질 데이터가 부족하고 사전 학습이나 파인튜닝을 수행할 인프라와 운영 환경 역시 충분히 갖춰지지 않은 경우가 많다는 지적이 따른다. 결국 성과를 가로막는 요인은 개별 기술의 한계라기보다 이를 지탱할 체계와 기반의 문제라는 분석으로 이어진다. 이 같은 한계는 제조업 비중이 높은 국내 산업 구조에서 더욱 선명하게 드러난다. 공장 환경은 일반적인 IT 인프라와 달리 폐쇄망으로 운영되는 경우가 많고 설비마다 데이터 포맷도 제각각이다. 시계열 데이터와 이미지, 로그 데이터가 뒤섞여 축적됐지만, 이를 학습에 곧바로 활용할 수 있도록 정제·표준화한 체계는 충분히 갖춰지지 않은 경우가 적지 않다.
이러한 환경은 모델의 현장 적용 과정에서 한계로 이어진다. 연구실 환경에서 99%의 정확도를 기록한 모델이라도, 실제 공정에 배포되면 조명 변화나 설비 진동, 원자재 편차와 같은 변수에 직면해 성능이 저하되는 사례가 발생한다. 많은 기업이 기술검증(PoC) 단계에서는 의미 있는 결과를 확인하면서도, 이를 생산라인 전반으로 확장하지 못하는 배경에는 이 같은 간극이 자리하고 있다. 이와 함께 AI를 도입하기만 하면 곧바로 성과로 이어질 것이라는 인식 역시 제약 요인으로 작용한다. 그러나 실제 현장에서는 도메인 전문가와 AI 인력이 긴밀히 협업하며 모델을 지속적으로 개선하는 운영 체계가 전제돼야 한다. 이와 관련해 한국인공지능·소프트웨어산업협회(KOSA) 안홍준 본부장은 “전반적으로 아직 넘어야할 산이 많지만 가장 많이 하는 이야기는 ‘기초적인 DX조차 완전히 이뤄지지 않았다’는 점”이라며 “AX는 데이터가 충분히 디지털화됐고 체계적으로 축적·관리되는 환경이 전제돼야 가능한데, 그 준비가 안 된 기업들이 적지 않다. 데이터가 정리돼 있지 않으니 AX를 하고 싶어도 출발점부터 막히는 경우가 많다”고 말했다.
그러면서 “같은 맥락으로 수요 기업 입장에서는 AI 전문기업이 들어와 프로젝트를 수행하길 기대하지만 현장에서는 확보할 수 있는 데이터가 제한적이거나 활용 가능한 형태로 정제되지 않은 경우가 많다”며 “그러다 보니 민간 차원에서 사전 학습을 통해 성능을 충분히 끌어올릴 기회도 부족하다. 이런 한계가 AX 확산을 더디게 만드는 요인이라고 본다”고 덧붙였다. 뤼튼AX 박민준 대표는 “AI 전환은 교육·컨설팅·구축이 유기적으로 맞물려야 완성된다”며 “전환의 필요성은 알고 있지만 이후 무엇을 어떻게 실행할지 모르는 기업이 많은 경우가 많다. 실제 현장에서 AI로 발생하는 경제적 효용을 체감하는 체계까지 설계해야 한다”고 설명했다.
그렇다면 이처럼 복잡하고 대규모 비용을 필요로 하는 AX를 기업들은 왜 시도하는 것일까. 역설적으로 그 배경에는 AI 확산으로 한층 가속화된 경쟁 환경이 자리하고 있다. 기업들이 설계·생산·고객 대응 전반에 AI를 접목해 속도와 정확도를 끌어올리면서 기존 방식에 머문 기업과의 격차가 점차 벌어지는 상황이다. 이러한 환경에서는 단순히 AI 솔루션 몇 개를 도입하는 수준으로는 경쟁력을 유지하기 어렵다. 데이터가 실시간으로 축적되고 분석 결과가 다시 생산과 서비스 전략에 반영되는 선순환 구조를 갖춘 기업만이 변화의 속도를 따라갈 수 있기 때문이다. 결국 AX는 개별 AI 기술을 얼마나 많이 도입했는지가 아니라 AI를 중심으로 얼마나 빠르게 학습하고 진화하는 조직 체계를 갖췄는지에 달려 있다.
올바른 AX 하려면…데이터 체계·GPU 인프라·실행 조직 등 갖춰야
이 같은 맥락에서 관련 업계는 ‘올바른 AX’를 위해 몇 가지 조건이 전제돼야 한다고 입을 모은다. 우선 데이터의 표준화와 거버넌스 정립이 선행돼야 하며, 모델 역시 일회성 개발로 끝나는 것이 아니라 반복 학습과 개선이 가능한 운영 체계로 관리돼야 한다는 것이다. 동시에 성능을 지속적으로 측정·관리할 수 있는 구조를 마련하고, AI의 결과가 실제 권한과 책임 체계에 반영되도록 조직 설계를 병행해야 한다는 요구도 따른다. 베슬AI 안재만 대표는 AX를 “전사적 AX는 기업이 자체적으로 AI 모델을 학습·운영할 수 있는 인프라와 체계를 갖추고 이를 통해 조직 전체가 AI를 반복적·지속적으로 활용할 수 있는 구조를 만드는 것”이라며 “비유하자면 AI 도입이 ‘좋은 엔진 하나를 사는 것’이라면 AX는 ‘그 엔진을 직접 만들고 개선할 수 있는 공장 자체를 보��하는 것’에 가깝다”고 밝혔다. 이어 “결국 AX의 핵심은 AI가 일회성 프로젝트가 아니라 기업 고유의 데이터와 도메인 지식을 반영한 모델을 자체적으로 개발·운영할 수 있는 역량을 갖추는 것”이라고 덧붙였다. 슈퍼브에이아이 관계자는 AX를 “기술 도입이 아닌 프로세스의 재정의”라고 설명했다. 이 관계자는 “기존의 AI 도입이 특정 공정의 불량을 잡아내거나 특정 데이터를 분류하는 도구로서의 활용에 그쳤다면, AX는 AI를 통해 데이터가 흐르는 전체 파이프라인을 구축하고 이를 기반으로 의사결정 체계와 비즈니스 모델 자체를 지속 가능한 구조로 바꾸는 것을 의미한다”고 말했다. 마키나락스 관계자는 제조 환경에서의 AX를 강조하기도 했다. 해당 관계자는 “AX는 개별 AI 모델을 도입하는 수준을 넘어 기업의 생산 방식과 의사결정 구조 자체를 AI 중심으로 재설계하는 과정”이라며 “많은 기업이 여전히 AX를 ‘정확도가 높은 모델 하나를 도입하는 것’으로 이해하지만 제조 현장에서의 AX는 전혀 다른 차원의 문제다”고 설명했다. 그러면서 “제조 AX의 본질은 모델 성능이 아니라 현장에서 끝까지 작동하는 운영 체계, 즉 데이터-모델-설비-의사결정을 하나의 흐름으로 연결하는 AI 운영 구조를 만드는 것에 있다”고 덧붙였다(아이티데일리, 2026. 2. 23). |