인공지능(AI)의 발전 속도가 빨라지면서 AI가 주어진 목표를 달성하기 위해 당초 허용된 범위를 넘어 외부 시스템에 접근하거나 인간의 통제를 벗어나는 행동을 보이는 사례가 보고되고 있다. 오픈AI는 최근 차세대 AI모델의 안전성 평가에서 인간의 지시 범위를 벗어나 스스로 행동하는 문제가 발견되자 출시 계획을 철회했다. 최근에는 AI 연구개발 자체를 AI가 스스로 담당할 경우 기술 발전 속도가 급격히 빨라져 인간의 통제가 어려워질 수 있다는 경고도 나왔다. 제프리 힌턴, 요슈아 벤지오 등 세계적인 AI 연구자 22명은 AI 연구의 자동화가 이른바 ‘재귀적 자기 개선’과 ‘지능 폭발’로 이어질 가능성을 검토하면서 정부와 기업의 안전 평가 및 감독 체계가 기술 발전을 따라가지 못할 수 있다고 경고했다.
최근 미국에서는 AI를 둘러싼 ‘혁신 우선’과 ‘안전 우선’의 논쟁이 본격화하고 있다. 주요 AI 빅테크 기업 중에서도 지나친 규제가 기술혁신을 늦추고 미국과 중국 간 AI 경쟁에서 뒤처지게 만들 수 있다고 우려하는 반면 앤트로픽, 오픈AI 등의 일부 관계자와 연구자들은 고성능 AI의 위험성이 일정 수준을 넘어설 경우 독립적인 평가와 개발 속도 조절이 필요하다고 주장한다. 중국 역시 AI 발전을 국가 경쟁력의 핵심으로 보면서도 인간의 통제와 안전을 강조하는 방향으로 움직이고 있다. 미·중은 AI 안전 위험과 사고에 대한 소통 채널을 마련했고 최근에는 AI 위험과 혜택을 다루는 양국 간 대화에도 합의했다.
개발과 규제를 어떻게 할 것인가. 완전 자율 개발을 허용하면 기업은 빠르게 실험하고 혁신할 수 있으나, 기업은 시장에서 경쟁자가 달리는 상황에서 경쟁에서 뒤처질 것을 우려해 개발 속도를 늦추기 어렵다. 자율규제는 기업 스스로 안전 평가, 외부 검증, 사고 보고, 사용 제한 등의 기준을 마련하면 기술 발전 속도에 맞춰 유연하게 대응할 수 있지만 기업의 선의만으로 사회 전체의 안전을 보장하기에는 한계가 있다. 또한 자율규제는 ‘안전한 AI’를 만들어야 하는 기업과 ‘더 빠르고 강력한 AI’를 출시해야 하는 기업의 이해가 항상 충돌한다. 최근 미국에서도 AI 기업의 자율규제에 대한 신뢰 문제가 있으며, 한 여론조사에서는 미국 성인의 91%가 AI 안전장치 마련을 중요하게 생각하고, 81%는 기술혁신보다 안전을 우선해야 한다고 응답했다.
우리나라는 AI 원천기술과 플랫폼 분야에서 세계 선도국을 추격하는 입장에서 과도한 규제보다 혁신과 안전을 동시에 고려해야 한다. 정부가 지나치게 구체적인 기술기준을 법으로 묶으면 기술 발전을 따라가지 못하거나 혁신을 위축시킬 수 있다. 특히 세계적으로 AI 개발 경쟁이 진행되는 상황에서 한 국가만 강한 규제를 적용하면 기업과 인재가 규제가 느슨한 국가로 이동하는 문제가 발생할 수도 있다. 따라서 우리 정부는 자율개발과 강제규제의 선택이 아닌 위험 수준에 따른 규제가 필요하다. 정부가 직접 AI를 통제하려 하기보다 국가 AI 안전 검증 체계와 독립적인 평가기관의 구축, 예측 가능한 규칙으로 기업이 경쟁하도록 하고 미국·중국·유럽연합 등과 AI 안전기준과 사고 정보를 공유하는 국제 협력에도 적극 참여해야 한다. 우리 기업도 안전성과 신뢰성은 앞으로 AI 경쟁력의 중요한 요소임을 인식하고 개발 단계부터 ‘안전 담당 조직’을 독립적으로 운영하고, 출시 전 레드팀 평가와 외부 검증을 실시하며, 사고가 발생하면 투명하게 공개하고 재발 방지책을 제시해야 한다.
AI는 인류에게 편리성과 생산성을 획기적으로 높일 수 있지만 위협이 될 수도 있다. 공포 때문에 AI의 발전을 멈추는 것도, 경쟁 때문에 위험을 외면하는 것도 안 된다. AI 시대의 진정한 경쟁력은 가장 먼저, 가장 강력한 AI를 만들면서 인간의 통제 아래 둘 수 있는 능력, 그것이 앞으로 국가와 기업의 새로운 경쟁력이 될 것이다((재)한국디지털융합진흥원 원장 석호익 拜). |