고영향 AI, 의료·채용·대출·교통 등 생명·안전·기본권과 맞닿는 영역에서부터 판정
핵심은 2단계 판단…어느 분야에서 쓰이는지, 실제 중대한 영향이나 위험 우려 있는지 따져
인간의 실질적 검토·통제가 있으면 고영향 AI에서 제외될 수 있어
[편집자 주]
AI 기본법 시행과 함께 공개된 5종 가이드라인(투명성·안전성·고영향 판단·고영향 사업자 책무·영향평가)은 기업의 AI 운영을 ‘기술’이 아니라 ‘책임’의 문제로 바꾸고 있다. 테크42는 이번 시리즈를 통해 각 가이드라인이 요구하는 핵심 원칙과 실무 포인트를 짚고, 서비스 설계·운영·거버넌스 관점에서 무엇이 달라지는지 정리한다. 특히 ‘고지·표시’부터 위험관리와 문서화, 그리고 기본권 영향평가까지 이어지는 연결고리를 따라가며 현장에서 바로 부딪히는 쟁점을 짚어본다.
 |
ⓒTech42 |
AI 기본법에서 ‘고영향 인공지능’은 단순히 성능이 뛰어난 AI를 뜻하지 않는다. 생각보다 그 기준은 더 현실적이다. 어디에 쓰이는지, 그리고 그 쓰임이 사람의 생명·신체 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는지에 주목한다. 고영향 AI 판정은 결국 “이 AI가 얼마나 똑똑한가”보다 “이 AI가 사람의 삶과 권리에 어떤 방식으로 개입하는가”를 묻는 구조에 가깝다.
과학기술정보통신부(과기정통부) 측은고영향 AI와 관련해 “모든 AI가 아닌, 실제 위험성이 높은 AI만을 규제 대상으로 한다”는 취지를 강조하고 있다. 즉 법이 정한 영역에서 활용된다고 하더라도 사람의 기본권에 중대한 영향 또는 위험한 업무에 쓰이며, 동시에 사람이 개입하지 않는 경우가 이에 해당한다. 가령 채용에서는 사람의 검토·확인 없이 AI가 채용 여부를 전적으로 결정하는 경우, 대출심사에서는 사람의 검토·승인 없이 대출 여부를 결정하는 경우, 교통 분야에서는 레벨4 이상 자율주행 같은 사례를 예시로 들었다.
1단계는 ‘어디에 쓰이느냐’… 사회 인프라·권리결정 영역부터 본다
 |
ⓒTech42 |
AI 기본법 가이드라인을 보면 고영향 AI 1단계 판단은 “이 AI가 어느 분야에서 작동하느냐”를 가르는 작업이다. 의료 현장에서 진단·치료 과정이나 의료기기 운용에 영향을 주는 시스템, 전력과 먹는 물처럼 필수 인프라의 생산·공급 과정, 원자력시설 안전 관리, 범죄 수사·체포 과정의 생체인식 정보 분석, 채용·대출 심사처럼 개인의 권리·의무에 직접 닿는 판단·평가 업무, 자동차·선박·항공·철도 등 교통수단과 시설의 주요 작동·운영, 공공서비스 핵심 의사결정, 교육 영역의 학생 평가 등이 대표적이다. 열거된 각각의 영역들은 문제가 발생할 시 대규모 생명·안전·권리 등의 피해가 생길 수 있는 영역이다.
이러한 사례 제시는 산업계가 우려해온 “모든 AI를 일괄 규제하는 것 아니냐”는 질문에 대한 정부의 명확한 답이기도 하다. 업계·법조계 일각에서는 고영향 AI 정의의 불확실성이 가장 큰 쟁점으로 꼽지만, 정부는 우선 국민의 생명·기본권과 직접 맞닿는 10개 안팎의 영역을 중심으로 규제 대상을 좁혀 설명하고 있다.
그럼에도 업계에서는 여전히 “1단계에 걸리는 서비스 범위가 넓게 해석될 수 있다”는 우려를 거두지 못한다. 특히 의료, 금융, 채용, 공공처럼 이미 자동화 수요가 큰 분야에선 “도입 검토 단계부터 고영향 여부를 함께 판단해야 한다는 압박이 커지고 있다”는 반응이 나오고 있다.
2단계는 ‘얼마나 위험한가’… 사람의 개입이 있으면 제외될 수 있다
 |
ⓒTech42 |
고영향 AI 여부를 실질적으로 가르는 것은 2단계다. 같은 영역에서 쓰이더라도, 그 AI가 생명·신체 안전 및 기본권 보호에 중대한 영향을 미치거나 위험을 초래할 우려가 있어야 한다. 이 판단은 기업 입장에서는 더 까다롭다. “어느 산업이냐”보다 “어떤 결정을 자동화하느냐”, “누가 그 결정의 영향을 받느냐” “오작동이나 편향이 발생했을 때 피해가 어디까지 번지느냐”를 설명해야 하기 때문이다. 업계에서는 이 대목이 가장 모호하다고 본다. 결국 보수적으로 해석하면 더 많은 서비스가 고영향으로 분류될 수 있고, 그 순간부터 위험관리·설명·문서화·이용자 보호 등 뒤따르는 의무도 함께 커지기 때문이다.
이와 관련 과기정통부 측은 “사람의 개입·통제가 있으면 고영향 AI에서 제외될 수 있다”는 점을 강조한다. 이러한 조건은 한국식 위험기반 접근의 중요한 특징이라 할 수 있다. 예를 들어 채용 추천 시스템이 있더라도 최종 판단을 사람이 개입해 충분히 검토·확인한다면, 정부 설명 논리상 자동으로 고영향 AI로 귀결되는 것은 아니다.
대출 심사 역시 AI가 참고 의견을 내더라도 사람이 승인·거절 여부를 실질적으로 판단하면 해석이 달라질 수 있다. 업계에서는 이 조항을 ‘규제 완화 장치’로 보면서도, 동시에 ‘어느 수준의 개입이 있어야 사람이 통제한다고 볼 수 있느지’가 다음 쟁점이 될 것이라고 보는 시각이 적지 않다. 형식적 검토만으로 충분한지, 승인 권한과 책임이 실제로 사람에게 있는지, 로그와 기록으로 그 개입을 입증해야 하는지 같은 문제가 남기 때문이다.
고영향 AI 해당 여부를 직접 확인 받을 수 있는 절차가 열려 있다는 점도 기억할 필요가 있다. 가이드라인에 따르면 사업자가 자율 검토 후 필요하면 고영향 AI 여부를 확인을 요청할 수 있고, 접수 후 원칙적으로 30일 내 판단·통지하도록 돼 있다. 사안의 복잡성·중요성에 따라 30일 이내에서 1회 연장이 가능해 최대 60일이 소요될 수 있으며, 결과에 이의가 있을 경우 재확인 요청은 회신일로부터 10일 이내에 해야 한다. 다만 업계에서는 이 절차가 빠른 출시·수정이 반복되는 AI 서비스 현실과는 시간 감각이 다를 수 있다고 본다. 특히 모델 업데이트나 기능 확장으로 서비스 성격이 조금씩 변할 때마다 고영향 AI 여부가 흔들릴 수 있다는 점은 여전히 실무 부담으로 언급되고 있다.
여기에 더해 앞서 다뤄진 안전성 확보 의무와의 차이도 짚을 필요가 있다. 과기정통부는 안전성 의무에 대해서는 ‘학습누적량 10^26 FLOPs 이상, 최첨단 AI, 위험도가 사람의 생명·신체 안전 및 기본권에 광범위하고 중대한 영향을 미칠 우려(유사 AI 발생 위험 사례, 사회 전반의 중대한 피해 가능성 등을 종합 판단)’를 모두 충족하는 경우를 전제로 하며, "현재 그 조건을 충족하는 인공지능은 없다"고 설명했다.
즉 고영향 AI는 의료·채용·대출·교통 같은 구체 영역에서 사람의 권리와 안전에 미치는 영향 중심으로 판단하는 반면, 초고성능 AI 안전성 의무는 훨씬 상위 수준의 연산량과 기술 단계, 사회적 위험을 전제로 한다. 업계에서는 이 차이를 두고 “고영향 AI 규율은 당장 현장 서비스와 맞닿아 있지만, 초고성능 AI 안전성 규율은 아직 대형 모델 개발사 중심의 문제에 가깝다”는 해석이 나온다.
결국 AI 기본법이 시행된 이후 얼마 되지 않은 현 시점에서 고영향 AI 논의는 지속적으로 다양한 질문을 낳으며 확대되고 있다. 특히 최근에는 “우리 서비스가 어느 영역에 속하는가”보다 “우리는 사람이 개입한다고 말할 수 있는가” “그 개입을 입증할 수 있는가” “고영향으로 판단될 경우 어떤 운영 체계를 즉시 가동할 수 있는가”로 옮겨가는 중이다. 이를 통해 고영향 AI 판정은 이제 분류의 문제가 아니라, 제품 설계와 책임 구조를 미리 정하는 문제에 가까워지고 있음을 알 수 있다.
팩트 박스 | 고영향 AI 판단, 핵심 정리
>고영향 AI는 모든 AI가 아니라, 법률이 정한 영역에서 활용되고 실제 위험성이 높은 AI를 겨냥한다.
>판단은 1단계(어느 분야에서 쓰이는가)와 2단계(생명·신체 안전 및 기본권에 중대한 영향·위험 우려가 있는가)의 구조다.
>과기정통부는 사람의 검토·확인 없이 AI가 전적으로 결정하는 경우를 핵심 예시로 들었다.다시 말해 사람의 개입·통제가 있으면 고영향 AI에서 제외될 수 있다.
>초고성능 AI 안전성 의무는 별도다. 과기정통부는 현재 학습누적량·최첨단성·위험도를 모두 충족하는 인공지능은 없다고 설명했다.
황정호 기자
저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지
