고위험 AI 시스템: AI법이 귀사에 요구하는 사항

고위험 인공지능(AI) 시스템은 유럽 인공지능 규정( 규정(EU) 2024/1689 ), 흔히 AI법으로 불리는 법의 핵심 주제이며, 이 법은 인공지능(AI) 시스템의 개발, 공급 및 사용에 대한 위험 기반 프레임워크를 도입합니다. 건강, 안전 및 기본권에 대한 위험이 높을수록 의무는 더욱 무거워집니다.

따라서 기업의 경우, 규정 준수는 기술 문서를 작성하는 것에서 시작하는 것이 아니라 올바른 분류에서 시작해야 합니다. 먼저 기업 내에서 개발, 구매 또는 사용 중인 AI 시스템이 무엇인지 파악해야 합니다. 그런 다음 해당 시스템이 금지된 시스템인지 , 고위험 시스템인지, 투명성 의무 대상인지, 또는 특정 의무 사항의 적용을 받지 않는 시스템인지 평가해야 합니다.

이 글에서는 AI 시스템이 고위험 시스템으로 분류되는 기준, 제공업체 및 구축업체에 적용되는 의무, 그리고 기업들이 현재 취할 수 있는 조치들을 설명합니다. 또한, 디지털 옴니버스 법안에 따른 고위험 시스템 의무 이행 유예 이후 현재 진행 중인 일정에 대해서도 제시합니다.

인공지능 시스템이 고위험 시스템인 경우는 언제일까요?

고위험 AI 시스템에 대한 평가는 주로 AI법 제6조 및 부록 I, III에 따라 이루어집니다. 평가 경로는 두 가지가 있습니다.

첫 번째 경로는 부록 I에 나열된 유럽 제품 법규의 적용을 받는 제품의 일부를 구성하는 AI 시스템에 관한 것으로, 제3자 적합성 평가가 필요한 경우에 해당합니다. 특정 의료 기기, 기계류, 엘리베이터 및 장난감을 예로 들 수 있습니다. 이러한 시스템의 경우 AI법은 기존의 적합성 평가 절차를 기반으로 합니다.

두 번째 경로는 부록 III에 나열된 영역, 즉 생체 인식, 중요 기반 시설, 교육 및 직업 훈련, ​​고용 및 인력 관리, 필수적인 민간 및 공공 서비스 접근, 법 집행, 이민, 망명 및 국경 통제, 사법 행정 및 민주적 절차에 사용되는 AI 시스템에 관한 것입니다. 이러한 영역 내에서의 모든 사용이 자동으로 고위험 AI 시스템으로 분류되는 것은 아니며, 시스템의 구체적인 기능과 제6조의 요건을 평가해야 합니다.

제6조(3)항의 예외

부록 III 영역에 속하는 시스템이라고 해서 자동으로 고위험 AI 시스템으로 분류되는 것은 아닙니다. 해당 시스템이 개인의 건강, 안전 또는 기본권에 중대한 위험을 초래하지 않고 의사결정 결과에 실질적인 영향을 미치지 않는 경우에는 고위험 AI 시스템으로 분류되지 않습니다. 예를 들어, 시스템이 단순히 절차적인 작업만 수행하거나, 이미 인간이 수행하는 활동을 개선하는 데 그치거나, 이전 인간의 의사결정을 대체하지 않고 단지 차이점만 표시하거나, 단순히 준비 작업만 수행하는 경우에 해당될 수 있습니다.

이 예외에 의존하는 것은 신중하게 추론하고 문서화해야 합니다. 조직은 결론뿐 아니라 그 결론의 근거가 되는 사실과 평가도 기록해야 합니다. 부록 III 시스템이 고위험 AI 시스템에 속하지 않는다고 판단하는 공급자는 해당 시스템을 시장에 출시하거나 서비스에 투입하기 전에 그 평가를 문서화해야 하며, 추가적으로 제49조(2)항에 따른 등록 의무를 준수해야 합니다.

규정의 한 가지 점은 절대적입니다. 제6조(3)항은 부록 III에 언급된 AI 시스템이 자연인을 프로파일링하는 경우 항상 고위험 AI 시스템에 포함된다고 규정합니다. 이 경우에는 예외를 적용할 수 없습니다.

귀 기관은 어떤 역할을 맡고 있습니까?

인공지능법은 공급망에서 여러 역할을 구분합니다. 대부분의 조직에게는 이 중 두 가지가 중요합니다. 인공지능 시스템을 개발하거나 자체 이름 또는 상표로 시장에 출시하는 당사자는 공급자(provider)로 분류됩니다. 인공지능 시스템을 직접 개발하지 않고 사업 과정에서 사용하는 당사자는 일반적으로 배포자(deployer)로 분류됩니다.

역할 분담은 고정된 것이 아닙니다. 구매한 시스템을 실질적으로 수정하거나, 자체 이름 또는 상표로 재판매하거나, 사용 목적을 변경하는 조직은 여전히 ​​공급자로 간주되어 더 엄격한 의무를 부담하게 될 수 있습니다. 각 시스템에 대해 자신이 수행하는 역할을 명확히 하고, 그 평가를 기록해 두십시오.

주요 의무

고위험 AI 시스템 제공업체는 제8조부터 제17조, 제43조 및 제47조부터 제49조에 명시된 의무를 포함한 여러 의무를 준수해야 합니다.

• 전체 수명주기를 포괄하는 위험 관리 시스템
• 데이터 거버넌스에는 훈련, 검증 및 테스트 데이터를 포함하여 사용되는 데이터의 편향을 탐지하고 수정하는 것이 포함됩니다.
• 부록 IV에 따른 기술 문서 및 이벤트 로깅
• 배포자를 위한 명확한 사용 지침
• 효과적인 인간 감독을 가능하게 하는 설계
• 정확성, 견고성 및 사이버 보안에 대한 요구 사항
• 품질 관리 시스템, 적합성 평가, EU 적합성 선언, CE 마크 및 EU 데이터베이스 등록

부록 III, 1항(a)에 언급된 원격 생체인식에 사용되는 고위험 AI 시스템의 경우, 제14조(5)항은 인간의 감독에 대한 추가 요건을 부과합니다. 즉, 필요한 역량, 교육 및 권한을 가진 최소 두 명의 자연인이 별도로 검증하고 확인하지 않는 한, 식별을 기반으로 어떠한 조치나 결정도 내릴 수 없습니다. 이를 4안 원칙이라고 합니다.

시스템 설치자는 제26조 및 제27조에 명시된, 다소 가볍지만 중요성은 결코 떨어지지 않는 의무를 준수해야 합니다. 즉, 사용 설명서에 따른 사용, 유능한 인력의 감독, 시스템 작동 모니터링, 위험 및 중대한 사고 보고, 그리고 최소 6개월 동안 로그를 보관해야 합니다. 시스템을 사용할 직원과 시스템 적용 대상자는 사전에 시스템 사용에 대해 고지받아야 합니다.

특정 시스템 운영자는 제27조에 의거한 기본권 영향 평가를 수행해야 합니다. 이는 공법에 의해 규율되는 기관, 공공 서비스를 제공하는 민간 기관, 그리고 신용 평가 시스템이나 생명 및 건강 보험의 보험 위험 평가 시스템을 사용하는 시스템 운영자에게 적용됩니다.

타임라인 및 현재 상황

인공지능법은 2024년 8월 1일에 발효되었으며 단계적으로 적용됩니다. 실제로는 이미 적용되는 의무, 향후 적용될 의무, 그리고 공식적인 발효가 아직 완료되지 않은 개정안을 구분하는 것이 중요합니다.

금지 행위(제5조): 2025년 2월 2일부터 적용

인공지능 활용 능력(제4조): 2025년 2월 2일부터 적용

범용 AI 모델: 2025년 8월 2일부터 적용

투명성 의무(제50조): 2026년 8월 2일부터 적용; 연기 불가

부록 III에 따른 고위험군: 연기 조치 이후 2027년 12월 2일부터 적용

부록 I에 따른 고위험군: 동일한 유예 조치에 따라 2028년 8월 2일부터 적용

해당 유예는 확정된 법률입니다. 유럽 위원회는 2025년 11월 19일 고위험 AI 시스템에 대한 의무 이행을 연기하는 방안을 포함한 디지털 옴니버스 패키지를 발표했습니다. 개정 규정인 규정(EU) 2026/1744는 2026년 7월 24일 관보에 게재되었고 2026년 7월 27일부터 발효되었습니다.

고위험군 관련 규정만 변경되었습니다. 부록 III을 통해 분류된 시스템에 대한 제3장 의무는 2027년 12월 2일부터, 부록 I을 통해 분류된 시스템에 대한 의무는 2028년 8월 2일부터 적용됩니다. 나머지 모든 사항은 원래 시행일을 유지했으므로, 이번 연기로 인공지능법 제정이 전반적으로 중단된 것은 아닙니다.

이번 연기는 단순한 날짜 변경처럼 무조건적인 것은 아닙니다. 고위험 의무 적용은 이를 준수하는 데 필요한 조화된 기준과 지원 도구의 확보 여부에 달려 있으며, 새로운 날짜는 해당 기준과 도구가 마련되는 최대 기한을 나타내는 것이지, 더 연장될 수 있는 목표 시점을 의미하는 것은 아닙니다. 따라서 추가 연장을 전제로 계획을 세우는 것은 현명하지 못합니다.

두 가지 사항을 별도로 살펴볼 필요가 있습니다. 첫째, 제50조의 투명성 의무와 제4조의 AI 이해 의무는 연기되지 않았습니다. 제50조는 2026년 8월 2일부터, 제4조는 2025년 2월 2일부터 적용됩니다. 둘째, 이번 개정안은 동의 없이 촬영된 친밀한 이미지와 AI가 생성한 아동 성학대 자료를 금지하는 새로운 조항을 제5조에 추가했습니다.

조직의 경우, 2027년 12월은 고위험 문서화 계획을 수립해야 하는 시점이며, 투명성, 이해도 및 일반 목적 관련 의무는 준비가 아닌 현재 준수해야 할 사항입니다.

감독 및 처벌

네덜란드에서는 인공지능법 시행령이 아직 발효되지 않았습니다. 2026년 4월 20일에 공개 의견 수렴을 위한 초안이 발표되었습니다. 이 초안은 네덜란드 개인정보보호청(Autoriteit Persoonsgegevens)에 전담 인공지능 부서를 설치하여 부문별 감독 기관이 지정되지 않은 분야의 감독 역할을 부여하고, 네덜란드 디지털 인프라청(RDI)에 조정 역할을 부여하는 한편, 부문별 감독 기관은 각자의 영역을 유지하도록 규정하고 있습니다. 이 시행령이 통과되어 발효될 때까지는 정확한 권한 배분과 국가 차원의 처벌 체계가 확정되지 않았습니다.

인공지능법 제99조는 여러 가지 최대 벌칙 범주를 규정하고 있습니다. 벌칙 수준은 위반 행위의 성격과, 관련이 있는 경우 해당 기업의 전 세계 연간 매출액에 따라 결정됩니다. 최고 벌칙은 제5조에 명시된 금지 행위를 위반한 경우에 적용되며, 그보다 낮은 벌칙이 고위험 인공지능 시스템 제공자 및 배포자를 포함한 기타 의무 위반에 적용됩니다. 또한, 가장 낮은 벌칙은 당국에 부정확하거나 불완전하거나 오해의 소지가 있는 정보를 제공한 경우에 적용됩니다. 중소기업(SME) 및 스타트업에는 보다 유리한 규정이 적용됩니다. 실제 벌칙은 관련 벌칙 규정 및 사안의 제반 사정을 고려하여 결정됩니다.

실용적인 로드맵

• 조직에서 개발, 구매 또는 사용하는 모든 AI 시스템을 목록화하십시오.
• 각 시스템에 대해 본인이 수행하는 역할(공급자 또는 배포자)을 명확히 하십시오.
• 각 시스템에 대한 위험 범주를 결정하고 제6조(3)항의 예외에 대한 의존을 포함하여 해당 평가를 문서화합니다.
• 인공지능 거버넌스를 구축하고 책임자를 임명하십시오.
• 이러한 시스템을 사용하는 직원들에게 인공지능 활용 능력을 갖추도록 보장해야 합니다. 이는 이미 의무 사항입니다.
• 제50조에 따른 투명성 조치를 시행하십시오. 해당 조치는 2026년 8월 2일부터 적용됩니다.
• 기술 문서 작성을 시작하고, 필요한 경우 기본권 영향 평가를 적시에 시작하십시오.
• 역할 배분, 정보 제공 및 감사 권한과 관련하여 공급업체 계약을 검토하십시오.
• 고위험 문서화 계획은 부록 III 시스템의 경우 2027년 12월 2일, 부록 I 시스템의 경우 2028년 8월 2일을 기준으로 수립하십시오.

인공지능법이 귀사에 요구하는 사항

인공지능법은 조직이 인공지능을 개발, 구매 및 사용하는 방식에 근본적인 영향을 미칩니다. 고위험 의무 이행 유예는 규제의 가장 중요한 부분을 이행할 시간을 벌어주지만, 나머지 사항은 그대로 유지됩니다. 제5조의 금지 조항, 인공지능 활용 능력 의무, 범용 인공지능 모델에 대한 규칙, 그리고 제50조의 투명성 의무는 모두 현재 적용됩니다. 확보된 시간은 분류 및 문서화에 집중하는 것이 가장 효과적입니다. 이러한 단계는 나중에 단축할 수 없기 때문입니다. 규제에 대한 더 자세한 내용은 이 글에서 다루는 고위험 인공지능 시스템에 대한 내용과 함께 EU 인공지능법 완벽 가이드를 참조하십시오.

Law & More 조직이 AI 시스템을 목록화하고 분류하고, 공급자 또는 배포자로서의 역할을 결정하고, AI 공급업체와의 계약을 검토 및 작성하고, AI 거버넌스를 구축하는 데 도움을 드립니다. 현재 조직에 적용되는 의무 사항과 우선적으로 처리해야 할 조치에 대해 궁금한 점이 있으시면 언제든지 문의해 주세요.

자주하는 질문

아래에서는 이 주제에 대해 가장 자주 받는 질문에 답변해 드리겠습니다.