가. 인공지능법의 특징

인공지능법의 특징은 유럽평의회 인공지능 고위급 전문가그룹(European Commission AI HLEG, 2019)이 제시한 “신뢰할 수 있는 AI를 위한 윤리 지침^{(Ethics guidelines for trustworthy AI)}”을 바탕으로 규범이 형성됐다는 점이다. 인공지능법 전문은 윤리 지침이 제시하는 다음의 일곱 가지 원칙에 근거한다. 인간 주도･감독^{(Human agency and oversight)}, 기술적 견고함과 안전성^{(Technical Robustness and safety)}, 프라이버시와 데이터 거버넌스^{(Privacy and data governance)}, 투명성^{(Transparency)}, 다양성과 차별금지 및 공정성^{(Diversity, non-discrimination and fairness)}, 사회･환경적 복지^{(Societal and environmental well-being)}, 책임성^{(Accountability)} 등이다(EU AI Act, (27)). 위와 같은 원칙들은 모두 직간접적으로 사회보장 영역에도 연결됨을 추정할 수 있다.

인공지능법의 가장 큰 특징은 위험성 차원에서 AI 시스템을 분류한 다음, 그에 따라 규제의 내용을 차등화한다는 점이다. 인공지능 시스템이 내포하는 위험성의 강도와 범위에 비례하여 규제 유형과 정도가 규정되는 것이다.

인공지능법에서 핵심 개념인 위험성은, 인공지능의 개념 정의에 바로 뒤이어 다음과 같이 제시된다. “위험의 발생 가능성과 그로 인한 피해의 심각성의 결합”(European Artificial Intelligence Act, Article 3, (2)). 유럽연합은 인공지능 모델의 성격과 용도 등을 고려해서 위험성의 경중을 진단하고, 그에 따른 규제의 수준도 연동한다. 이 법에서는 AI 시스템의 위험성 수준을 네 가지로 구분한다([그림 2] 참고). 네 가지 위험성 수준은 ‘수용할 수 없는 위험성^{(unacceptable risk)2)}’, ‘고위험성^{(high risk)}’, ‘제한된 위험성^{(limited risk)}’, ‘최소한의 위험성^{(minimal risk)}’ 등이다. 가장 높은 수준의 ‘수용할 수 없는 위험성’을 가진 인공지능은 활용 자체가 금지된다. 다음으로 ‘고위험성’을 가진 인공지능 활용에는 엄격한 준수사항이 요구된다. 세 번째인 ‘제한된 위험성’을 내포하고 있는 AI의 활용은 투명성 의무가 부과되고, 최소한의 위험성이 있는 경우에는 자율적 규제가 따라붙는다(윤혜선, 2024.9.23.). 위의 네 가지 위험성을 순서대로 하나씩 살펴보겠다.

새창으로 보기

그림 2

유럽연합 인공지능법에서 규정하는 위험의 위계

출처: “Artificial intelligence act”, Madiega, 2024, European Parliament, p.1의 그림을 라기원(2024)이 번역해서 제시함. 저작권 2024, European Parliament, 한국법제연구원.

첫째, 가장 높은 수준의 ‘수용할 수 없는 위험성^{(unacceptable risk)}’의 경우를 살펴보자. 수용할 수 없는 위험성은 AI 시스템이 사람들의 안전, 건강, 기본권에 명백한 위협이 되는 경우다. 인공지능법 제5조 1항에서는 수용할 수 없는 위험성이 있다고 간주하는 사례를 (a)∼(h)에 걸쳐 여덟 가지를 제시했다. 짧게 요약하면 다음과 같다(Artificial Intelligence Act Article 5 (1)). 첫째, 사람의 의식을 넘어서는 잠재적인 기술을 활용하거나 의도적으로 조작적이거나 기만적인 기술을 사용해서, 개인 또는 집단의 행동을 실질적으로 왜곡해서 중대한 피해를 초래하거나 그럴 가능성이 있는 경우, 둘째, 연령, 장애 또는 사회경제적 환경에 기인한 취약점을 악용하여 행동을 왜곡함으로써 심각한 피해를 유발하거나 그럴 가능성이 있는 경우, 셋째, 자연인 또는 집단의 사회적 행동이나 알려진, 추론된 또는 예측된 개인적 또는 성격적 특성을 기반으로 일정 기간 평가하거나 분류하기 위해 사회적 평점^{(social scoring)}을 사용한 경우다. 넷째, 프로파일링 또는 성격 특성만을 기반으로 하여 개인의 범죄 행위를 예측하는 경우, 다섯째, 인터넷이나 폐쇄회로^(CCTV) 영상에서 무차별적으로 얼굴 이미지를 스크랩하여 얼굴 인식 데이터베이스를 구축하는 경우, 여섯째, 의료 또는 안전을 제외한 목적으로 직장이나 교육 기관에서 개인의 감정을 추론한 경우, 일곱째, 인종, 정치적 견해, 노동조합 가입 여부, 종교적 혹은 철학적 신념, 성생활, 성적 지향 등과 같이 민감한 개인적 특성을 유추하기 위한 생체 인식 분류 시스템^{(biometric categorisation systems)}인 경우, 마지막으로 법 집행 목적으로 공공장소에서 실시간 원격 생체 인식 정보^{(‘real-time’ remote biometric identification)}를 수집한 경우다. 여덟 가지 가운데 사회보장 영역과 가장 밀접한 내용은 세 번째인 사회적 평점 부분이다. 관련 내용은 아래 4절에서 살펴보겠다.

수용할 수 없는 위험성 관련 금지 행위를 위반한 경우에는 최대 3500만 유로(약 500억 원)와 전년 회계연도 기준 전 세계 연매출액의 최대 7% 가운데 더 높은 금액이 과징금으로 부과된다(윤혜선, 2024 .9. 23.). 단, 중소기업이 위반했을 때는 위 두 기준 가운데 더 낮은 금액이 과징금으로 부과된다. 유럽연합 소속 기관, 대리인, 조직의 경우에는 최대 150만 유로(약 20억 원)가 부과된다.

두 번째로 고위험성^{(high risk)}을 살펴보겠다. 인공지능법 제6조 제3항에 따르면 고위험성을 가진 인공지능 시스템은 자연인의 건강, 안전 또는 기본권에 위해를 가할 중대한 위험을 내포하는 시스템이다. 인공지능법 부속서 Ⅲ에서 제시된 여덟 개 영역의 고위험성을 요약하면 다음과 같다.³⁾ ① 생체인식 및 분류, 감정인식 시스템⁴⁾, ② 주요 사회기반시설, ③ 교육, 직업훈련 영역, ④ 고용, 근로자 관리 및 자영업자에 대한 접근, ⑤ 필수 민간 및 공공 서비스, ⑥ 인간의 기본권과 관련된 법 집행, ⑦ 이주, 망명 및 국경 통제 관리, ⑧ 사업절차 및 민주적 절차 등이다. 여덟 가지 가운데 ⑤ 필수 민간 및 공공 서비스 분야^{(essential private and public services)}는 사회보장 영역과 직접적으로 연관된다. 해당 내용도 아래 4절에서 살펴보겠다.

고위험 인공지능 시스템은 시장에 출시되기 전 준수사항으로 다음의 일곱 가지가 제시된다(European Artificial Intelligence Act, 2024; 윤혜선, 2024. 9. 23.). ① 적절한 위험 평가 및 완화 시스템 구축, ② 리스크 및 차별적 결과를 최소화하기 위한 고품질 데이터 구축 및 관리, ③ 결과의 추적 가능성을 보장하기 위한 활동 기록^(logging), ④ 시스템과 그 목적에 대한 모든 정보를 제공하는 상세한 문서화(규제 준수 여부 확인 목적), ⑤ 사용자에게 명확하고 적절한 정보 제공, ⑥ 위험을 최소화하기 위한 적절한 인간의 감독 조치, ⑦ 높은 수준의 견고성, 보안 및 정확성이다. 유럽연합에서는 인공지능 시스템을 둘러싼 이해관계자를 제공자, 배포자, 공인 대리인, 수입업자 등으로 분류하고, 각자에 대한 의무를 구체적으로 명기하고 있다. 이를테면 제공자^(provider)에게는 유럽연합 적합성 선언 작성, CE 마크 작성 등의 17개 의무가 부과된다. 사회보장 영역에서 작동하는 다수의 인공지능 시스템은 이러한 규제에 놓이게 될 가능성이 높다.

나. 인공지능법의 적용 범위

유럽연합의 인공지능법에서 규정한 이해관계자들은 법의 적용 범위와 관련해서 중요한 의미가 있다. 인공지능법 2조는 법의 적용 범위를 규정하면서, 일곱 가지 유형의 이해당사자 가운데 하나로 “유럽연합에서 AI 시스템 출시･서비스화하거나 범용 AI 모델을 출시하는 제공자”라고 규정했다. 그러면서 동시에 ‘장소불문(“irrespective of whether those providers are established or located within the Union or in a third country)”(Artificial Intelligence Act Article 2 (1))이라는 조건을 달았다. 즉, 유럽에서 서비스를 제공하는 경우라면, 인공지능 시스템을 출시하거나 적용하는 업체는 국적을 불문하고 규제의 대상이 된다.⁵⁾ 국제적으로 인공지능 산업을 대부분 선도하는 미국의 업체들도 유럽연합에 와서는 규제를 따라야 한다. 이는 한국에도 간접적으로 영향을 미칠 수밖에 없다.

이러한 고위험성 인공지능 시스템 준수사항을 위반하면 최대 1500만 유로(약 218억 원) 혹은 전년 회계연도 기준 전 세계 매출액의 최대 3% 중에 더 높은 금액이 부과된다. 중소기업이 고위험 관련 조항을 위반하면 두 기준 가운데 더 낮은 금액이 부과된다. 유럽연합의 기관, 에이전시, 기구의 경우, 과징금은 최대 75만 유로(약 10억 원)로 한정된다.

유럽연합이 적시한 네 가지 유형의 위험성 가운데 세 번째는 제한적인 위험성이다. 제한적인 위험성이란 AI 사용에 있어 투명성이 부족한 것에 기인하는 위험성을 뜻한다. 인공지능법은 인간에게 정보를 제공하거나 신뢰를 높이기 위한 목적으로 투명성에 관한 구체적인 의무를 규정한다. 예를 들어 챗봇과 같은 AI 시스템을 사용할 때 인간은 기계와 상호작용하고 있다는 사실을 인지할 수 있어야 하고, 그래야 계속 챗봇을 사용할지를 결정할 수 있다는 것이다(European Artificial Intelligence Act, 2024). 전 세계적으로 사회보장 분야에서 가장 많이 사용되는 인공지능기술이 챗봇인 점을 참고할 필요가 있다(Zaber et al., 2024).

마지막으로 최소한의 위험성이 있다. 최소한의 위험성을 내포하는 AI 시스템에는 스팸 필터, 알고리즘을 통한 콘텐츠 추천시스템 등이 해당된다. 인공지능법은 이와 같이 최소한의 위험성에 해당하는 AI 시스템에 별도의 규제를 규정하지 않고, 자율적 규제를 허용하고 있다.

가. 핵심 의제, 사회적 평점(social scoring)

유럽연합의 인공지능법에서 사회보장과 연관된 가장 민감한 대목⁶⁾은 ‘수용할 수 없는 위험성^{(unacceptable risk)}’에서 세 번째로 제시된 사회적 평점^{(social scoring)}이다. 사회적 평점은 “개인의 데이터를 기반으로 개인을 평가하는 것을 의미하며, 여기에는 신용 행태, 교통 위반, 사회적 참여 등이 포함된다. 이러한 평가는 특정 서비스나 특권에 대한 접근을 규제하기 위해 사용된다.”(Mosene, 2024). 유럽연합의 인공지능법을 본문 그대로 번역하면 다음과 같다(European Parliament, 2024, Chapter II, Article 5, 1. (c)).

유럽연합의 인공지능법은 사회적 평점을 논의하면서 사회보장제도와 관련한 언급을 하지는 않았다. 유럽의회 산하의 연구기관인 유럽의회연구소^{(European Parliamentary Research Service)}가 인공지능법을 설명하는 짤막한 해설서(Madiega, 2024)에도 사회보장제도에 대한 언급은 없다. 그럼에도 사회적 평점 부여는 사회보장과 일정한 연관을 가질 수밖에 없다. 개인 혹은 가구 단위의 소득, 재산, 가구원 등의 정보에 근거해서 빈곤, 실업, 은퇴, 상병 여부를 판단하고, 그에 근거해서 급여를 제공하는 사회보장제도는 급여 자격을 판정하는 과정에서 일종의 사회적 평점^{(social scoring)}을 개인 혹은 가구에 부여할 수밖에 없다. 이를테면 국내의 국민기초생활보장제도에서도 가구의 소득, 재산, 부양의무자, 가구원 정보 등에 기반해서 수급 자격 및 급여액을 결정한다. 그러한 자료의 내용이 개인의 소득, 연령, 가구, 건강 등 개인적 정보를 담고 있다는 점에서 사회적 평점은 민감할 수밖에 없는 의제다.

유럽연합의 인공지능법 제정 과정에서도 사회적 평점과 관련한 우려가 제기됐다. 유럽의 인권 단체인 Human Rights Watch(2023. 10. 9.)는 다른 시민단체들과 함께 유럽이사회와 유럽의회에 사회적 평점 관련 규정 강화를 제안하면서 사회보장제도에서 나타날 문제를 다음과 같이 언급했다. “프랑스, 네덜란드, 오스트리아, 폴란드, 아일랜드에서의 조사 결과, AI 기반의 사회적 평점 부여 시스템이 사람들의 사회보장 지원 접근을 방해하고, 프라이버시를 침해하며, 빈곤에 대한 고정관념을 가지고 차별적인 방식으로 데이터를 프로파일링하고 있음이 드러났다.”(Human Rights Watch, 2023. 10. 9.) 이러한 문제들은 시민단체나 학계에서도 꾸준히 제기됐다. 프랑스(La Quadrature Du Net, 2023), 네덜란드(van Bekkum & Borgesius, 2021)와 덴마크(Jørgensen, 2021)에서도 논란이 일었다. 이를테면 정부에서 복지급여의 부정수급을 탐지하거나 위험가구를 발굴하는 과정에서 개인 정보를 무리하게 활용하거나(Appelman et al., 2021), 알고리즘이 취약계층에게 편향적으로 작동했다(van Bekkum & Borgesius, 2021)는 지적이다. 네덜란드에서는 이와 같은 문제들 때문에 정부에서 추진하던 사회보장 부정수급 추적 알고리즘인 시스템 위험도 표시^{(Systeem Risico Indicatie)} 시스템이 법원에 의해 제동이 걸리면서 작동이 중단된 바 있다(Bekker, 2021).

나. 사회적 평점의 기준

유럽연합도 사회적 평점과 관련한 비판 및 부작용을 염두에 둔 것으로 보인다. 법률에 붙은 (i)과 (ii)의 내용은 인공지능의 사회적 평점이 ‘수용할 수 없는 위험’으로 간주되는 경우를 한정했다. 즉, 특정 집단이나 개인에게 불리하거나 부정적이거나 부당한 대우를 초래할 때만 사회적 평점이 금지된다. 바꾸어 말하면, 사회보장제도에서 인공지능의 작동이 ‘순기능’을 하는 경우에는 규제의 대상으로 삼지 않는다는 뜻이다. 그렇지만 논란이 종료되기는 어렵다. 사회보장 영역에서 인공지능이 급여 대상자를 판단 혹은 추론하는 과정에서 데이터 편향성 등의 문제로 특정 집단에 대한 급여를 변경/중지/중단한다면, 이는 불리/부정/부당할 수 있다(강지원, 2024. 11. 7.). 실제로 덴마크나 네덜란드 등 다수의 국가에서 사회보장제도에 순기능할 것으로 기획된 인공지능 알고리즘들이 결과적으로 차별과 편향을 낳았다는 비판에 직면했다(Jørgensen, 2021; Bekker, 2021). 이 대목은 앞으로 인공지능 기술이 사회보장 영역에서 적용되는 과정에서 끊임없이 논점으로 부각될 것으로 예상된다.

다음으로 인공지능법에서 두 번째로 수위가 높은 ‘고위험^{(high risk)}’ 인공지능 영역을 보겠다. 여기에서는 다섯 번째 고위험 인공지능 영역으로 ‘필수 민간 및 공공 서비스 분야’가 제시됐다. 이 영역은 사회보장 영역을 직접적으로 언급하고 있다. 고위험 인공지능을 영역별로 상술한 유럽연합 인공지능법 부록^(Annex) Ⅲ에서 사회보장을 다음과 같이 언급했다(Artificial Intelligence Act Annex Ⅲ, 5).

‘고위험’으로 분류한 ‘필수 민간 및 공공서비스’는 앞서 살펴본 사회적 평점^{(social scoring)}과 밀접하게 연관됨을 알 수 있다. 급여를 제공하는 사회보장 영역에서 자격 요건을 판정하기 위해서는 사회적 평점 산정이 대부분 필요하기 때문이다. 유럽연합법은 관련 고위험에 대해서 다음과 같이 상세하게 설명했다(Artificial Intelligence Act, (58)).

여기까지만 보면 유럽연합은 사회보장제도에서의 인공지능 적용에서 엄격한 입장인 것으로 보인다. 앞서 살펴본, 다소 강한 규제 내용이 사회보장 영역에서 적용될 여지도 크다. 그렇지만 법의 다음 문장에서는 현행 사회보장제도에 인공지능 기술 적용의 가능성도 열어 둔다.

사회보장 행정을 집행하는 정부 및 공공기관은 고위험 인공지능 시스템 과정에서 ‘배포자(deployer)로 구분될 가능성이 높다(강지원, 2024. 11. 7.). 배포자는 고위험성 인공지능 활용에 있어서 13가지의 의무를 이행해야 한다. 이를테면 데이터 보호 영향 평가, 기본권 영향 평가^{(fundamental rights impact assessment)} 등이 예가 된다. 정부 및 공공기관 입장에서는 부담이 크다.

고위험 인공지능 관련 규정이 유럽 사회 및 사회보장에 미칠 영향에 대해서 유럽 사회는 다소 유보적인 입장을 보인다. 독일 사회보험 유럽대표부(Deutsche Sozialversicherung Europavertretung, 2024)는 “인공지능법 도입 이후 사회적 영향을 면밀히 모니터링해야 한다”고 논평했다. 이러한 반응은 아직 인공지능법의 내용이 전반적으로 모호하고, 구체적인 후속 조치도 아직 이루어지지 않았기 때문으로 보인다. 물론 유럽 노동조합 측에서는 인공지능법이 관련 대기업에 빠져나갈 구멍을 만들어 주었다는 비판도 가하고 있다(Vranken, 2023; Del Castillo, 2023). 따라서 인공지능법 규제의 실질적인 강도는 향후 추가로 마련될 가이드라인, 기준, 표준, 행동강령, 판례 등의 내용에 따라 결정될 것으로 보인다. 앞으로 인공지능법의 구체화를 위한 논의와 협상에서 기업, 노동자 단체, 인권 단체, 관료 집단 등 이해당사자 사이에 첨예한 대립과 갈등이 발생할 가능성이 크다. 그 결과에 따라 이 법이 사회보장에 미치는 의미와 영향력이 달라질 것으로 보인다.