보건의료영역 인공지능 윤리 원칙과 고려사항^*,**

먼저 Web of Science, PubMed 등지에서 최근 5개년(2018~2022) 간행물을 대상으로 자연어 검색 방법을 사용하였다. 1차로 “medical(healthcare, medicine, health)”, “artificial intelligence (machine learning, AI, deep learning, algorithm)”, “ethics or guideline”를 검색필드 topic으로 하여 검색을 시행하였다. 이 결과 Web of Science에서는 616건, PubMed에서는 686건의 간행물이 검색되었고, 이들을 보건의료영역 인공지능 윤리와 “아주 많이 관련 있음”, “어느 정도 관련 있음”, “관련 없음”, “잘 모르겠음”으로 나누어 구분하였다. 관련이 있다고 판단된 간행물 중 인공지능에 대한 윤리 원칙, 선언을 중심으로 추려 총 129건의 문헌을 수집하였다.

수집한 129건의 윤리 원칙, 보고서 문헌들을 국제/국가별, 작성처별 -정부(국제기구 포함), 비영리재단, 비정부기구, 학계, 국제 전문가 집단-으로 분류하였다. 출처가 불명확한 다섯가지 간행물을 제외하고 국가별로 살펴보면 <Table 1>과 같다.

전체적으로 미국에서 발표된 문헌이 36건으로 가장 많았으며, 국제 기구 및 국제 전문가 집단, 글로벌 민간재단에서 발표된 문헌 또한 27건에 달하였다. 또한 영국에서 20건으로 다수의 문헌이 발표되었고 EU에서는 총 10건이 발표되었다. 그 외 일본, 캐나다, 핀란드, 프랑스, 네덜란드, 노르웨이, 싱가포르 등이 각각 2건 이상의 문헌을 발표하고 있음이 눈에 띄었다.

발행 주체별로 살펴보면 <Table 2>와 같다. 정부기관(의회, 정부주도 수립 기구, 의회 씽크탱크 등 포함)에서 발표한 문헌이 가장 많았으나 그 외 학계에서도 32건을 발표하였으며, 그 다음 산업계, 비영리재단, 비정부기관 순이었다. 인공지능개발을 주도하는 민간기업 및 기업 연합체 등 산업계에서 인공지능 윤리 원칙에 관하여 발표하는 양상이 두드러졌다.

이들 문헌의 개별 내용을 검토한 후 보건의료 관련 이슈들을 주요한 주제로 삼고 있는 문헌들을 추려내었고, 총 23개 문헌이 보건의료 분야와 관련 있는 것으로 확인되었다. 이들 23개의 문헌을 보건의료영역 인공지능 윤리 가이드라인에 활용하기 위해 추가적으로 검토하였다.

최종적으로 보건의료와 관련성이 크고 구체적인 권고 기준을 담고 있는 총 9건의 문헌, 그리고 인공지능 윤리와 관련하여 가장 빈번하게 인용되는 OECD의 “Recommendation of the Council on Artificial Intelligence” 및 UNESCO의 “Recommendation on the Ethics of Artificial Intelligence”를 포함하여 총 11개의 문헌을 선정하였다. 그 목록은 <Table 3>과 같다.

대부분의 문헌에서 사생활 보호는 기본적 가치로 다루어지고 있다. 사생활 보호는 인간의 자율성과 존엄성을 보호하는 규범 및 실천이며 침해로부터의 자유, 감시받지 않을 자유, 자기 정체성에 대한 통제 등의 개념을 포함한다. 또한 사생활 보호는 개인의 신체, 정신 및 평판에 대한 보호를 모두 포괄한다고 할 수 있다[17].

보건의료 인공지능은 민감정보인 의료데이터를 이용하기 때문에 사생활 보호 문제가 필연적으로 대두된다. 기본적으로 다량의 데이터를 이용한 임상연구에서 데이터 주체의 사생활 보호 및 동의 문제가 인공지능 개발에도 문제가 된다. 우선 임상연구에서 데이터 수집에 대한 동의를 구하는 경우 연구 내용에 대한 충분한 정보를 제공한 다음 동의를 구하는 것이 요구되는데, 보건의료 인공지능 연구의 경우 연구 내용에 대한 “충분한” 정보를 제공하는 것 자체가 어려울 수 있다. 뿐만 아니라 이 이슈가 중요한 이유는 딥러닝 인공지능의 학습 방식과 관련이 있다. 딥러닝 인공지능이 구현되기 위해서는 기존 연구에서는 볼 수 없는 대량의 데이터를 활용하여 인공지능을 훈련시켜야 하며, 다량의 민감정보가 추출, 수집, 연계되는 과정에서 개인의 사생활이 침해될 가능성이 커질 수 있기 때문이다.⁵⁾ 또한 딥러닝 인공지능은 한 개인에 대해 더 많은 정보가 갖추어 질수록 더 정확한 결과를 산출해낼 수 있다. 특히 사회경제적 상태, 유전적 특성 등 민감하게 여겨질 수 있는 개인의 특성은 역학적으로 입증된 질병의 상관요인이기에, 보건의료 인공지능의 성능 극대화를 추구할 경우 이러한 사생활 데이터를 활용하여 정확성을 높이는 방향으로 알고리즘이 구현될 가능성이 있다.

또한, 빅데이터를 활용하는 보건의료영역 인공지능의 개발 및 활용 과정에서 설명동의 없이 개인정보 데이터가 공유되거나 수집된 데이터를 사전동의 받지 않은 다른 목적으로 사용(re-purpose)하는 경우가 발생할 수 있다. 이러한 우려는 데이터 노출로 인한 신원 도용 및 범죄의 위험 발생 등, 사생활 보호 미비로 인한 여러 문제가 발생할 수 있다는 위험성으로 인해 더욱 강화되고 있다[15].

여러 윤리 문헌은 사생활 보호와 기밀유지에 대한 우려를 해소하기 위해 인공지능 전 생애주기에 걸쳐 사생활 보호 원칙이 지켜지도록 주의를 기울일 필요가 있음을 강조한다. 즉, 데이터 수집이 개인의 자율성에 기반한 동의를 존중하는 방향으로 이루어져야 할 것과 더불어 개인정보 데이터의 보관 과정에서의 발생할 수 있는 개인정보 노출 가능성이 없는지, 인공지능의 활용단계에서 환자의 정보 수집 시 사생활 침해의 여지가 없는지를 전 과정에서 면밀히 살펴보도록 하고있다[13,18]. 이것은 인공지능 생애주기 전반의 거버넌스에서 사생활 보호 원칙이 지켜질 수 있도록 규제 거버넌스 체계를 수립할 것을 요구한다.⁶⁾

최근 유럽을 비롯한 각 국가에서는 개인정보의 보호 및 활용의 균형을 도모하기 위한 제도적 변화가 이루어지고 있다. 2018년부터 시행되고 있는 유럽연합의 GDPR(일반 개인정보 보호법, General Data Protection Regulation)은 가명정보⁷⁾ 개념을 명시하고, 과학적 연구에 대한 동의 방식으로 포괄적 동의를 허용하였으며, 자동화된 의사결정에 대한 설명을 들을 권리 등 변화하는 데이터 처리 환경을 반영한 규정을 도입하였다. 한국에서도 이른바 데이터 3법(개인정보 보호법, 정보통신망법, 신용정보법)의 개정을 통해 인공지능 등의 개발 및 활용 과정에서 합법적 데이터 수집의 가능성을 열고, 거버넌스 정비를 통해 인공지능 개발 등 빅데이터 활용 산업의 효율화를 도모하고자 하였다. 예를 들어 개인정보 보호법(이하 ‘개인정보법’이라 한다.) 개정은 가명정보 처리 특례 규정을 신설하여 개인정보의 활용에 대한 제약을 완화함으로써 데이터 기반 연구 및 개발을 촉진하는 방향으로 변화가 이루어졌다[19].

그러나 개인정보법 개정 이후에도 가명처리 기준이나 방법이 모호하여 특례규정을 활용하는데 제약이 있다는 의견을 있었고, 이를 반영하여 보건복지부와 개인정보보호위원회가 합동으로 「보건의료데이터 활용 가이드라인」을 발표해 보건의료분야의 빅데이터 활용에 대한 구체적 기준을 제시하고자 하였다[20]. 그럼에도 데이터 수집 과정에 대한 윤리적 우려는 완전히 해결되지 않았다. 가령, 국가인권위원회는 데이터 3법이 데이터 제공자의 인권보호에는 미흡함을 지적하였는데, 가명정보를 결합, 활용하는 과정에서 개인을 재식별화 할 가능성이 있음에 우려를 제기하였다[21].

보건의료영역에서 인공지능을 사용하는 것은 민감정보 사용 연구 일반의 고려사항 외에 추가적인 고려사항이 필요하다. 이를테면 데이터 수집 과정에서 사생활 보호를 위해 단순히 개인식별 정보를 제거하는 것 이상의 과정이 필요할 수 있는데, 영상 이미지를 의료 인공지능 학습에 사용하고자 할 때 이미지가 개인을 특정화할 가능성이 없는지 추가적으로 확인하는 과정을 거쳐야 할 수 있다[10,11]. 더 나아가 다른 윤리가치와 사생활 보호 간에 상충되는 상황이 발생할 수 있다. 영국 의학 왕립 아카데미(Academy of Medical Royal Colleges)와 유럽평의회(Council of Europe) 등은 사생활 보호와 정확성의 균형을 잡는 것이 중요함을 지적하고 있는데, 인공지능 알고리즘의 정확성과 진화는 양질의 대량의 데이터 가용성에 달려있기 때문이다[9,14]. 즉, 빅데이터를 활용하는 보건의료영역 인공지능 기술의 발전과 정확성 향상을 위해서 기존의 개인정보 보호 원칙을 어느 정도 완화할 수 있는지에 대한 일정한 사회적 합의점이 필요하다.

종합하자면, 보건의료 인공지능을 활용하는 데 있어 기술적, 법적, 거버넌스 차원에서 인공지능의 특성을 인지할 필요가 있고, 개발에서부터 임상현장에서의 적용에 이르기까지 이해관계자들 모두가 사생활 보호의 윤리적 중요성을 인식할 필요가 있다. 또한 다량의 의료데이터를 이용, 연계하여 인공지능을 개발할 때 의도치 않은 재식별 위험 등을 지속적으로 관리하고 예방하여야 하며, 이를 위해서 법적인 규제 방안을 마련하는 것을 넘어선 데이터 보호 거버넌스 체계가 마련되어야 한다. 뿐만 아니라 인공지능의 알고리즘 정확성 및 의학적 유용성과 사생활 보호 사이에 상호 갈등이 있음을 인식하고 균형점을 수립하기 위해 사회적 합의가 이루어질 필요가 있다.⁸⁾

앞서 윤리원칙을 매핑 및 도출하는 과정에서 데이터 수집 영역에서 형평, 공정, 반차별의 원칙, 그리고 사회적 환경 영역에서 결과의 적용의 불평등함에 대한 평등, 사회정의 원칙이 포함되었다. 유럽의회 연구기구(European Parliamentary Research Service)가 발간한 “Artificial Intelligence in Healthcare”는 보건의료분야 인공지능이 공통적으로 (1) 성별과 젠더, (2) 연령, (3) 민족, (4) 지리적 위치, (5) 사회경제적 상태에 따른 편향을 가질 수 있음을 지적한다[15]. 이러한 편향성의 원인으로는 기존 데이터 셋의 불균형, 사회 내 구조화된 차별과 편향의 결과로 인한 데이터 수집단계의 문제, 그리고 개발팀의 다양성 부재로 인한 인공지능 개발 과정의 편향 감수성 미비 등을 들 수 있다. 또한 테크놀로지 장비 보급 불균형으로 인한 데이터 수집 및 보건의료 인공지능 공급과 활용인력의 불균형도 편향 및 불평등의 주된 원인이 될 수 있다[15,22]. 이를 데이터 수집영역(a. 인공지능 학습 데이터의 편향)과 결과 적용(b. 인공지능 적용의 불평등)영역 두 가지로 나누어 분석하면 다음과 같다.

보건의료영역 인공지능 윤리에서 자율성 및 동의 이슈 역시 두 가지 영역으로 나누어 생각해 볼 수 있다. 데이터 수집 단계에서 동의를 얻는 것, 그리고 인공지능을 임상현장에서 사용할 때 그 활용에 대한 동의를 얻는 문제이다. 이들 중 데이터 수집 단계의 동의 문제는 사생활 보호 원칙에서 다루고 있다. 아래에서는 임상진료에서의 인공지능 활용과 관련한 자율성 및 동의의 문제에 대해 주로 다루고자 한다. 이는 보건의료 인공지능 활용이 기존의 의료기기 활용과 마찬가지로 추가적인 동의를 받을 필요가 없는 통상적 진료에 해당하는가에 대한 논의로 귀결된다.

WHO는 보건의료영역에서 인공지능을 비롯한 기계의 자동화 수준이 높아지는 것이 인간의 자율성을 침해해서는 안 된다는 점을 기본 원칙으로 삼고 있다. 이는 기존 의료 맥락에서 의료인과 환자 간의 소통에 기반한 결정과정에 기계가 개입함에 따라 인간 행위자의 자율성¹²⁾이 침해될 수 있다는 우려에서 비롯된다. 다시 말해 인공지능의 의사결정과정 및 소통방식은 기존의 의사-환자간 소통과는 질적으로 달라서 환자가 그를 이해하고 소통하는데 어려움을 겪을 수 있는데, 그 결과 환자가 자율적 의사결정을 할 여지가 줄어들 수 있다는 것이다[12].

현 시점에서 보건의료 인공지능 발전수준에서 의사의 개입 없이 인공지능이 최종 진단을 내리는 것이 바람직하지 않다는 데는 여러 문헌들의 견해가 일치한다[12,13]. 하지만 최종진단이 아닌 의사의 진단을 보조하는 수준의 의료 인공지능의 활용할 경우 환자에게 이를 알리고 동의를 받아야 하는지에 대해서는 다양한 의견이 존재한다[10,30,31]. 예를 들어 싱가포르 보건부에서 발간한 “Artificial intelligence in Healthcare Guidelines(AIHGIe)”과 UNESCO의 “Recommendation on the ethics of artificial intelligence”에서는 진료과정에서 인공지능이 개입할 경우, 이를 미리 고지하고 사용에 대한 동의를 구하는 것을 원칙으로 제시한다. 이러한 관점은 인공지능 활용을 환자에게 공개하고 설명함으로써 진료 과정의 투명성을 높이는 데 주안점을 두고 있다[11,13].

그러나 무조건적인 공개에 회의하며 인공지능의 활용으로 인한 위험의 특성과 그 발생가능성에 따라 공개 여부를 결정해야 한다는 시각도 존재한다. Cohen은 보건의료에서 인공지능이 의사의 감독하에 보조적으로 사용될 경우 이는 통상적 진료의 일환으로 그 사용을 공개를 할 의무는 없으며, 추후 인공지능 사용이 보편화 될 경우 더욱 그럴 것이라는 의견을 제시한다[31]. 현재 이미 현장에서 동의과정 없이 인공지능 사용이 이루어지고 있음을 받아들여야 한다는 입장도 존재한다. Kiener의 경우 블랙박스 속성을 지닌 인공지능은 편향과 사이버공격에 완전히 자유로울 수 없기에 그 사용을 공개하는 것이 옳다고 주장하지만, 그럼에도 현재 임상현장에서는 위험성이 크지 않다고 판단되는 인공지능의 경우 동의 과정을 거치지 않고 사용되고 있다고 지적한다[30].

인공지능 활용에 대한 동의를 받는다면 어떤 수준의 정보 및 설명에 근거하여 동의를 받아야 할지에 관해서도 검토가 필요하다. 유럽평의회에서는 인공지능 활용에 대한 정보를 공개할 경우 인공지능 시스템이 어떻게 기능하는지, 어떻게 설계되고 검증되었으며 운용되고 있는지, 그리고 시스템을 조사하기 위해서는 어떤 정보가 필요한지에 대한 설명이 필요하다고 주장한다. 그와 더불어 인공지능이 가지고 있는 잠재적인 위험요인 역시 공개될 필요가 있다고 주장한다[14]. 향후 충분한 설명에 근거한 동의(informed consent)가 가능하기 위해서는 인공지능에 대한 투명하고도 설명가능한 정보 공개가 선행될 필요가 있을 것이다.

현재 인공지능 개발 분야에서는 안전성, 보안성, 견고성 등이 필수적인 가치로 등장하고 있다. 먼저 용어의 구체적 의미를 살펴보면, 안전성(safety)은 위험과 관련된 용어이며 인공지능 시스템 운영에 있어 시스템에 위협을 일으킬 수 있는 조건을 최소화시키는 것을 의미한다. 보안성(security)은 사이버보안(cybersecurity)¹³⁾의 개념을 포함하며 외부의 공격 혹은 예상치 못한 시스템의 변화에 대응할 수 있음을 뜻한다. 견고성(robustness)은 인공지능 시스템에 통제불능한 요소가 존재하는 경우에도 제대로 기능할 수 있으며 발생 가능성이 있는 오류를 관리할 수 있음을 지칭한다. 신뢰성(reliability)은 수용될 수 있는 범위 내에서 통계적으로 편차가 적은 결과를 생성할 수 있는 지의 여부를 말한다[32].¹⁴⁾ 이러한 네 가지 요소들은 위험관리에 연계된 내용에 가깝다.

여러 문헌들은 인공지능이 의료적 의사결정에서 인간을 부분적으로 대체하고 보조하기 위해서는 보건의료 인공지능의 안전성 대한 검증기준과 그 검증이 핵심적인 임상도입의 요건이어야 한다고 말한다[14,33]. 이를 위해서 인공지능시스템 전 생애에 걸쳐 안전성의 손상이 최소화되어야 하며, 이를 보장할 수 있는 규제와 거버넌스가 필요하다.

또한 외부의 공격으로부터 보안성을 갖춘 인공지능을 갖추기 위해서는 자체보안성능이 구비되어 있어야 하며 잠재적 보안 위협에 대한 지속적인 모니터링 시스템과 보안 문제가 발생했을 때의 복구 시스템 역시 구비되어 있어야 한다.¹⁵⁾ 필요에 따라 인공지능 활용 과정에서 그 활용을 중단하여야 하는 최소한의 보안 하한선을 정해 두어야 할 수 있다[11].

그러나 보건의료 인공지능이 기술적 차원에서 안전하고 신뢰 가능하며 오류산출 가능성이 적다 하더라도 임상적 적용에서는 또 다른 환자 안전에 대한 위협이 될 수 있다. 계산 상에서는 오류가 없다고 하더라도 현실 맥락을 반영하지 못함으로써 위해를 가져올 수 있는 것이다. 가령 한 의료 인공지능은 배경지식에 대한 인지 불능으로 인해 천식을 기저질환으로 가진 경우 그렇지 않은 경우보다 폐렴 감염의 예후가 좋다고 판단하였다. 인공지능이 데이터를 수집한 의료기관에서는 천식을 기저질환으로 가지고 있던 환자는 폐렴으로 병원에 내원할 경우 즉시 중환자실 입원 대상이었고, 중환자실의 집중치료는 매우 효과적이었기 때문에 생존율이 일반 환자보다 오히려 높았다. 인공지능은 이러한 맥락을 이해하지 못하여 천식과 생존률의 상관관계만을 고려했고 결과적으로 잘못된 인공지능 알고리즘을 갖추게 된 것이다[35]. 특히 딥러닝 인공지능이 가지는 블랙박스 특성으로 인해 인공지능이 위해를 발생시킬 가능성을 내재하고 있다고 하더라도 그를 파악하기 어려울 가능성이 존재하며, 만약 오류를 감지해 내기 어렵거나 혹은 오류로 인해 연쇄반응이 이루어 진다면 심각하게 환자에게 위해를 가져다 주는 결과를 초래할 수 있다[8].

임상현장에서 발생할 수 있는 위해를 최소화하기 위한 더 적극적인 대응으로, 인공지능 전반에 걸쳐 오류가 발생했을 때 이를 찾아내고 보완할 수 있는 개념인 추적가능성(traceability)을 최대한 보장해야 된다는 견해가 있다[1]. 추적가능성은 투명성, 설명가능성과도 큰 관련성이 있는데, 의료에 존재할 수 있는 모든 위협요소를 인공지능의 전 생애주기에 걸쳐 찾아내고 보완하기 위해서는 위협을 확인하고 해결할 수 있는 가능성을 가지고 있어야 하기 때문이다.

더 나아가서 EU에서는 견고함의 개념을 기술적인 차원을 넘어 사회적 차원으로 확대한다. 견고한 인공지능(robust AI)을 윤리적일 것(ethical), 적법할 것(lawful) 외 인공지능의 주요 3요소 중 하나로 설명하고 있다. 이는 사회적 평등, 지속가능성 등 사회적, 범지구적으로 중요한 가치 역시 손상시키지 않는 방향으로 인공지능이 개발되어야 한다는 취지이다. 이러한 시각은 평등, 지속가능성 등 다른 윤리적 차원과 맞닿아 있다고 할 수 있다[32].

인공지능의 안전성을 확보하고 신뢰를 증진시키기 위해 유럽평의회는 기술적 차원 이상의 인공지능 평가 체계를 갖출 것을 요구한다. 즉, (1) 인공지능 의료기기의 임상적 역할을 명확히 세울 것, (2) 정확성 이외에 갖추어야 할 능력을 규정할 것, (3) 평가 과정을 간단한 것부터 차례대로 세분화할 것, (4) 제 3자를 통한 외부 평가 과정을 증진할 것 (5) 인공지능 평가 결과 보고를 위한 표준화된 가이드라인을 활용할 것을 제시하고 있다[14]. 이러한 방법을 통해 의료적으로 불가피한 범위 이상의 위해와 안전성 위협은 인공지능 생애주기 전체에 걸쳐 최소화 될 수 있어야 하며, 예상치 못한 변화 혹은 위해 발생 가능성이 확인될 시 이에 대응하는 대응책이 마련되어 있어야 한다[2,13].

설명가능성 및 투명성의 문제 또한 딥러닝 인공지능의 특성인 블랙박스 속성과 관련성이 크다. 딥러닝 인공지능은 인간의 뇌신경망을 모방하여 알고리즘 내부에서 여러 단계의 네트워크를 구성하여 결과값을 산출하는데 이 과정에서 결과값을 내는 프로세스를 기존의 인간의 학습 및 정보전달 방식으로 제시하는 것이 어렵기 때문이다. 이러한 어려움은 의료 인공지능을 실제로 활용하는 의료진과 환자 뿐 아니라 인공지능 개발자에게도 마찬가지로 적용된다. 이는 딥러닝 인공지능이 지니는 독특한 특성으로, 보건의료 인공지능의 개발 및 활용의 윤리적 논의에서도 설명가능성 및 투명성의 문제는 빈번히 다루어지고 있다.

투명성, 설명가능성, 해석가능성 등 용어들의 구체적 의미를 살펴볼 필요가 있다. 우선, 투명성(transparency)은 인공지능이 산출한 결과값이 원래 의도했던 결과값인지 평가하기 충분한 정보를 제공할 수 있도록 사전에 설계되어 있어야 함을 말한다. 설명가능성(explainability)은 인공지능 모델의 운영방식에 대한 설명이 쉽게 이해될 수 있어야 한다는 의미이며, 해석가능성(interpretability)은 인간이 의사결정을 내리기에 유용한 결과값을 인공지능이 도출할 수 있어야 한다는 의미이다[10].

인공지능이 편견을 가지는지 혹은 인공지능이 잠재적 위해의 가능성을 가지고 있는지 등 보건의료 인공지능의 윤리적 문제를 파악하기 위해서는 투명성과 설명가능성이 선행되어야 한다. 즉, 투명성과 설명가능성은 윤리적 인공지능이 기본적으로 갖추어야 하는 전제조건이다[13,36].¹⁶⁾ 우선 투명성은 기술의 재현가능성을 평가하기 위한 필수조건이다. 유럽의회 연구기구에서는 투명성이 결여될 경우 (1) 인공지능 알고리즘에 대한 독립적 재현 및 평가가 어려워지고, (2) 인공지능 오류의 원인 파악 및 책임소재 파악이 어려워지며, (3) 인공지능의 예측과 결정에 대한 신뢰 및 이해가 불가능해져, (4) 임상진료 및 일상생활에서 인공지능 도구 채택이 제한될 수 있다고 설명하고 있다[15]. 그리고 WHO는 투명성이 요구되는 내용에는 기술이 전제하는 조건과 그 한계, 운영 프로토콜, 데이터의 속성, 알고리즘 모델 개발의 속성에 대한 정확한 정보를 포함한다고 말한다[12].

그러나 인공지능에는 투명성 뿐만 아니라 설명가능성의 가치 또한 필요로 한다. 인공지능이 특정한 결과값을 낸 판단의 근거가 무엇인지, 인간의 언어로 해석하고 설명하고 이해가 가능해야 하기 때문이다. 의료진은 보건의료 인공지능과 효과적으로 상호작용하고 그 산출결과를 이해하며 그 결과에 대한 정보를 환자와 공유하기 위해서 투명성에 더해 설명가능성을 갖출 필요가 있다[2]. EU의 GDPR 역시 모든 사람은 자동화된 인공지능 프로세스 뒤에 존재하는 의미 있는 정보를 제공받을 권리가 있음을 언급하여 설명가능성의 중요성을 드러내고 있다[10].¹⁷⁾

유럽의회 연구기구는 설명가능성 문제를 보완하기 위한 여러가지 복안을 제시하는데, (1) ‘AI 패스포트’를 창출하는 것,¹⁸⁾ 2) 인공지능 알고리즘을 모니터링 할 수 있는 추적가능한(traceable) 도구를 개발하는 것,¹⁹⁾ (3) 임상현장에서 사용자가 설명가능한 인공지능 설계에 참여하는 것, (4) 추적가능성²⁰⁾과 설명가능성을 인공지능 의료기기 인허가의 전제 조건으로 제시할 것 등을 들고 있다. 이러한 복안들은 인공지능 기술 도입 과정에서 설명가능성과 결과의 추적가능성 수준을 높일 것으로 일정 수준 기대된다.

그러나 일정 수준의 설명가능성과 추적가능성을 높이더라도 기존의 의료 수준의 설명가능성을 확보할 수 있을지는 의문이 크다. 현재 기술적 차원에서 딥러닝 인공지능의 설명가능성을 확보하기 위한 노력으로는 사후 설명가능성(post-hoc explainability) 확보 시도가 있다. 가령 영상의학적 이미지를 활용하는 의료 인공지능의 경우 히트 맵(heat map) 혹은 돌출 맵(saliency map)을 통해 어떤 영역이 결과값 산출에 큰 영향을 미쳤는지를 보여주는 시스템을 활용하는 것이다.²¹⁾ 하지만 이와 같이 인공지능의 작동원리를 개괄해 낼 수 있는 시스템을 마련한다고 하더라도 딥러닝 인공지능 메커니즘의 특성상 임상에서 개별환자에 대해 인공지능이 산출해 낸 결과값에 대해 그 환자에게 충분한 설명을 제공하기 어려울 수 있다. 설명가능한 인공지능에 대한 여러 문헌들은 설명가능성이 맥락, 청자, 목적에 따라 다르게 적용될 수 있음을 지적한다[2,38]. 이는 어떠한 정보가 더 중요하게 사용되었는지를 제시하는 수준의 사후 설명가능성 기술로는 임상적 활용에 충분한 설명수준을 확보하지 못할 수 있음을 시사한다.

또한 딥러닝 인공지능의 내재적 특성상 설명가능성의 확보에 한계가 있다는 시각도 존재한다. 많은 문헌에서 인공지능의 설명가능성은 그 가치 확보를 위해 정확성을 희생하는 상충(trade-off) 관계에 있음을 지적한다[32,38,39]. 설계 단계에서부터 설명가능한 인공지능을 제작할 경우 딥러닝의 장점을 일정부분 희생해야 할 수도 있다는 것이다.²²⁾

사후 설명가능성의 확보, 인공지능 패스포트 등 설명가능성 및 추적가능성을 확보할 수 있는 여러 방안이 제시되고 있지만, 블랙박스 특성의 한계로 인해 설명가능성을 완벽하게 확보하는 것은 어려운 상황이다. 그러나 UNESCO가 지적하듯, 투명성과 설명가능성 등에 대한 분명한 요건의 수립이 인공지능의 신뢰성 확보에 바탕이 되어야 하며, 인공지능 기술 인허가 과정에서 핵심 이슈가 될 필요가 있다[13].

인공지능 맥락에서 책무성(accountability)은 위험한 결과가 발생했을 때 책임질 수 있는 주체에 관한 개념이다. 개별 운영자와 조직은 인공지능이 산출한 결과에 대해 응답하고 책임질 수 있어야 한다[40]. 책임성(responsibility)은 책무성과 거의 동시에 사용되는데, 역시 결과에 대한 책임과 관련된 개념이라 할 수 있다. 책무성 및 책임성 역시 설명가능성과 연계된 개념이라고 할 수 있다. 문제가 발생했을 경우 그 원인에 대해 이해하고 설명하는 것이 책무성의 핵심개념이기 때문이다[41].

보건의료 인공지능의 책무성 문제에서 다루어지는 중요한 이슈 중 하나는 의료 인공지능의 활용의 결과 오진이 발생했을 때 설명의 의무 및 책임이 누구에게 있는 가의 문제이다. 이는 법적 책임(liability)을 누가 감수해야 하는 지와 직결되어 있다. 인공지능을 활용한 진료에서 인간에게 위해가 발생할 수 있는 두 가지 경우 [(1) 인공지능을 따르지 않아 오진이 생기는 경우, 즉, 인공지능은 바르게 진단했으나 인간이 그를 따르지 않은 경우, (2) 인공지능을 따른 결과 오진이 생기는 경우, 즉, 인공지능은 잘못 진단했으나 인간이 그에 반하는 결정을 내리지 않음] 각 경우에 대해 인간의 책임은 어디까지인지, 책임을 져야 한다면 인공지능 개발자와 활용 의료진 중 누구의 책임인지에 대한 법적, 윤리적 불확실성이 해소되지 않은 상태이다. 이러한 불확실성은 책무성의 공백(gap in accountability)이라는 개념으로 표현된다[42,43]. 책무성의 공백이란 인공지능의 블랙박스 특성으로 인한 투명성 부족으로 인해 개발부터 활용에 참여하는 다양한 행위자의 역할과 책임을 규명하는 것이 어려움을 의미한다[14].

책무성의 공백으로 인해 의료인들이 법적 책임의 가능성을 우려하여 인공지능 도입을 꺼리게 될 수 있다. 구체적으로 책무성의 공백에 해당하는 요소로 유럽의회 연구기구는 (1) 책임과 책무성에 대한 명확한 법적 규제가 없는 점, (2) 의료 인공지능 개발 및 활용에 다양한 행위자가 참여하여 책임소재를 가리기 어려운 점, (3) 인공지능 산업에 법적, 윤리적 거버넌스가 미비한 점을 들고 있다[15]. 그와 함께 이러한 책무성의 공백을 완화할 수 있는 방안으로는 (1) 인공지능이 개인에 위해를 가했을 때의 개발자 및 사용자의 역할을 확인하는 프로세스를 도입하는 것, (2) 인공지능 개발자 및 사용자에 일관된 규제 프레임워크를 개발 및 적용하는 것, (3) 의료 인공지능을 규제하는 전문 규제기관을 설립하는 것이 제시되고 있다[15].

UNESCO에서는 인공지능 생애주기에 있는 모든 행위자들이 윤리적, 법적 책임감을 가지고 인공지능 시스템의 결정과 행동에 대한 책임을 나눌 수 있어야 한다고 말하며, 이를 위해 내부고발자 보호를 위한 적절한 감독, 영향평가, 감사 및 실사(due diligence) 메커니즘을 확보해야 한다고 언급한다[13]. 책무성의 공백 해소에 대한 현재의 요구는 인공지능 시스템의 감사가능성(auditability)을 염두에 둔다.

다만 OECD는 책무성을 인간 주체성 및 감독(human agency and oversight)과 구분하여 제시한다[2]. 여기서 인간주체성은 인공지능의 자동적 결정이 만들어낼 수 있는 무의식적인 종속, 조건화 등을 경계하고 이러한 특성에 대한 사전 설명이 이루어져야 한다는 개념이며, 책무성과 달리 고려해야 할 사안이라고 본다. 인간의 감독은 휴먼인더루프(Human-in-the-Loop) 휴먼온더톱(human-on-the-top), 휴먼인커맨드(human-in-command) 등의 용어와 함께 사용된다. 휴먼인더루프는 인공지능의 모든 결정 사이클에 인간이 개입할 수 있는 역량을 의미하며, 휴먼온더톱는 인공지능의 설계 사이클 및 운영 모니터링에 인간이 개입할 수 있는 역량을 의미한다. 휴먼인커맨드는 인공지능 시스템의 전반적 활동을 감독하고 이를 어떤 상황에서 어떻게 사용할 지를 결정할 수 있는 역량을 의미한다. 즉, 책무성이 부정적 영향의 최소화를 위한 감사가능성을 의미한다면, 인간 감독은 인간의 능동적 인공지능 시스템 개입 능력을 의미하는 것이다.

인간의 감독 관점에서는, 보다 주체적으로 인간이 인공지능을 제어하고 관리할 수 있기 위해 인공지능 시스템과 그 사용되는 환경에 대한 이해를 명확히 하고 인공지능에 대해 인간이 개입할 수 있는 충분한 시간을 확보하는 것이 필요하다. 가령 사이버 보안 문제가 발생시 제어하기 어려운 속도로 문제가 확산될 수 있는데 시스템적으로 인간이 개입할 여지가 미리 확보될 경우 여러 예외상황에서도 인간이 책무성을 가지고 이를 해결해 나갈 수 있게 된다[44]. 이것은 문제 발생 사후 감사가능성의 관점으로 책무성 문제를 접근하는 것과 다른 접근이 될 수 있다.

1987년 세계환경개발위원회(World Commission on Environment and Development)에 따르면 지속가능한 발전은 미래세대가 누릴 수 있는 잠재적 이익을 침해하지 않으면서 현재 세대의 욕구를 충족시키는 발전을 의미한다[45]. 여러 문헌들은 지속가능한 개발과 포괄적 성장을 인공지능이 가져야 할 중요한 윤리적 특성으로 언급하고 있다[13,40]. 이는 사회, 문화, 경제, 환경 등 다양한 환경적 측면에서 인공지능이 지속가능한 사회를 만들어 나갈 수 있도록 기여해야 한다는 의미이다. 여기에는 인공지능에 투입되는 비용 대비 편익이 지속가능해야 된다는 좁은 의미의 내용²³⁾에서부터 소수자 집단과의 포괄적 성장, 성별, 인종, 민족간 불평등 해소, 그리고 자연환경 보호의 개념이 모두 포함되어 있다고 할 수 있다. WHO는 지속가능성의 확보가 보건의료 인공지능의 도입을 위해 필수적임을 강조한다[12]. 즉, 다양한 차원에서의 불평등을 해소하고 지속가능한 근무환경, 자연환경의 유지를 토대로 보건의료 인공지능이 포괄적 성장을 이뤄낼 수 있을 것으로 기대한다.

현재 보건의료 인공지능의 도입에서 가장 많이 논의되는 지속가능성의 영역은 보건의료 근무환경이다. 보건의료 인공지능의 도입을 통해 환자의 의료 접근성 및 진료 정확성이 개선되어 환자에게 긍정적으로 작용할 것으로 기대되지만 의료상담, 조언, 치료과정에서 의료제공자의 역할에 큰 변화가 일어남에 따라 여러 예상치 못한 문제점을 유발할 수 있다[9]. 특히 보건의료 인공지능 시스템이 의료환경에 성공적으로 도입되기 위해서는 의료제공자가 인공지능을 신뢰하는 것이 중요한 요건이므로 인공지능 시스템이 보건의료환경에 성공적으로 정착되기 위해서는 의료제공자에 미칠 잠재적 영향을 고려하여야 한다[8]. 인공지능 도입으로 인해 의료인들은 자율성이 침해당한다는 생각이 들 수 있으며 요구되는 기술이 변함에 따라 환경에 대한 적응이 어려울 수 있다. 또한 의료인과 환자의 접촉 양상 또한 크게 달라질 수 있으므로 의료인들에게 이에 대한 대비 또한 요구된다. 따라서 근무환경이 지속가능하기 위해 정부 등 보건당국은 의료인이 바뀌는 근무환경에 쉽게 적응할 수 있도록 교육 프로그램을 제공해야 한다. 그와 더불어 인공지능 도입을 이유로 의료인력의 지나친 축소가 일어나지 않도록 감독하는 등 보건의료 직무환경의 지속가능성을 유지, 증진하는 노력이 꾸준히 동반되어야 한다[12].

의료 인공지능의 발전이 인적, 물적 의료 자원이 넉넉하지 않은 개발도상국의 의료의 질 향상에 기여하여 지속가능한 세계를 만드는 데 큰 기여를 할 것이라는 기대 역시 존재한다. 보건의료 인공지능은 의료에 필요한 비용을 절감하고 의료 접근성을 강화하며 전염성 질환 등 개발도상국에 호발하는 질환의 추적 및 예방에 도움이 될 수 있다[47].²⁴⁾ 하지만 인공지능의 활용을 통한 개발도상국 의료의 질 향상을 위해서 추가적으로 고려해야 할 사항이 존재한다. 가령 개발도상국에서는 인공지능 알고리즘의 높은 질을 보장하는 인풋 데이터의 확보가 어려울 수 있다. 선진국에서 수집한 데이터를 바탕으로 제작한 보건의료 인공지능은 선진국과는 다른 질병특성을 가진 개발도상국의 건강상태를 반영하지 못할 수 있으며, 부족한 경제적 상황을 고려하지 않는 고비용 치료를 권할 수 있다는 점에서 효용성이 떨어질 수 있다. 또한 개발도상국에서는 윤리적이고 효율적인 의료 인공지능을 관리하는 거버넌스 체계가 미비할 가능성도 있다[12,40,47]. 따라서 인공지능의 개발도상국 도입 및 확산 과정에서 이러한 특성에 대해 유념해야 할 필요성이 존재한다.

환경 친화적 의료시스템 구축에 보건의료 인공지능이 기여할 수 있을 것이라는 기대도 존재한다. ‘녹색 생명윤리(green bioethics)”의 관점에서 지속가능한 의료는 미래세대의 잠재적 이익을 희생하지 않는 현세대의 발전으로, 정의의 원칙(principle of justice)에 부합하는 중요한 윤리적 가치이다. 이러한 관점에서 자원의 소비를 절감하는 응급의료 인공지능 트리아지 시스템(triage system)은 녹색생명윤리의 관점에서도 바람직한 인공지능 개발이 된다. 반면 거동이 불편한 환자를 모니터링 하는 의료 인공지능에 오류가 발생하여 환자의 부상을 방치한다면 이는 의료적으로도 불량한 인공지능임과 동시에 자원낭비를 유도하는 인공지능에도 해당할 수 있다[48].