권 현 KAIST 전산학과 박사과정 육군 대위
방승호 육군 전투지휘훈련단 (교관) 육군 소령

최근 인공지능AIArtificial Intelligence 기술 중 딥뉴럴네트워크 DNN Deep Neural Network를 적용하여 이미지, 음성, 영상 등의 서비스 분야에서 기존보다 매우 향상된 수준의 서비스를 제공하는 사례를 찾아볼 수 있다. 심지어 특정 영역에서는 사람의 수준을 넘어서 훨씬 뛰어난 성능을 보여 주는 사례도 찾아볼 수 있다. 하지만 이러한 인공 지능 기술 중 딥뉴럴네트워크(DNN) 자체에도 취약점이 존재하여 이를 극복하기 위한 연구가 다양하게 진행되고 있으며 국방 분야에서 인공지능 기술을 도입시에도 이러한 취약점은 반드시 고려하고 해결할 필요가 있다. 이 글에서는 인공지능에 대한 간단한 소개와 함께 국방 분야의 정보보호 측면에서 인공지능 기술 도입 시 고려해야 할 사항에 대해 논의하고자 한다.

  최근 홍콩에서 만든 인공지능이 탑재된 ‘Sophia’ 휴먼로봇이 CNN 토크쇼에 나와 주목을 받았다. ‘Sophia’는 토크쇼 진행자가 하는 말을 이해하고 그것에 대한 답변을 내놓았다. 또한 표정과 팔 동작을 통해 사람의 감정을 50가지 이상으로 표현할 수 있었다. 이러한 ‘Sophia’의 행동은 간단해 보이지만 그 안에는 수많은 인공지능 기술이 탑재되어 있다. 먼저 토크쇼 진행자의 말을 인식할 수 있는 자연어처리가 가능해야 하고 인식된 언어에 대해 가장 적절한 답변을 미리 학습된 데이터 속에서 찾아내야 한다.
  또한 토크쇼 진행자의 위치와 동작 등을 파악할 수 있는 물체인식 능력이 있어야 한다. 그 외에도 다양한 상황에 맞는 탐지기법이 요구된다. 이 같은 ‘Sophia’ 휴먼로봇의 예처럼 인간의 수준에 도달하게 된 인공 지능 기술에 대해 보다 자세히 살펴보자.

[그림 1] 인공지능 휴먼 로봇 ‘Sophia’

  인공지능(AI)의 개념은 1956년 Dartmouth Con ference에서 발표된 ‘생각하는 기계Thinking Machines’에서 처음 출발했다고 할 수 있다. 인공지능의 개척자인 John McCarthy는 “학습, 지능의 모든 특성을 기계로 정밀하게 기술하고 구현할 수 있다”고 주장하였고 매년 수학자와 인공지능 과학자들이 학회를 열어 인공지능에 대한 학문적인 연구를 발전시켜왔다.

[그림 2] 인공지능 선구자 John McCarthy

  이러한 인공지능이 처음 등장한 지 60여 년 만에 인공지능이 다시 주목받는 이유는 무엇인가? 그 이유는 크게 2가지로 볼 수 있다.
  첫 번째는 컴퓨터의 처리 속도와 연산능력의 비약적인 발전이다. 1964년 초창기 슈퍼컴퓨터는 초당 1백만 번의 연산이 가능하였으나 현재는 초당 1,017번 연산이 가능해 약 1,000억 배 이상 연산능력이 향상되었다. 따라서 과거와 달리 복잡한 계산도 빠른 속도로 처리가 가능해졌다.

[그림 3] 슈퍼컴퓨터 5호기(2018년 도입)-25,700조 회 수행능력으로 40년 걸리는 계산을 단 1시간에 계산 가능함.

  두 번째는 인터넷, 모바일 시대의 도래에 따른 데이터 양의 폭발적인 증가이다. 2005년도에 1천 기가 바이트(GB)의 데이터를 저장할 수 있었다면 2015년도에는 8조GB가 가능했고 향후 2020년에는 44조GB(44ZB)까지 저장 및 처리가 가능할 것으로 전망하고 있다. 이렇듯 기하급수적으로 증가하고 있는 데이터를 수집하고 처리할 수 있게 되어 빅데이터를 이용한 다양한 기계 학습이 가능하게 된 것이다.

[그림 4] 전 세계의 데이터의 양

  이처럼 컴퓨터의 처리속도가 증가되었고 인터넷 및 모바일장치를 기반으로 생성된 빅데이터를 통해서 기계는 많은 데이터를 스스로 학습할 수 있게 되었으며 나아가 데이터를 자동으로 분류하거나 향후 패턴을 예측하여 새로운 데이터를 생성하는 등 인공지능 핵심기술이 발달하게 되었다.
  최근에는 이러한 인공지능 기술이 헬스케어, 금융, 사물인터넷 등 서비스 분야에 접목되기 시작하였고 학문적인 발전을 넘어 우리의 일상생활에 보다 밀접하게 적용되면서 관련 기술들이 다시 부상하고 주목 받게 되었다고 할 수 있다.

  오늘날 4차 산업혁명은 이미 시작되었다고 할 수 있다. 고도화된 네트워크로 빠른 데이터 처리 및 전송이 가능해졌고 많은 데이터가 수집된 빅데이터Big Data와 이를 저장할 수 있는 클라우드Cloud 시스템을 통해서 대용량 데이터 처리가 가능해졌다. 이러한 기반을 토대로 학습, 추론, 지각, 자연어 이해 등 인간의 능력을 프로그래밍화 하여 인공지능 기술을 실현할 수 있게 되었다. 이러한 인간의 능력을 모방하여 만들어진 딥러닝Deep Learning 또는 딥뉴럴네트워크Deep Neural Network 기술을 인공지능의 핵심기술이라 할 수 있고 다음에서 보다 자세히 살펴보자.

[그림 5] 4차 산업혁명과 인공지능(AI)

  딥뉴럴네트워크는 인간의 뇌를 모방하고자 하는 시도에서 출발하였다. 2016년 딥뉴럴네트워크 기술이 탑재된 알파고Alphago와 세계 바둑랭킹 1위 이세돌 9단 간의 대국이 매스컴을 통해 전파되면서 인공지능과 딥뉴럴네트워크에 대한 관심이 다시 한 번 전 세계적으로 커지는 계기가 되었다.

[그림 6] 이세돌 바둑기사와 알파고의 바둑대결

  알파고는 총 48개 CPUCentral Processing Unit와 8개의 GPUGraphics Processing Unit, 13개의 레이어Layer로 구성되어 있고 하루에 3만 대국씩 4주 만에 총 100만 대국을 학습하였으며 이 학습양은 인간이 1천년 동안 학습해야 하는 양과 동일한 규모이다. 이렇듯 딥뉴럴네트워크는 무수히 많은 데이터를 통해 다양한 데이터의 핵심 내용과 기능을 요약·학습하는 알고리즘 모델을 의미한다.
  딥러닝의 기초는 뇌의 신경세포인 뉴런Neuron과 유사하다. 뉴런은 뇌에서 일어나는 정보처리를 담당하고 시냅스Synapse가 이러한 뉴런들을 다양한 층으로 연결해 준다. 인간의 뇌에는 1천억 개의 뉴런과 이러한 뉴런들을 연결해 주는 1,000조 개의 시냅스가 존재한다. 이와 비슷하게 뉴럴네트워크는 뇌와 유사한 방식으로 입력된 정보를 학습하고 판별하는 모델이다. 뉴런에 해당되는 수많은 노드Node들이 존재하고 이러한 노드들이 각 층Layer마다 가중치Weight와 활성화 함수Activation로 연결되어 다음 층에 정보를 전달해 주는 방식이다.

[그림 7] 신경세포와 뉴럴네트워크와의 상관관계

  특히, 합성곱 신경망CNNConvolutional Neural Net work이 등장하면서 본격적인 딥러닝의 적용분야가 확대되었다. 합성곱 신경망은 딥러닝 알고리즘으로 데이터간의 고유 특징들만을 스스로 추출하여 학습 성능을 높이는 특징이 있다. 또한 기존 방법과 달리 공간적 정보까지 담을 수 있어서 이미지 처리 분야에서 좋은 성능을 보이고 있다.

[그림 8] 합성곱 신경망 구조

  예를 들어, 반고흐, 피카소, 뭉크 등 유명 화가의 화풍을 CNN 알고리즘을 통해 학습시켜 특정 이미지에 적용하면 새로운 이미지로 재탄생이 가능하다. 스타일을 나타내는 부분과 내용 부분을 각각 분리하여 학습하면 원본 사진에 학습된 예술가 스타일이 적용되어 나타나게 할 수 있다. [그림 9]는 저자가 CNN 알고리즘을 적용하여 ‘국방과 기술’이라는 이미지를 반고흐 화풍으로 바꿔서 나타낸 그림이다.

[그림 9] 저자가 생성한 ’19년 5월 국방과 기술 표지(원본, 왼쪽)와 반고흐(중간) 화풍으로 생성된 표지(오른쪽)

  이렇게 향상된 딥러닝 기술은 시각과 공간지능, 언어 지능, 예측 및 분석 지능 등에서 활용될 수 있다. 시각과 공간지능 측면에서는 사물인식과 자율주행 차량에서 활발히 적용되고 있다. 예를 들면, 중국에서는 수많은 사람들의 얼굴을 CCTV로 인식 후 학습을 통해 95% 이상의 정확도로 사람을 구분할 수 있는 기술을 개발했다고 한다. 또한 언어지능 측면에서는 외국어 대화를 실시간 자동으로 번역해 주는 서비스나 음성 비서 등의 분야에서 활용될 수 있다. 예측 및 분석지능 측면에서는 의료기록 및 영상분석, 진단 등의 전문분야에서도 인공지능 기술이 적용될 수 있다.

[그림 10] AI 사물 인식으로 CCTV 영상 내 사물 파악

  Google Deepmind에서 개발한 눈병 조기 진단 솔루션이 한 예가 될 수 있다. 영국의 무어필드 병원에서는 눈 스캔 데이터 100만 개를 딥러닝 기술로 학습한 딥러닝 머신이 환자의 눈을 스캔하여 분석 후 눈병 진단 및 치료법을 제안한다. 이처럼 다양한 분야에서 인공지능을 활용한 서비스가 확장되고 있다.

[그림 11] 영국 무어필드 병원에서 딥러닝 모델을 이용한 눈병 진단 및 치료법 제안

  이와 같이 인공지능 기술을 활용한 다양한 서비스 산업이 성장하고 발전 가능하게 된 배경으로 먼저 빅데이터Big Data 기술과 클라우드Cloud 환경을 살펴볼 수 있다. 높은 정확도의 인공지능을 만들기 위해서는 대용량의 데이터 학습을 위해 방대한 양의 데이터를 수집, 저장, 분석할 수 있는 빅데이터 기술이 필요하며 서버의 증설 없이 대용량의 데이터를 저렴하게 처리하기 위해 클라우드Cloud 환경 조성이 반드시 필요하다고 할 수 있다.

[그림 12] 언제 어디서든 연결 가능한 클라우드 환경

  클라우드 환경은 단순히 대용량의 데이터를 저장할 수 있는 양적인 공간의 의미를 넘어 언제 어디서든 빅데이터에 접근할 수 있는 환경을 의미한다. 구글드라이브나 네이버 클라우드처럼 대용량의 저장소에 많은 데이터를 저장해 놓고 인터넷이 연결된 장치를 통해 언제 어디서든 필요한 데이터에 접근하고 데이터를 가공 및 처리 후 다시 저장할 수 있는 환경을 말한다.

[그림 13] 한 개의 물리적인 5G 망 내 충돌 없이 서비스 제공

  두 번째로 5G와 같은 초고속 네트워크 시스템의 등장에 따른 데이터 처리속도의 비약적인 향상을 꼽을 수 있다. 인공지능 기술의 산업화를 위한 5G 네트워크 이용은 단순히 처리속도의 향상뿐만 아니라 지능형 네트워크 시스템 안에서 수십억 개의 단말 및 인공지능 융합 솔루션들이 결합하여 의료, 물류, 보안 등 모든 산업 분야의 정보가 서로 유기적으로 유통 가능한 상태를 의미한다. 즉, 5G와 같은 고도화된 지능형 네트워크는 스마트폰, 자율주행 자동차, 사물인터넷, 관제센터 등 서로 다른 속성을 가진 기기들이 단일한 물리적인 시스템 내에서 충돌 없이 다양한 서비스를 제공하는 네트워크 망을 의미한다.
  이러한 빅데이터Big Data 기술과 이를 저장하고 접근할 수 있는 클라우드Cloud 시스템, 그리고 5G 네트워크로 인해 속성이 다른 다양한 장비들이 서로간의 충돌 없이 데이터 처리가 가능한 환경이 구현되면서 인공지능(AI) 기술을 활용한 각종 서비스 산업이 발전할 수 있게 되었다.

  인공지능의 보안이슈에 대하여 처음으로 언급한 것은 2010년 Marco Barreno의 연구진이라고 할 수 있다. 이 연구에서는 인공지능의 공격유형을 두 가지로 구분하여 설명하였다.
  첫 번째 방법인 Causative Attack은 딥러닝 모델이 훈련데이터를 통해서 모델을 학습할 때, 훈련데이터에 접근하여 악의적인 데이터를 추가함으로써 딥러닝 모델의 정확도를 떨어뜨리는 공격방법이다. 그러한 대표적인 예로 Poisoning Attack이 있다.

[그림 14] 딥러닝 모델의 학습데이터에 대한 Poisoning Attack 예시

  두 번째 방법은 Exploratory Attack으로써 딥러닝 모델의 훈련데이터에 대해 접근하지 않고 데이터를 조작하여 딥러닝 모델이 잘못 인식하게 하는 방법이다. 이러한 대표적인 예로 Adversarial example Attack(적대적 샘플 공격)이 있다.

[그림 15] Adversarial Example 예시 – 왼쪽 그림은 판다(‘panda’)로 정확히 인식되지만 왜곡을 추가해서 더하면 긴팔원숭이(‘gibbon’)로 잘못 인식

  앞에서 언급한 대표적인 예인 Poisoning Attack과 Adversarial Example은 공격대상이 다르다는 차이점이 있다. Poisoning Attack은 딥러닝 모델의 학습 과정에 직접 관여하여 모델 자체의 정확도를 떨어뜨린다는 점에서 공격대상이 ‘모델’이 된다. 반면에 Adversarial Example은 딥러닝 모델이 잘못 인식하도록 데이터에 약간의 변조를 한다는 측면에서 공격 대상이 ‘데이터’가 되는 차이점이 있다.
  현실적인 측면에서 봤을 때, 실시간 데이터 변조는 공격자가 쉽게 접근하기 용이하기 때문에 Adversarial Example 방법이 좀 더 현실적이라고 할 수 있다. 따라서 2014년 이후부터 현재까지 세계적인 보안학회나 인공지능 학회에서 Adversarial Example 공격방법에 대한 다양한 연구들이 소개되고 있다.

  Poisoning Attack은 2012년 Biggio의 연구진들에 의해서 처음 소개되었다. 초기에는 인공지능 모델인 소프트 백터머신을 대상으로 공격한 사례가 소개 되었고 그 이후에 딥뉴럴네트워크와 이미지생성모델인 Auto-Encoder에 대한 공격까지 확장되었다. Poisoning Attack은 악의적인 데이터를 최소한으로 주입하여 인공지능 모델의 성능을 크게 떨어뜨리는 것이 중요하고 공격의 평가 기준이 된다.

[그림 16] Poisoning Attack으로 악의적인 데이터수가 증가할수록 딥러닝 모델의 정확도가 떨어짐

  일부 연구에서는 10~20% 수준으로 작은 양의 악의적인 데이터로 인공지능 모델의 성능을 크게 하락시킨 사례도 소개되고 있다. 또한 의료기계를 대상으로 한 Poisoning Attack 연구가 소개되기도 하였다. 이 연구에서 Mozaffari-Kermani 연구진들은 다양한 인공지능 기법이 적용된 의료기계를 대상으로 Poisoning Attack을 시도하여 대상 장비가 오작동을 일으키도록 하였다.

  Adversarial Example은 2014년도 Szegedy 연구진들에 의해서 처음 소개되었다. 이 연구에서는 데이터의 4%만 변조하여도 인공지능 모델이 97% 이상 잘못 인식하는 사례를 제시하였다. 이 방법은 사람이 보기에 식별하기 어려운 최소한의 왜곡을 원본 데이터에 주입하여 기계가 잘못 인식하는 샘플을 만드는 방법이다. 이 방법은 사람이 식별하기 어려운 최소한의 왜곡을 주입해야 한다는 것과 딥러닝 모델이 잘못 인식하게 만들어야 한다는 두 가지 목표가 중요하다. Adversarial Example은 Poisoning Attack과 달리 모델 자체를 공격하지 않고 데이터를 변조한다는 측면에서 현실 가능성이 보다 높은 공격이기 때문에 자율 주행, 의료, 음성, 영상 및 얼굴인식 등 다양한 분야에서 활발한 연구가 진행되고 있다.

  최근 딥러닝 기술을 적용한 자율주행차량이 도로 표지판이나 사물을 인식하는 응용 분야가 활발히 연구되고 있다. 이러한 측면에서 Adversarial Example을 자율주행차량에 적용할 경우 도로표지판 이미지 데이터에 왜곡을 주입하는 방법을 예로 들 수 있다.
  좌회전 표시가 있는 도로표지판에 Adversarial Example로 약간의 왜곡을 주어 우회전으로 인식하게 만들었을 경우 사람이 보기에는 전혀 문제가 없는 좌회전이지만 자율주행차량은 그 표지판을 보고 우회전으로 잘못 인식하여 사고가 발생하게 된다. 실생활에서 이러한 딥러닝 모델의 잘못된 판단은 큰 사고로 이어질 수 있기 때문에 이에 대한 보안대책이 필요하다.

[그림 17] Stop 표지판을 다른 표지판으로 오인식

  의료산업에서 인공지능 기술은 여러 환자의 데이터를 통해 학습한 딥러닝 AI 장비가 환자를 진료하거나 처방을 내놓는 방식을 예로 들 수 있다. 이런 사례에서 Adversarial Example Attack이 적용된다면 환자의 CTComputed Tomography 촬영지에 약간의 왜곡을 주어 딥러닝 모델이 잘못 판단하게 만들 수 있다.

[그림 18] 의료사업에서 Adversarial Example으로 오인식하는 사례(왼쪽이 원본, 오른쪽이 공격된 이미지)

  이렇게 딥러닝 모델이 데이터의 오인식에 따라 잘못된 판단을 한다면 환자에게 전혀 맞지 않는 처방을 내릴 수 있고 이러한 경우 환자의 건강 및 심한 경우 생명과 관련된 문제가 발생할 수 있다.

  최근 아마존에서는 음성스피커 알렉사Alexa를 개발하여 서비스를 제공하고 있다. 음성인식 스피커는 사람의 음성을 인식하여 물건을 주문하거나 기계를 통제하는 시스템을 말한다. 즉, 사람이 스피커에 음성으로 명령을 내리면 집안의 조명이나 에어컨, CCTV 등을 켜고 끌 수 있고 원하는 음악을 재생시키는 등 각종 전자제품을 작동시킬 수 있는 시스템이다. 그러나 최근 TV 속에 나오는 아나운서의 음성을 오인식하여 알렉사가 전국에 있는 인형을 잘못 주문하는 사례가 발생하였다.

[그림 19] 음성에서 Adversarial Example(위쪽이 원본, 아래쪽은 모델 오인식)-원본과 유사하여 사람은 식별하기 어려움

  이렇게 스피커가 사람의 말을 잘못 인식하여 문제가 발생할 수도 있지만 사람이 듣기 어려운 주파수대로 공격을 실시하여 음성스피커나 스마트폰이 오작동하도록 만드는 공격유형이 소개되고 있다. 이는 사람의 개인 정보와 같은 민감한 정보를 외부로 유출할 수 있기 때문에 이에 대한 보안대책이 요구되고 있다.

  영상 서비스 분야에서는 인공지능 딥러닝 모델을 이용하여 실시간 영상 속에서 사람을 식별하거나 동물을 식별하는 기술이 발전하고 있다. 이러한 경우 의도적으로 CCTV와 같은 장비가 특정 인물에 대한 식별 및 추적이 어렵게 만들 수 있다. [그림 20]과 같이 영상 속에서 어떤 사람이 특정 Patch를 들고 있으면 딥러닝 모델이 그 사람을 제대로 인식하지 못하고 오인식하는 취약점이 있다.

[그림 20] 영상에서 STOP 표지판을 실시간 가방(Suitcase)로 오인식함.

  영상서비스 분야와 연계하여 인공지능을 활용한 얼굴인식시스템 분야도 활발한 연구가 진행되고 있다. 얼굴인식시스템은 먼저 영상을 통해 인식된 대상이 사람의 얼굴인지 아닌지 판단하는 목표와 인식된 대상이 어떤 사람인지 구분해 내는 것을 목표로 하는 연구가 있다. 이러한 얼굴인식 시스템에서도 Adversarial Example을 이용하면 얼굴상에 약간의 메이크업을 하거나 점, 스티커 등을 통해서 다른 사람으로 오인하도록 만들 수 있다.

[그림 21] 얼굴인식시스템에서 오인식-왼쪽 사람(Eva Rinaldi)이 특수안경을 쓰면 오른쪽 사람(Russel Crowe)으로 오인식

  Poisoning Attack과 Adversarial Example 공격 이외에도 딥러닝 모델을 공격하는 두 가지 유형의 공격이 있고 Extraction Attack과 Inversion Attack에 대해서 소개하고자 한다.

  Extraction Attack은 제공된 인공지능 모델과 유사한 인공지능 모델을 생성하는 방법이다. 비슷한 수준의 모델을 만들기 위해서 공격자는 입력값에 대한 결과값을 분석하여 생성한다. 입력값에 대한 결과값 분석을 토대로 공격 대상이 되는 모델과 유사한 모델을 생성할 수 있다.

[그림 22] Extraction Attack에 대한 예시

  이 공격방법을 이용하여 인공지능 서비스 모델을 탈취할 수 있다. 아마존의 경우 149초 동안 1,485번 탈취 시도로 유사한 모델을 만들어 내는 것이 가능하고 BigML 서비스도 631초 동안 1,150번 시도하여 인공지능 모델의 탈취가 가능했다.

  Inversion Attack은 주어진 인공지능 모델에서 학습된 특정 데이터를 추출해 내는 방식이다. 즉 인공지능 모델에 의해 산출된 결과값Confidence을 분석하여 모델이 학습한 특정 데이터를 역으로 생성할 수 있다. 약 1개의 데이터를 추출할 때 24분이 소요되면 유사한 데이터를 추출할 수 있다. 예를 들어, 인공지능 모델 안에 군사적으로 중요한 기밀이 있을 경우, 공격자가 의도적으로 인공지능에 학습된 군사기밀 내용을 Inversion Attack을 토대로 데이터를 추출할 수 있다.

[그림 23] Inversion Attack에 대한 예시–딥러닝 모델 안에 있는 데이터(오른쪽)를 Inversion Attack으로 데이터(왼쪽) 추출

  오늘날 초지능·초연결·초융합으로 상징되는 4차 산업혁명이 진행되면서 국방 분야에서도 첨단 과학기술을 기반으로 군사혁신의 패러다임이 변화되고 있다. 즉, 세계 선진국들은 군사력의 원천이 3차 산업혁명 시기의 ‘정보력’에서 ‘지능정보력’으로 변화되고 있으며 인공지능 기술은 4차 산업혁명 시대의 군사혁신을 촉발시키는 동력이라는 점을 공통적으로 인식하고 있다.
  예를 들면 어떤 무기체계가 인공지능을 통해 스스로 학습할 수 있는 능력을 보유하면 해당 무기체계의 성능을 획기적으로 향상시킬 수 있으며 지휘통제 시스템(C4I)에 인공지능이 적용될 경우 위협의 근원을 식별하고 전장의 불확실성을 제거하여 지휘관의 의사결정을 지원함으로써 군사력 운용의 패러다임을 스마트하게 혁신할 수 있게 된다. 이러한 전망 속에서 인공지능이 갖고 있는 취약점과 공격유형에 대해 이해하고 대비책을 수립하는 것은 인공지능의 군사적 활용 방안과 함께 연구하고 발전할 필요가 있다.
  현재 미 국방고등군사연구사업국(DARPA)에서는 인공지능 보안과 관련하여 매월 새로운 보안 솔루션에 대해서 연구가 진행되고 있고 방어 방법에 대한 연구도 활발히 진행되고 있는 상황이다. 이 글에서는 국방 분야에서 인공지능 기술을 도입시 우리 군에서 고려해야 할 사항에 대해 기술하고자 한다.

  2019년 3월 육군은 교육사령부 주관으로 KAIST, 국방과학연구소, 국방기술품질원 등의 국책 및 연구기 관과 함께 인공지능 및 드론봇 컨퍼런스를 개최하였다. 드론, 무인전투체계, 워리어 플랫폼 및 인공지능 기술 등은 육군의 도약적 변혁을 달성하기 위한 핵심기술로 인식되고 있으며 관련 분야에 대한 연구가 활발히 진행되고 있다. 다음에서는 각 체계별 적용되는 인공지능 기술의 보안과 방어 측면에서 살펴보겠다.

  드론 및 무인전투체계는 무인장비를 운용하여 전투의 효율성을 증대시키고 인력을 절감함으로써 기존 인간중심의 전투체계를 대체 및 보완하여 정찰, 공격, 지원 임무를 수행할 수 있다. 2018년 중국에서는 비둘기 드론 30여 대를 정부기관에서 구매하여 서부 5개 성에 배치하여 정보를 수집하고 있고 시리아에서는 폭탄을 탑재한 드론으로 테러 공격이 이뤄졌다. 하지만 이런 드론 및 무인전투체계가 전장에서 실질적인 전투력을 발휘하기 위해서는 탐지, 인식, 상황판단의 기능에 인공지능이 적용되어 정밀성과 완전성을 갖추는 것이 필요하다. 또한 특정 주파수 공격, 물리적 공격 등을 통해서 드론 및 무인화 로봇의 통신을 차단하거나 무력화할 수 있는 취약점이 존재한다.
  따라서 전체 영역에 대한 보안성을 보장하기에는 한계점이 있기 때문에 보안성이 보장된 특정 영역 Restricted Area에서만 드론을 운용하여 적의 재밍, 주파수 등의 공격으로부터 방어하는 방안이 필요하다. 또한 적의 공격을 통해서 아군의 통신이 차단된 드론의 경우 드론 자체 내부 기억장치가 스스로 포맷할 수 있는 기능이 탑재되어 적에게 드론이 탈취될 시 무용 화하는 방법이 필요하다.

[그림 24] 보안을 고려하여 안전성이 보장된 제한된 영역에서의 드론 운용

  앞으로 군은 병력 감축에 따라 무인 감시시스템 뿐만 아니라 여기에 인공지능을 적용한 지능형 감시체계의 필요성이 증가하고 있다. 최근 중국에서 CCTV를 통하여 97% 이상의 정확도로 사람에 대한 인식이 가능한 기술을 개발한 사례처럼 영상 및 음성 감시체계에 인공지능 기술을 접목하면 상당히 좋은 성능을 발휘할 수 있고 이러한 기술은 군 감시체계에도 적용될 수 있다. 해군에서는 바다에서 탐지되는 무수히 많은 음향정보를 토대로 잠수함 및 수상함의 기종, 모터의 종류와 방향 등을 알 수 있기 때문에 높은 수준의 비밀로 취급하고 있다.
  이러한 음향정보를 축적하여 인공지능 기술을 접목하면 해양 감시체계 상에서 상당 부분 성능을 개선할 수 있다. 하지만 이런 영상, 음성 데이터를 활용한 인공지능 모델은 Poisoning Attack과 Adversarial Example 두 가지 공격방법에 취약하다. 특히 미 DARPA에서는 Adversarial Example에 대한 인공지능 모델의 취약점을 보완하기 위한 연구에 착수하기 시작했다.

[그림 25] 미 DARPA에서 인공지능 모델에 위협이 되는 Adver sarial Example에 대한 방어 솔루션을 개발 착수(’19년 2월)

  따라서 우리 군도 Poisoning Attack에 대비하기 위하여 국방 인공지능 기술을 개발할 때 학습데이터에 대한 철저한 관리가 필요하고 또한 Adversarial Example에 대해서는 입력 데이터에 대한 변조 Noise를 필터링하는 방법과 Adversarial Example에 강건한 개선된 모델 구성 등의 보안 측면의 연구가 필요하다.

  전투 상황 혹은 훈련 상황에서 수집되는 각종 영상, 신호, 음향 정보 및 다차원 센서로부터 수집되는 다양한 정보들을 빅데이터화하여 지휘관이 적시적이고 올바른 상황판단과 전술 수립을 가능하도록 지원하는 ‘인공지능 기반 지휘결심지원시스템’의 개발이 요구되고 있다.
  하지만 이러한 지휘결심체계를 지원하는 인공지능 모델은 Poisoning Attack과 Extraction 및 Inversion 공격에 취약점이 있다. Poisoning Attack 측면에서 각 센서 정보의 데이터가 악의적이거나 쓸모가 없는 데이터인 경우 오히려 인공지능 모델의 성능을 떨어뜨리는 위협이 있다. 따라서 데이터를 저장하고 관리하는 측면이 매우 중요하다.
  또한 Extraction 공격과 Inversion 공격의 경우 인공 지능 모델을 유사하게 만들거나 인공지능 모델의 학습된 데이터를 추출할 수 있다. 지휘결심과 관련된 모델이기 때문에 학습된 데이터 자체가 보안 측면에서 매우 민감하고 중요할 수 있다. 따라서 지휘결심체계에 지원되는 인공지능 모델의 탈취를 방지하기 위해 모델에 접근할 수 있는 권한에 대해서 다른 인공지능 모델보다 더 강화된 통제대책이 필요하다.

[그림 26] 전술적 결심지원 시스템 개념도

  인공지능의 취약점을 이용한 공격은 아군은 보호하면서 적군에게는 오작동을 일으키는 방법으로 응용될 수 있다. 즉, 적군과 아군의 인공지능 모델이 혼재된 전술 상황에서 아군 인공지능 모델은 제대로 인식하면서 적군 인공지능 모델은 잘못된 인식으로 오작동을 일으키게 만들어 유리한 상황을 조성하는 것이다.

[그림 27] 아군 자율주행차량을 보호하면서 적군 자율주행차량은 오작동을 유도하는 Friend-safe 방법 제안

  최근 소개된 이 같은 Friend Safe 방법은 이미지, 음성, 영상 분야 등에 접목하여 확대가 가능하며 Covert Channel(은밀 채널 통신) 연구가 함께 진행중에 있다. 저자는 이 내용을 보완 및 응용하여 네이버 등에서 강연을 하였고 보안 분야에 국제 학술지에도 논문을 게재하였다.

  앞서 살펴본 인공지능의 취약점과 공격방법에 대해 Poisoning Attack과 Adversarial Example, 기타 취약점에 대한 보안 고려사항 순으로 살펴보면 다음과 같다.

  악의적인 데이터로 인해 딥러닝 모델이 추가적인 학습을 하지 않도록 딥러닝 모델에 대한 관리가 필요하다. 기술적인 공격에 의해 모델이 변경될 경우 Hash 함수의 결과가 변경되는데 이러한 점에 착안하여 딥러닝 모델의 무결성Integrity을 주기적으로 점검할 필요가 있다. 또한 딥러닝 모델의 학습데이터에 Poisoning 데이터가 포함되었는지 여부와 그 가능성을 확인하고 학습데이터에 대한 체계적인 통제관리가 필요하다.

  Adversarial Example 공격으로 인한 데이터 변조를 막기 위해서 데이터의 이상 변조를 사전에 차단하는 Filtering Module과 같은 보안 장치를 설치하는 방안을 고려할 수 있다. 또한 Adversarial Example을 탐지할 수 있도록 여러 딥러닝 모델을 통합하는 방법 등에 대해서도 소개가 되고 있다.
  최근 마이크로소프트에서 개발중인 AI-Safe와 같이 모델 차제가 보안성을 확보하는 안전한 인공지능 모델을 도입하는 것도 고려가 되어야 하겠다.

[그림 28] 데이터 필터링과 AI-Safe으로 보안성을 갖춘 딥러닝 모델

  Extraction Attack과 Inversion Attack을 하기 위해서 공격자는 대상 딥러닝 모델에 대한 반복적인 입력 값과 결과값에 대한 정보가 필요하다. 따라서 시스템 상에서 딥러닝 모델에 반복적으로 접근할 수 있는 횟수를 제한하는 것이 필요하고 아군이 사용하는 딥러닝 장비 자체가 외부로 유출되지 않도록 물리적인 관리가 필요하다.
  추가적으로 Inversion Attack으로 딥러닝 모델에 학습된 특정 데이터를 추출할 수 있기 때문에 딥러닝 모델 내부의 군사기밀에 대해서는 암호화를 통해 유출되더라도 피해를 최소화하는 방향을 고려해야 한다.

[그림 29] 기타 취약점에 대한 방어 측면에서 반복적으로 접근할 수 있는 횟수 제한과 암호화 기법 적용

  2016년 구글의 인공지능 알파고가 이세돌 9단과의 대국에서 승리한 사례를 통해 인공지능에 대한 이슈가 과학계와 산업계는 물론 국방 분야에서도 크게 부각되고 있다. 정보화 시대의 도래 이후 지금까지의 IT 기술 발전 측면에서 과거를 돌아보면 각 시대마다 유행했던 유비쿼터스, 사물인터넷 및 빅데이터 등의 용어들이 유행처럼 번져 왔지만 최근의 인공지능 기술만큼 상당기간 관심을 받는 주제는 드물다고 할 수 있다.
  4차 산업혁명의 시대적 흐름 속에서 우리 군도 인공 지능이라는 기술을 단순한 시대의 유행이 아닌 군사력 운용 패러다임의 변화를 촉진하는 동력으로 활용해 군사혁신을 성공시켜야 하는 중대한 기로에 서 있다고 할 수 있다.
  이 글에서는 인공지능에 대한 전반적인 이론적 소개와 함께 인공지능이 갖고 있는 보안 측면의 취약점과 대응 방안에 대해 소개하였다. 아직 인공지능을 국방 분야에 적용하기 위한 초기 연구 단계라는 점에서 그 취약점을 말하기에 시기상 이르다고 할 수 있지만, 국방 분야의 특성상 기술의 도입 시 보안이슈에 대한 해결책은 보다 높은 완전성이 요구된다고 할 수 있다.
  따라서 앞서 제시한 바와 같이 인공지능 기술의 군사적 활용방안을 연구할 때, 발생 가능한 보안 이슈에 대해 다양하게 도출하고 그에 대한 보안 대책 역시 다양한 측면에서 함께 고려하고 연구할 필요가 있다.
  한반도를 둘러싼 주변 강대국들과 서양 선진국들이 인공지능 기술과 군사적 활용에 대해 막대한 투자를 기울이는 가운데 우리의 도전이 적시성을 상실하지 않도록 정부는 물론 산·학·연·군 모든 관계자와 연구자들이 이번 소고를 통해 보다 활발하게 논의하고 아이디어를 얻을 수 있는 계기가 되기를 바란다.