건설정보포탈-토탈엠앤에이

[논단] AI가 발전할수록 더 중요해지는 ‘시스템 공학’

OECD(경제협력개발기구)에서는 AI를 ‘인간이 정의한 목표를 달성하기 위해 예측, 추천 또는 결정을 수행하는 시스템’으로 규정하면서 동시에 그 결과가 우리 생활에 영향을 미친다고 강조한다.

이는 AI가 독립적으로 존재하는 기술이 아니라, 반드시 사회적, 물리적 시스템 속에서 작동한다는 점을 명확히 한 것이다. 다시 말해 AI는 단일 기술이 아니라 더 큰 구조의 일부다. 제조, 국방, 의료, 교통 등 여러 분야에서 AI는 기존 시스템의 일부로 통합돼 활용되고 있으며, 그 적용 범위는 빠르게 확장되고 있다.

이러한 변화는 한 가지 중요한 사실을 시사한다. AI의 성능 자체도 중요하지만, 그것을 어떤 시스템 속에 어떻게 설계하고 통합하느냐가 더 중요한 문제로 떠오르고 있다는 점이다.

실제로 여러 연구는 AI 시스템의 실패가 알고리즘 자체보다 시스템 설계의 부족에서 비롯되는 경우가 많다는 점을 지적한다. 예를 들어 미국 표준기술원이 제시한 AI 리스크관리 프레임워크는 데이터 품질, 운영 환경, 인간과의 상호작용 등 시스템 수준의 요소들이 AI 신뢰성에 결정적 영향을 미친다고 강조한다. 이는 AI의 정확도를 높이는 것만으로는 충분하지 않으며, 그것이 작동하는 전체 맥락을 함께 설계해야 한다는 의미다.

또한 IEEE에서는 AI 윤리 가이드라인을 통해 투명성, 책임성, 공정성을 확보하기 위한 시스템적 접근의 필요성을 강조한다. 여기서 중요한 점은 이러한 가치들이 개별 알고리즘 내부에서 자동으로 구현되지 않는다는 사실이다. 오히려 시스템 차원에서 요구사항으로 정의되고, 설계와 운영 과정에서 지속적으로 관리돼야 한다. 즉 AI의 윤리성조차 시스템공학적 문제로 확장되고 있는 것이다.

바로 이 지점에서 시스템공학의 중요성이 부각된다. 시스템공학은 개별 기술의 성능을 넘어 다양한 요소들이 하나의 목적을 향해 조화롭게 작동하도록 설계하는 학문적 접근이다. 쉽게 말해 부분이 아니라 전체를 다루는 학문이다. AI가 아무리 뛰어난 성능을 갖추고 있더라도, 그것이 실제 사회에서 의미 있는 가치를 창출하려면 데이터, 인간, 제도, 인프라가 서로 맞물려야 한다. 이 복잡한 연결을 설계하고 유지하는 것이 바로 시스템공학이다.

AI 설계 관점에서 보면, 시스템공학적 접근의 중요성은 더욱 분명해진다. AI 모델은 특정 환경과 데이터에 최적화돼 있기 때문에 실제 운영 환경이 달라지면 성능이 저하되거나 예상치 못한 결과를 낼 수 있다. 따라서 초기 설계 단계에서부터 운영 환경, 사용자 특성, 데이터 흐름, 그리고 예외 상황까지 함께 고려해야 한다. 이는 단순한 알고리즘 설계가 아니라 시스템 전체를 대상으로 한 요구사항 정의와 아키텍처 설계의 문제다.

또한 AI의 오류를 어떻게 감지하고 대응할 것인지, 인간과 AI의 역할을 어떻게 분담할 것인지, 그리고 시스템 전체의 신뢰성을 어떻게 확보할 것인지가 중요한 설계 요소로 포함된다. 개별 개발자의 역량만으로 이러한 문제들을 해결하기 어렵고 시스템 수준에서의 통합적 접근이 필요하다.

AI를 다양한 분야에 적용할수록, 그 영향은 단일 기능을 넘어 전체 시스템으로 확장된다. 의료 분야에서 AI가 진단을 보조하는 경우, 단순히 정확한 예측을 넘어서 의료진의 의사결정 과정, 책임 구조, 환자의 신뢰까지 영향을 미치게 된다. 이처럼 AI는 기술적 요소를 넘어 인간과 조직, 제도와 긴밀히 연결되기 때문에, 이를 통합적으로 설계할 수 있는 시스템공학자의 역할이 더욱 중요해진다.

시스템공학자가 AI 도구를 활용하는 경우 접근 방식 자체가 달라진다. 먼저 문제를 전체 시스템 관점에서 정의하고 요구사항, 제약조건, 이해관계자, 운영 환경 등을 구조화한 뒤 AI를 활용한다. 질문 또한 특정 맥락과 목적을 반영한 형태로 구성된다. 그 결과 AI 도구의 답변은 시스템 설계나 의사결정에 활용이 가능한 수준으로 재구성된다. 또한 시스템공학자는 AI 도구의 답변을 검증하고 다른 요소들과의 상호작용을 고려하며, 전체 시스템 목표와의 정합성을 확인한다.

결국 핵심은 “어떤 AI를 만들 것인가”가 아니라 “AI를 포함한 시스템을 어떻게 설계하고 작동, 활용하게 할 것인가”에 있다. 시스템공학자는 이러한 질문에 답하는 중심적 존재로서, 기술과 현실 사이의 간극을 메우는 역할을 수행해야 한다.

AI가 아무리 발전하더라도, 그것이 시스템 속에서 제대로 작동하지 않는다면 아무 의미가 없다. 결국 세상을 바꾸는 것은 알고리즘이 아니라, 그것을 담아내는 구조다. 그리고 그 구조를 설계하는 힘이 바로 시스템공학이다.
/염충섭 KAIST 연구교수