by Mar 12. 2025

타당성 검토의 의미

‘타당성(feasibility)은 무언가를 만들거나 실행하거나 달성할 가능성, 또는 그것이 합리적이라고 할 수 있을 가능성(the possibility that something can be made, done, or achieved, or is reasonable)을 의미한다(케임브리지 사전). 정보기술(IT) 분야에서 타당성은 ‘특정 정보시스템을 갖게 된다면 그것이 조직에 얼마나 이롭거나 실용적일 것인지를 측정한 지표’이다(Jeffrey Whitten). 타당성을 검토하고 측정하는 것은 이해관계자 누구나 좋아할 결과물을 만들기 위한 가치 있는 노력인 것이다.

‘타당성 검토’ 항목은 기관별로, 또 문제에 따라 아래와 같이 여러 가지로 나누고 있다.

– 정보시스템 분야 (Whitten 교수): 기술, 경제, 운영, 일정 타당성

– 프로젝트 관리 (Asana사): 기술, 재무, 시장, 운영 타당성

– 프로젝트 관리 (Simplilearn사): 기술, 운영, 재무, 시장, 준법, 일정, 환경/사회, 위험, 자원

– TTA 용어사전: 기술성, 경제성, 적법성, 대안성(alternatives)

‘기술적 타당성’은 목표 시스템을 구현하기 위해 필요한 기술을 확보할 가능성, ‘경제적 타당성’은 예산 범위 안에서 목표를 달성하고 일정 기간 경과 후에 투자액을 회수할 가능성을 가리킨다. 제품/서비스 개발 사업의 기술 타당성은 자체개발뿐만 아니라 구매/조달, M&A, 전략적 제휴 등을 통한 외부 도입 가능성도 포함한다. ‘운영적(operational) 타당성’은 개발 완료된 기술/제품을 사용자가 수용할 것인지, 개발팀이 목표 달성에 필요한 활동을 효과적으로 수행할 것인지 등을 포함한다. 운영 타당성이 중요한 이유 중 하나는 생산자/판매자의 기대와 소비자/사용자의 기대가 반드시 일치하지 않기 때문이다. 예를 들면, 소비자가 품질이나 성능/기능보다는 가격을 중요시 하는데 생산자가 고품질, 고성능, 다기능 제품을 만든다면 운영적 타당성이 낮은 것이다. ‘일정(schedule) 타당성’은 정해진 기한이 있는 문제(예: 건설 공사, 주문 납품)일 경우 중요한 검토 항목이며, ‘준법성/적법성’은 의료, 수송, 유통, 제조 등 문제에서 법적 규제나 피해야 할 관행(예: 의약품 임상시험, 공산품 안전 인증) 같은 것이 있을 경우 따져야 할 항목이다. ‘위험 (대응) 타당성’은 잘될 가능성은 높이고 잘못될 가능성은 낮추는 식으로 위험관리 계획과 실행방안이 수립되어 있는지 따져보기 위한 항목이다. 위험관리는 보험 같은 것으로 비용보다는 투자로 인식되어야 한다. 특히, 새로운 기술/제품을 개발해서 새로운 시장에 진출하려는 경우, 예상 가능한 위험뿐만 아니라 예상치 못한 위험이 발생할 것에 대한 사전 준비가 필수적이다.

타당성 검토의 중요성, 한계와 개선방향

‘타당성 검토’는, 형식은 조금씩 다르지만, 국내/외의 거의 모든 정부/공공기관이나 민간 기업에서 각종 사업의 기획/계획 단계에서 수행하는 활동이다. 우리나라 기획재정부는 1999년부터 예비타당성 조사(’예타’) 제도를 통해 대형 국책과제가 재정 건전성에 미치는 영향을 검토하고 승인 여부를 결정해 왔다. 이 제도는 2024년, 과학기술 R&D에 대해서는 시간/비용 측면의 비효율성과 정책적 긴요성을 충족하지 못한다는 이유로 폐지되었지만, ‘타당성 검토’ 자체는 결코 배제할 수 없는 작업이다. 사업 착수 전이나 도중에 예상되는 여러 가지 문제점을 미리 보완하도록 함으로써 성공 가능성을 높이는 작업이기 때문이다.

우리나라 국가 R&D 규모는 GDP의 5% 수준으로 이스라엘에 이어 세계 2위지만, OECD를 포함한 여러 기관이 지적하듯 투자 대비 성과는 매우 낮은 비효율, 고비용 R&D 시스템을 운영하고 있다. 그런 문제점은 오랫동안 다양한 채널을 통해 제기되고 여러 가지 대책도 마련되었지만, 여전히 크게 달라지지 않고 있다. R&D 성공률을 높이는 것은 결코 쉽지 않은 도전과제지만, 적절한 시기에, 적절한 수준의 ‘타당성 검토’를 실시함으로써 어느 정도는 효과를 거둘 수 있을 것이다. 기존 ‘예타’는 지나치게 오랜 시간과 많은 비용이 투입되는 규제 성격의 제도로 운영되다 보니 이해관계자의 공감을 얻지 못한 것도 폐지에 이르는 빌미가 되었을 것이다.

타당성 검토는 다차원적 검토를 통해 기술개발이나 시스템 구축 사업의 성공 가능성을 높이는 데 기여하고 ‘규제’가 아닌 ‘컨설팅’ 성격으로 운영하는 것이 바람직하다. 제도 운영에 소요되는 시간을 단축하고 비용을 줄이는 것은 상대적으로 쉬운 해결책을 찾을 수 있을 것이다. 예를 들면, 검토 프로세스 전반을 디지털화 함으로써 (1) 국내/외 광범위한 영역의 전문가들이 시간과 공간을 초월해서 평가위원으로 참여할 수 있도록 하고, (2) 위원별 검토와 위원 간 심도 있는 토론을 거쳐 평가를 확정하는 식의 프로세스를 온라인으로 진행함으로써 시간/비용을 줄이면서 검토 결과의 적합성과 신뢰성은 높일 수 있을 것이다.

타당성 검토 항목은 기술, 경제, 운영, 일정, 준법, 위험 등을 포함해서 다차원으로 확대하는 것이 바람직하며, 사안에 따라서 일부 항목을 축소하거나 몇 개 항목을 나눌 수도 있을 것이다. 순수 기초연구가 아닌 R&D 과제에서 사업화할 목표 시장과 수요 규모를 산정토록 하는 것은 경제적 타당성에 해당한다. 기술 또는 산업 차원의 생태계 조성이 필요한 사업 경우, 참여자에 대한 개방성과 생태계 자체의 운영/관리 역량을 평가하는데 이는 운영 타당성에 포함시킬 수 있다. 대부분의 R&D 과제에서 PM을 포함한 연구자의 역량, 참여자 간 시너지, 국제적 협력 네트워크, 프로젝트 관리/조정 능력 등을 평가하는데 이들 또한 운영 타당성에 해당한다. 각종 정부 사업에서 평가하는 ‘정책적 긴요성’도 운영 타당성에 해당한다. 다만, ‘정책적’이라는 용어 자체가 추상적이고 자의적인 해석이 가능한 기준이어서 좀 더 명확한 정의가 필요하다. 그 외에도 사안에 따라 윤리성, 환경에 대한 영향을 고려한 지속가능성, 보안성/기밀성, 그리고 목표 자체의 타당성 등을 추가할 수 있을 것이다.

필자는 위 검토 항목 외에 ‘맥락적 타당성’을 추가해서 좀 더 치밀하게 검토할 것을 제안한다. 맥락(context)은 마케팅에서 중시하는 TPO(Time, Place, Occasion; 시간, 장소, 상황)에 해당한다. 마케터는 소비자/고객이 언제, 어디에서, 또 어떤 상황에 자신이 팔려는 상품을 필요로 할 것인가를 따지게 된다. 예를 들면, 마케터가 ‘워킹맘은 주로 점심시간, 집안일을 마친 늦은 저녁 시간, 아니면 주말에 쇼핑을 한다’는 것을 안다면 알맞은 TPO를 택해서 판촉 메시지를 보냄으로써 판매 가능성을 높일 것이다. 제품 개발 경우, 맥락적 타당성은 (1) 생산자가 주어진 시간(또는 기간), 장소(또는 공간), 상황(또는 조건)에서 제품을 개발할 수 있는지 (2) 소비자가 제품 개발 완료 시점, 판매할 장소, 판매할 상황에 제품을 구매할 것인지를 살피는 것이다. 맥락적 타당성은 다른 타당성 검토 항목과 겹치는 부분이 있지만, 맥락에 따라 기술/경제/운영 타당성에 대한 평가 결과가 달라질 수 있는 점을 보완하기 위한 것이다. 예를 들면, 제품 개발에 필요한 기술을 확보할 수 있다고 하더라도 그 기술을 ‘1년 동안(T), 국내 10개 기업에서(P), 100명이 함께 사용해야 하는 상황(O)’이라는 조건을 충족할 수 없다면 ‘기술적 타당성’은 낮은 것으로 평가해야 한다.

예시: '국가 AI G3 전략'의 타당성 검토

2025년 2월 20일, 제3차 국가인공지능위원회 결과에 대한 보도자료에 담긴 AI G3 비전은 (1) AI 컴퓨터 인프라 확충, (2) 차세대 AI 모델 개발, (3) AI 전환(AX) 가속화 등 3가지 전략을 담고 있다. 덧붙여서 중기부와 개인정보위가 각각 주도할 것으로 예상되는 AI 스타트업 육성을 통한 AI 활용 확산, AI 데이터 확충 및 개방 확대 등의 전략도 제시되었다. 이 전략은 국가 AI 위원회의 전문가들과 각 부처의 관료들이 모인 회의에서 논의, 확정된 것인데 매우 중요한 전략이므로 다양한 분야의 전문가들이 참여해서 다차원적이고 심도 있는 타당성 검토를 거치는 것이 바람직할 것이다.

아래에 위 전략의 타당성에 대한 필자의 주관적 평가와 소견을 하나의 예로 소개한다.

1. 기술적 타당성: 핵심 목표인 ‘World Best LLM’(이하 ‘WBM’) 즉, 세계 최고 수준의 AI 모델 개발에 필요한 기술을 확보할 수 있는가? 측정 기준이 무엇인가에 따라 달라지겠지만, 어느 쪽으로든 단기간 내에 ‘세계 최고 수준의 LLM’을 구현할 가능성은 낮은 것으로 평가할 수밖에 없다. 딥시크나 메타의 오픈소스 기반 LLM을 활용한다고 하더라도 경쟁력 있는 기능/성능/가격/품질/활용성을 제공할 가능성은 크지 않기 때문이다. WBM은 고정 표적이 아니라 우리보다 빠르게 움직이는 이동 표적이다. 경쟁 국가/기업은 우리보다 더 체계적으로, 또 빠르게 움직일 것임을 감안해야 한다.

2. 경제적 타당성: WBM에 이를 때까지 투자할 예산은 얼마이며 어떻게 확보할 것인가? 경쟁국가는 물론 선도기업들보다 작은 규모의 예산으로 WBM을 만들 수 있을 것인가? 목표 수준의 WBM이 개발 완료되고 상업화되었을 때 국내/외 시장의 장/단기 수요와 예상되는 수익은 어느 정도인가? 정부 자료나 각종 미디어를 통해 알려진 자료에 의하면 우리 정부가 (민간 펀드를 포함해서) 확보할 AI 예산은 G2는 물론, EU, 프랑스 등이 마련할 재원과는 비교할 수 없을 정도로 작은 규모이다. (이 글에서는 각종 수치는 생략함.) 지금까지 오픈AI가 주도해 온 LLM 시장은 규모를 키워서 초격차를 만드는 ‘쩐의 전쟁(터)’이다. 속된 말로 하자면, 작은 판돈을 갖고 들어갈 게임이 아니라는 것이다.

3. 운영적 타당성: WBM의 기획으로부터 개발, 상업화, 보급/확산, 운영, 사후지원, 지속적 성능개량 등을 누가 주관할 것인가? WBM이 개발 완료되었을 때 국내/외 기업, 정부, 개인 등 수요자가 그것을 얼마나 긍정적으로 수용/활용할 것인가? WBM은 기술개발로 끝나는 것이 아니라 사업화를 거쳐 시장 창출에 성공하는 것까지를 목표로 삼아야 한다. 오픈AI의 GPT나 딥시크의 V3와 R1도 그런 과정을 거치고 있다. 우리나라는 네이버의 하이퍼클라우드X, LG의 엑사원 등 국내 개발된 여러 개의 LLM을 갖고 있지만, 해외는 아니더라도 국내 시장에서 널리 보급되지 못하는 이유가 무엇인지 확인해 봄으로써 운영적 타당성을 입증해야 한다. 목표 수준의 WBM이 출시되는 시기가 늦어지면 늦어질수록 국내 시장에서 해외 AI 모델/솔루션이 빠르게 확산할 것이다.

4. 일정 타당성: WBM 개발-보급에 대한 마일스톤과 세부 일정계획은 적정한가? 필요한 자금, 인재, 물적/지적 자산 등을 적시에 확보, 배치할 수 있는가? AI 기술/제품 개발 경쟁은 3~5년도 길다고 봐야 하는 초단기 경쟁임을 감안해야 한다. GPU/NPU 확보와 컴퓨팅 센터를 포함한 최소한의 AI 인프라를 갖추는 데 적어도 2~3년이 걸리고 드림팀 구성에 필요한 인재 확보와 유지, 학습용 데이터 확보와 훈련 등에도 상당한 시간이 걸린다면 속도 경쟁에서도 승산이 낮은 상태이다. 성과 중심의 단기목표와 경쟁력을 갖추기 위한 장기목표를 구분하고 두 가지 목표가 자연스럽게 연결되어야 한다. 예를 들면, 인재 확보 경우, 단기목표 달성을 위해서는 재직자의 업/리스킬링, 해외 인재 유치 등이 올바른 대책이다. 대학(원)을 통한 인재 양성은 최소 4~5년 후를 대비한 장기목표 달성 수단이다.

5. 목표 자체의 타당성: WBM을 만드는 것이 국가 차원의 AI 경쟁력을 높이기 위한 최상책이면서 유일한 전략인가? ‘세계 3위(W3)’는 무엇을 기준으로 한 것이며 그것이 왜 중요한가? 개발될 WBM을 통해 정부 서비스 혁신, 산업생태계 발전, 국민생활 향상 등이 가능한가? 생성형 AI 자체는 규모를 줄이면서 고효율/저비용인 소규모 LLM(‘SLM’)으로, 하이브리드 AI로, 또 워크플로우와 결합된 에이전틱 AI로 발전하고 있다. AI 모델 자체는 데이터 자체를 중앙집중식이 아니라 분산시켜서 필요시 연결하는 연합학습 모델, 또한 AGI로 나아가기 위한 대형세계모델(Large World Model), 뉴로모픽 컴퓨팅, 양자 컴퓨팅, 바이오 기술 융합 등을 활용하는 연구 등이 진행 중이다. ‘국가 차원에서 경쟁력 있는 AI 모델을 확보한다’는 목표의 타당성을 인정하더라도 거기에 이르는 길은 여러 가지가 있다는 것이다. 목표 자체와 기술적 접근방법, 로드맵 등을 보다 명확하게 정의해야 예상되는 위험요인을 줄일 수 있다.

6. 위험 대응 타당성: 위에서 언급한 여러 가지 항목에 이미 다양한 위험요인이 내재되어 있다는 것을 지적하였다. 자금 부족과 더불어 인재(: 세계 최고 수준의 기술자와 역량 있는 리더) 부족은 아마도 가장 큰 장애요인이 될 것이다. 언론 보도에 의하면 중국은 국내 연봉의 9배를 주면서 고급 인재를 유치하고 있다고 한다. 또, 국내 인재 중 약 20%가 해외로 이탈하고 있다고 한다. 그 외에도 정부 주도 거버넌스의 혼란이나 일관성 부족, 결과물의 성능 미달, 경쟁국과의 기술 격차 심화, 외산 LLM 및 AI 솔루션의 국내 시장 지배력 확대, 신개념 AI 등장 등 수많은 드러난, 또 드러나지 않은 위험요인을 헤쳐 나아가야 한다. 그와 같은 위험요인들을 식별하고 알맞은 사전/사후 대응책을 마련하고 있는가?

7. 맥락적 타당성: 지금, 정부 주도로, 정치/경제/사회적으로 불안정한 여건 속에서 WBM을 개발할 수 있을까? 선도 국가/기업은 이미 저만치 앞서가고 있는 시기에(T), 탁월한 기술적/관리적 리더십이 필요한(O) 사업을 수행할 수 있을지, 국내 사용자들은 개발 완료된 WBM을 언제(T), 어떤 용도로(P), 어떤 조건으로(O) 채택/수용할 것인지 따져봐야 한다. //

#타당성검토 #기술적타당성 #경제적타당성 #운영적타당성 #일정타당성 #목표타당성 #위험타당성 #맥락적타당성 #TPO #국가AI전략

타당성 검토, AI G3 전략의 예 - 개념과 통찰-7

댓글