<div id="readability-page-1" class="page"><article><div><div><div><div aria-hidden="false"><a rel="noopener follow" href="/@dogenius01?source=post_page---byline--de149ad7b7f6--------------------------------"><div><p><img alt="김도영" src="https://miro.medium.com/v2/resize:fill:88:88/1*PtWvvcDHCen1CZlM0aHpvg.jpeg" width="44" height="44" loading="lazy" data-testid="authorPhoto"></p></div></a></div><div aria-hidden="false"><a href="https://medium.com/musinsa-tech?source=post_page---byline--de149ad7b7f6--------------------------------" rel="noopener follow"><div><p><img alt="MUSINSA tech" src="https://miro.medium.com/v2/resize:fill:48:48/1*Qs-0adxK8doDYyzZXMXkmg.png" width="24" height="24" loading="lazy" data-testid="publicationPhoto"></p></div></a></div></div><figure></figure><blockquote><p id="0d4f">“GitHub Copilot이 정말 개발 생산성을 높여줄까?”</p></blockquote><p id="82e8">2024년 말, 회의실에서 이 질문을 마주했습니다.</p><p id="4eab">GitHub Copilot은 AI 기반 코딩 도구로 주목받았지만, 대부분의 평가는 개인적인 경험에 의존하고 있었습니다. 일부 개발자는 “코딩 속도가 빨라졌다”고 했고, 다른 이들은 “큰 차이를 못 느끼겠다”고 말했습니다. 그렇다면, <strong>Copilot이 실제로 개발 생산성을 높이는지, 데이터로 증명할 수 있을까?</strong></p><p id="883b">이 질문에 답하기 위해 <strong>직접 실험에 나섰습니다.</strong> 단순한 파일럿 테스트가 아닌, <strong>30명의 개발자가 참여하는 데이터 중심의 검증 프로젝트</strong>를 설계했습니다.</p><p id="9322">검증 방식은 두 가지였습니다.<br>첫째, <strong>Cycle Time, PR 머지 속도, 리뷰 시간</strong> 등 핵심 지표를 추적해 Copilot 도입 전후의 변화를 분석했습니다.<br>둘째, 개발자들의 실제 경험과 피드백을 수집하기 위해 <strong>심층 인터뷰와 설문조사를 병행</strong>했습니다.</p><p id="5edd"><strong>단순히 ‘Copilot이 좋다’는 결론이 아니라, ‘어떤 면에서, 얼마나 효과적인지’를 명확히 입증하고자 했습니다.</strong></p><p id="8a79">이 글에서는 무신사에서 Copilot 도입을 어떻게 검증했는지, 어떤 데이터를 활용했으며, 다른 조직이 이를 어떻게 적용할 수 있는지 구체적으로 분석합니다.</p></div><div><h2 id="0a68">정말 도움이 될까? 다른 회사들은 뭐라고 할까?</h2><p id="000d">AI 기반 코드 자동 생성 도구는 개발자 생산성을 향상시키는 가능성을 보여주지만, 일부 기업 사례와 연구를 통해 Copilot의 단기적인 생산성 향상 효과는 확인되었습니다. 다만, 장기간 실무 환경에서의 코드 품질 변화, 유지보수 비용, 개발자 피로도에 대한 종합적인 데이터는 아직 축적 중입니다.</p><ul><li id="01e9"><a href="https://github.blog/news-insights/research/research-quantifying-github-copilots-impact-in-the-enterprise-with-accenture/" rel="noopener ugc nofollow" target="_blank"><strong>GitHub 연구(2023)</strong></a>: Copilot을 활용한 그룹이 55.8% 더 빠르게 개발 작업을 완료했으며, 경험이 적은 개발자일수록 효과가 더 컸음.</li><li id="2517"><a href="https://techblog.lotteon.com/copilot-%EC%97%85%EB%AC%B4-%EC%A0%81%EC%9A%A9%EA%B8%B0-c8810a5ee898" rel="noopener ugc nofollow" target="_blank"><strong>롯데ON (2024)</strong></a>: Copilot을 활용해 <strong>코드 자동 완성과 채팅 기능을 통해 코드 가독성과 개발 속도 향상을 경험</strong>. 특히, 코드 리팩토링과 코드 리뷰 기능을 적극 활용하여 <strong>개발 효율성과 코드 품질 향상에 기여</strong>.</li><li id="b817"><a href="https://techtopic.skplanet.com/github-copilot/" rel="noopener ugc nofollow" target="_blank"><strong>SK플래닛 (2024)</strong></a>: Copilot을 <strong>백엔드, 프론트엔드, 데이터 엔지니어링 등 다양한 개발 업무에 적용</strong>. 코드 자동 완성과 코드 추천 기능을 활용하여 <strong>평균 개발 속도가 41.7% 향상</strong>. 또한, 데이터베이스 스키마 변경 작업 자동화로 작업 시간을 크게 단축.</li><li id="304b"><a href="https://techblog.gccompany.co.kr/github-copilot-%EC%82%AC%EC%9A%A9%EA%B8%B0-66d4ae1d367a" rel="noopener ugc nofollow" target="_blank"><strong>여기어때 (2024)</strong></a>: Copilot을 도입 후, <strong>자동 코드 생성 기능을 활용해 금융 데이터 분석 업무에서 생산성 향상을 경험</strong>. 그러나 <strong>과도한 자동 추천으로 인해 코딩 흐름이 끊기는 문제</strong>도 있음.</li><li id="373f"><a href="https://www.cio.com/article/3541670/ai-%EC%BD%94%EB%94%A9-%EB%8F%84%EA%B5%AC-%EC%83%9D%EC%82%B0%EC%84%B1-%ED%9A%A8%EA%B3%BC-%EA%B1%B0%EC%9D%98-%EC%97%86%EB%8B%A4-%EB%B2%88%EC%95%84%EC%9B%83%EC%97%90%EB%8F%84-%EB%A7%88%EC%B0%AC.html" rel="noopener ugc nofollow" target="_blank"><strong>Uplevel 연구 (2024)</strong></a>: Copilot과 같은 AI 코딩 도구가 개발자의 인식과 달리 <strong>실제 생산성 향상에는 미미한 영향을 미친다는 연구 결과 발표</strong>. 또한, 이러한 도구들이 개발자의 번아웃 감소에도 큰 기여를 하지 않는다는 점을 강조.</li></ul><p id="edc9">이러한 연구들에서 Copilot이 개발자들의 작업 속도를 향상시키고, 반복 작업을 줄이는 데 효과적일 수 있음을 시사하지만, 코드 품질 및 오류 발생에 대한 장기적인 검증은 부족하다는 점도 드러냈습니다. 또한, 일부 연구에서는 이 기술의 효과가 기대보다 크지 않으며, 개발자의 능동적인 개입이 여전히 중요하다는 점을 지적하고 있습니다.</p></div><div><h2 id="57a2">코파일럿의 효과를 어떻게 측정하면 좋을까?</h2><p id="336e">기존 타사 사례와 선행 연구를 분석한 결과, Copilot의 도입 효과는 주로 개발 속도 향상에 집중되어 측정되었습니다. 그러나 이번 실험에서는 단순한 속도 측정뿐만 아니라 <strong>개발자의 실제 체감 변화를 분석하기 위해 설문조사를 병행</strong>하였습니다. 정량지표는 GitHub과 Jira에서 데이터를 추출하고 이를 Grafana 대시보드로 시각화해 도입 전후 지표 변화를 면밀히 측정했습니다.이를 통해 Copilot이 코드 작성 속도뿐만 아니라 팀 협업 방식에도 미친 영향을 파악하려 했습니다.</p><h2 id="0b9a">정량적 지표 설계</h2><p id="c33c">우선 정량적 분석을 위해 다음 핵심 지표를 추적했습니다. 이는 GitHub 연구 및 롯데ON, SK플래닛, 여기어때 사례에서 활용된 측정 항목을 참고했으며, 내부 SRE팀과 협의해 무신사의 개발 프로세스에 맞게 조정했습니다.</p><ul><li id="4b9a"><strong>Total Cycle Time</strong>: 개발 시작부터 배포 완료까지 걸리는 시간</li><li id="be8e"><strong>PR Coding Time</strong>: 코드 작성 시작부터 PR 생성까지 걸리는 시간</li><li id="9507"><strong>PR Review Time</strong>: PR 생성 후 코드 리뷰가 완료되기까지 걸리는 시간</li><li id="470c"><strong>PR Pickup Time</strong>: PR 생성 후 리뷰가 시작되기까지 대기하는 시간</li><li id="c281"><strong>PR 생성률 변화</strong>: Copilot 도입 전후 팀별 PR 생성 건수 증감 추이</li></ul><p id="3616">각 지표는 <strong>GitHub</strong>, <strong>Jira</strong>등 사내 시스템에서 자동·반자동으로 수집합니다. 이후 <strong>Grafana</strong> 같은 대시보드에서 시각화·분석하여, Copilot 도입 전후 변화와 그 원인을 한눈에 파악할 수 있게 했습니다.</p><figure><figcaption>그라파나 화면 예시</figcaption></figure><h2 id="873e">정성적 지표 수집</h2><p id="7dfa">2개월간 두 차례에 걸쳐 설문조사를 실시했습니다. 1차 설문과 2차 설문을 통해 다음 항목들을 측정했습니다.</p><ul><li id="4890">업무 생산성 기여도</li><li id="4f3f">업무 만족도 변화</li><li id="502c">업무 피로도 변화</li><li id="c24a">새로운 기술 학습 효과</li><li id="36e4">코드 품질 개선 체감도</li></ul><p id="9579">특히 설문은 연차별, 직무별로 세분화하여 이 기술의 도입 효과가 개발자 경력과 업무 특성에 따라 어떻게 달라지는지 파악할 수 있도록 설계했습니다.</p><p id="c5ff">이와 같은 정성적 평가 방식은 타사에서도 활용되었으며, 이를 참고해 개발자의 실질적 업무 만족도와 학습 효과를 측정하는 데 집중했습니다.</p></div><div><h2 id="654f">실제 효과는 어땠을까요?</h2><p id="c6bc">2024년 11월부터 12월까지, 약 30명의 개발자를 대상으로 Copilot의 도입이 개발 생산성과 코드 품질에 미친 영향을 파악하기 위해 정량적·정성적 데이터를 분석했습니다. 이를 통해 단순한 ‘느낌’이 아닌, 실제 데이터를 기반으로 효과를 검증할 수 있었습니다.</p><h2 id="3b97">주요 개선점</h2><ul><li id="b62e"><strong>Total Cycle Time 단축 </strong>: 개발 시작부터 배포 완료까지 걸리는 시간이 <strong>평균적으로 약 50% 단축</strong>되었습니다. Copilot 도입 후 일부 긴 배포 주기가 줄어든 것이 주요 원인으로 보이며, 반복적인 작업 자동화가 속도 개선에 기여했을 가능성이 큽니다. 다만, 기존에도 많은 수의 배포가 빠르게 이루어지고 있었다는 점을 고려해야 합니다.</li><li id="b2f7"><strong>PR Coding·Review·Pickup Time 개선 </strong>: PR 생성부터 리뷰 완료까지 걸리는 시간이 <strong>평균적으로 약 40% 단축</strong>되었습니다. 하지만 기존에도 대부분의 PR이 빠르게 처리되고 있었기 때문에, 실제로 체감할 수 있는 변화는 크지 않을 수 있습니다.<br>Copilot 도입 후에는 <strong>리뷰까지 오랜 시간이 걸리던 일부 PR의 수가 줄어들면서 평균 값이 크게 낮아진 것으로 보입니다.</strong> 그러나 중앙값 기준으로 보면, 원래도 대부분의 PR이 즉시 리뷰되고 있었기 때문에, Copilot이 PR 처리 시간을 획기적으로 줄였다기보다는 <strong>전체적인 프로세스를 최적화하고, 예외적으로 지연되던 PR을 감소시키는 역할을 한 것으로 해석하는 것이 적절합니다.</strong></li></ul><p id="598b">이러한 결과는 copilot이 단순한 코드 자동 완성 기능을 넘어, 개발 워크플로우 전반을 가속화하는 데 기여했음을 보여줍니다.</p><h2 id="2415">개발자들의 실제 체감</h2><p id="c76c">도입 후, <strong>두 차례</strong>에 걸쳐 개발자 설문조사를 진행하여 피드백을 수집했습니다. 특히 <strong>1차 설문(도입 초기)과 2차 설문(활용이 익숙해진 시점) 간의 응답 변화를 비교</strong>하며, Copilot에 대한 인식과 활용 방식이 어떻게 발전했는지 분석했습니다.</p><p id="945b"><strong>1차 설문 : 반복 작업 자동화에 대한 긍정 평가</strong></p><p id="378f">도입 초기, 개발자들은 <strong>반복 작업 자동화</strong>에서 큰 만족을 보였습니다. 특히 <strong>보일러플레이트 코드 작성, 테스트 코드 자동화</strong> 등의 작업에서 유용하다는 의견이 많았습니다.</p><ul><li id="f931"><strong>“루틴한 작업에서 시간을 절약할 수 있어 만족스럽다.”</strong></li><li id="a07a"><strong>“테스트 코드 자동 생성 기능이 특히 편리하다.”</strong></li></ul><p id="bd09">하지만, 추천 코드를 검토해야 하는 부담이 존재한다는 피드백도 있었습니다.</p><ul><li id="f674"><strong>“추천된 코드가 정확한지 확인하는 과정이 필요해 오히려 시간이 더 걸릴 때도 있다.”</strong></li><li id="c070"><strong>“내가 원하는 로직과 다르게 제안될 때 피로감을 느낀다.”</strong></li></ul><p id="f0bd"><strong>2차 설문 : 활용 범위의 확장</strong></p><p id="1a65">시간이 지나면서 활용 방식이 보다 정교해졌습니다. 초기에는 반복 작업을 줄이는 데 집중했다면, 이제는 <strong>PR 리뷰, 코드 리팩토링, 복잡한 로직 초안 작성 등 개발 프로세스 전반에 적극적으로 활용</strong>하는 모습이 나타났습니다.</p><ul><li id="c598"><strong>“PR 내용을 요약해주거나, 복잡한 로직의 초안을 제공하는 데 도움이 된다.”</strong></li><li id="692e"><strong>“리팩토링 아이디어를 얻거나 코드 리뷰 과정에서 가이드라인을 설정하는 용도로 활용 중이다.”</strong></li></ul><p id="a0b8">초기에 지적됐던 <strong>엉뚱한 코드 추천 문제</strong>는 여전히 남아 있었지만, 이를 미리 예측하고 검증하는 습관이 생기면서 피로도가 완화됐다는 피드백도 있었습니다.</p><p id="e58a"><strong>업무 만족도 및 피로도 변화</strong></p><p id="fe12">1차 설문에서는 <strong>“반복적인 작업 부담 감소”</strong>가 가장 큰 장점으로 꼽혔습니다. 하지만 2차 설문에서는 <strong>“코드 리뷰 효율 개선”</strong>, <strong>“테스트 코드 작성 시간 절감”</strong> 등 <strong>팀 단위 협업에서의 효과</strong>가 더욱 강조되었습니다.</p><ul><li id="ec95"><strong>“코드 리뷰 시간이 단축되면서 팀 전체 개발 사이클이 빨라졌다.”</strong></li><li id="ef5c"><strong>“테스트 코드 작성 시간이 절감되면서 검증 프로세스가 수월해졌다.”</strong></li></ul><p id="e373">다만, <strong>“Copilot이 제안하는 코드를 무비판적으로 수용할 위험이 있다”</strong>는 의견도 계속 관찰되었습니다. 이에 따라, <strong>팀 차원의 가이드라인 수립 및 교육 필요성</strong>이 논의되고 있습니다.</p></div><div><h2 id="467a">AI와의 공존, 그리고 예상치 못한 난관들</h2><p id="1d36">Copilot 도입 후 개발 프로세스는 분명히 달라졌습니다. 반복적인 코드 작성에서 해방된 개발자들은 더 중요한 문제 해결에 집중할 수 있었고, PR 리뷰나 코드 리팩토링 과정에서도 AI 기능을 활용하는 사례가 늘어났습니다. 하지만 모든 변화가 긍정적이지만은 않았습니다. 코드 작성 속도가 빨라졌지만, 코드 품질을 유지하기 위한 검토 과정은 더욱 중요해졌습니다.</p><p id="a0a3">이 기술이 개발 속도를 높이는 데 기여한 것은 분명하지만, 무비판적으로 자동완성을 수용하면 오히려 코드 품질이 저하될 가능성도 존재합니다. 결국, AI의 도움을 받되 비판적인 사고와 협업 문화가 뒷받침되어야 한다는 점이 다시 한 번 강조되었습니다.</p><p id="d583">이 실험을 통해 Copilot이 단순한 생산성 도구가 아니라 개발 문화까지 변화시키는 요소라는 사실을 확인했습니다. 앞으로도 이것을 효과적으로 활용할 수 있도록 개발자의 역량 강화, 코드 리뷰 문화 개선, 도구 활용 가이드라인 정립 등의 노력이 필요합니다.</p><p id="d450">이 글을 마무리하면서, 이 실험이 순탄하게 진행되었냐고 묻는다면… 글쎄요. 정량 데이터 수집은 거의 자동이었지만, 설문 응답을 받는 것은 기다림의 연속이었습니다. “바빠서 못 했어요”라는 답변을 몇 번이나 들었는지 기억도 안 납니다. 게다가 실험 기간 동안 대형 이벤트가 겹치는 바람에 지표를 제대로 추적하는 것도 쉽지 않았습니다.</p><p id="d44e">여기에 하늘에서 들려오는 무언의 압박이… 더해지면서 부담감이 없었다면 거짓말이겠죠 (농담입니다, 진짜 농담입니다 🥹). 그리고 이제는 실험 결과를 정리해서 (설날에) 글까지 쓰고 있는 저 자신을 돌아보며, “과연 이 과정이 더 어려웠을까, 아니면 설문을 받는 게 더 어려웠을까?”라는 질문을 던지고 있습니다.</p><p id="9c2d">하지만, 그 모든 난관(최종, 최최종, 최최최종, 최최최최종, 찐최종)을 넘었고, Copilot의 실제 효과를 데이터로 확인할 수 있었습니다 (솔직히 반신반의 했습니다.) 앞으로도 AI가 개발 문화를 어떻게 변화시킬지 궁금합니다. 더불어 AI가 할 수 없는 일은 무엇일까요? 그리고 다음이 있다면… 설문 협조가 조금 더 원활해지기를 간절히 바랍니다.</p></div><div><h2 id="9665">Musinsa CAREER</h2><blockquote><p id="81ce"><strong>함께할 동료를 찾습니다.<br></strong><em>세일개발팀은 무신사 전체 상품의 가격 할인과 쿠폰 서비스를 담당하고 있어, 서비스 곳곳에 걸쳐 다양한 영역에서 보여집니다. 또한, 할인된 가격이나 쿠폰을 사용하는 다른 팀과도 긴밀히 협력해야 하므로, 커뮤니케이션이 매우 중요한 조직입니다.</em></p><p id="1459">전국민이 사용하는 1위 패션 플랫폼 무신사에서 기술로 비즈니스를 성장시키는 경험을 함께하고 싶으시다면 아래 채용 페이지를 통해 지원해 주세요!</p><p id="e8d8">🚀 <a href="https://corp.musinsa.com/ko/career/" rel="noopener ugc nofollow" target="_blank">팀 무신사 채용 페이지</a> (무신사/29CM 전체 포지션 확인이 가능해요)</p><p id="d83c">🚀 <a href="https://kr.linkedin.com/company/musinsacom" rel="noopener ugc nofollow" target="_blank">팀 무신사 테크 소식을 받아보는 링크드인</a></p><p id="5569">🚀 <a href="https://medium.com/musinsa-tech" rel="noopener">무신사 테크 블로그</a></p><p id="004f">🚀 <a href="https://medium.com/29cm" rel="noopener">29CM 테크 블로그</a></p><p id="d57f">🚀 <a href="https://www.youtube.com/@MUSINSATECH" rel="noopener ugc nofollow" target="_blank">무신사 테크 유튜브 채널</a></p><p id="50ba">채용이 완료되면 공고가 닫힐 수 있으니 빠르게 지원해 주세요!</p></blockquote></div></div></article></div>

MUSINSA tech - Medium

“GitHub Copilot이 정말 개발 생산성을 높여줄까?”
2024년 말, 회의실에서 이 질문을 마주했습니다.
GitHub Copilot은 AI 기반 코딩 도구로 주목받았지만, 대부분의 평가는 개인적인 경험에 의존하고 있었습니다. 일부 개발자는 “코딩 속도가 빨라졌다”고 했고, 다른 이들은 “큰 차이를 못 느끼겠다”고 말했습니다. 그렇다면, Copilot이 실제로 개발 생산성을 높이는지, 데이터로 증명할 수 있을까?
이 질문에 답하기 위해 직접 실험에 나섰습니다. 단순한 파일럿 테스트가 아닌, 30명의 개발자가 참여하는 데이터 중심의 검증 프로젝트를 설계했습니다.
검증 방식은 두 가지였습니다.
첫째, Cycle Time, PR 머지 속도, 리뷰 시간 등 핵심 지표를 추적해 Copilot 도입 전후의 변화를 분석했습니다.
둘째, 개발자들의 실제 경험과 피드백을 수집하기 위해 심층 인터뷰와 설문조사를 병행했습니다.
단순히 ‘Copilot이 좋다’는 결론이 아니라, ‘어떤 면에서, 얼마나 효과적인지’를 명확히 입증하고자 했습니다.
이 글에서는 무신사에서 Copilot 도입을 어떻게 검증했는지, 어떤 데이터를 활용했으며, 다른 조직이 이를 어떻게 적용할 수 있는지 구체적으로 분석합니다.
정말 도움이 될까? 다른 회사들은 뭐라고 할까?
AI 기반 코드 자동 생성 도구는 개발자 생산성을 향상시키는 가능성을 보여주지만, 일부 기업 사례와 연구를 통해 Copilot의 단기적인 생산성 향상 효과는 확인되었습니다. 다만, 장기간 실무 환경에서의 코드 품질 변화, 유지보수 비용, 개발자 피로도에 대한 종합적인 데이터는 아직 축적 중입니다.
GitHub 연구(2023): Copilot을 활용한 그룹이 55.8% 더 빠르게 개발 작업을 완료했으며, 경험이 적은 개발자일수록 효과가 더 컸음.
롯데ON (2024): Copilot을 활용해 코드 자동 완성과 채팅 기능을 통해 코드 가독성과 개발 속도 향상을 경험. 특히, 코드 리팩토링과 코드 리뷰 기능을 적극 활용하여 개발 효율성과 코드 품질 향상에 기여.
SK플래닛 (2024): Copilot을 백엔드, 프론트엔드, 데이터 엔지니어링 등 다양한 개발 업무에 적용. 코드 자동 완성과 코드 추천 기능을 활용하여 평균 개발 속도가 41.7% 향상. 또한, 데이터베이스 스키마 변경 작업 자동화로 작업 시간을 크게 단축.
여기어때 (2024): Copilot을 도입 후, 자동 코드 생성 기능을 활용해 금융 데이터 분석 업무에서 생산성 향상을 경험. 그러나 과도한 자동 추천으로 인해 코딩 흐름이 끊기는 문제도 있음.
Uplevel 연구 (2024): Copilot과 같은 AI 코딩 도구가 개발자의 인식과 달리 실제 생산성 향상에는 미미한 영향을 미친다는 연구 결과 발표. 또한, 이러한 도구들이 개발자의 번아웃 감소에도 큰 기여를 하지 않는다는 점을 강조.
이러한 연구들에서 Copilot이 개발자들의 작업 속도를 향상시키고, 반복 작업을 줄이는 데 효과적일 수 있음을 시사하지만, 코드 품질 및 오류 발생에 대한 장기적인 검증은 부족하다는 점도 드러냈습니다. 또한, 일부 연구에서는 이 기술의 효과가 기대보다 크지 않으며, 개발자의 능동적인 개입이 여전히 중요하다는 점을 지적하고 있습니다.
코파일럿의 효과를 어떻게 측정하면 좋을까?
기존 타사 사례와 선행 연구를 분석한 결과, Copilot의 도입 효과는 주로 개발 속도 향상에 집중되어 측정되었습니다. 그러나 이번 실험에서는 단순한 속도 측정뿐만 아니라 개발자의 실제 체감 변화를 분석하기 위해 설문조사를 병행하였습니다. 정량지표는 GitHub과 Jira에서 데이터를 추출하고 이를 Grafana 대시보드로 시각화해 도입 전후 지표 변화를 면밀히 측정했습니다.이를 통해 Copilot이 코드 작성 속도뿐만 아니라 팀 협업 방식에도 미친 영향을 파악하려 했습니다.
정량적 지표 설계
우선 정량적 분석을 위해 다음 핵심 지표를 추적했습니다. 이는 GitHub 연구 및 롯데ON, SK플래닛, 여기어때 사례에서 활용된 측정 항목을 참고했으며, 내부 SRE팀과 협의해 무신사의 개발 프로세스에 맞게 조정했습니다.
Total Cycle Time: 개발 시작부터 배포 완료까지 걸리는 시간
PR Coding Time: 코드 작성 시작부터 PR 생성까지 걸리는 시간
PR Review Time: PR 생성 후 코드 리뷰가 완료되기까지 걸리는 시간
PR Pickup Time: PR 생성 후 리뷰가 시작되기까지 대기하는 시간
PR 생성률 변화: Copilot 도입 전후 팀별 PR 생성 건수 증감 추이
각 지표는 GitHub, Jira등 사내 시스템에서 자동·반자동으로 수집합니다. 이후 Grafana 같은 대시보드에서 시각화·분석하여, Copilot 도입 전후 변화와 그 원인을 한눈에 파악할 수 있게 했습니다.
정성적 지표 수집
2개월간 두 차례에 걸쳐 설문조사를 실시했습니다. 1차 설문과 2차 설문을 통해 다음 항목들을 측정했습니다.
업무 생산성 기여도
업무 만족도 변화
업무 피로도 변화
새로운 기술 학습 효과
코드 품질 개선 체감도
특히 설문은 연차별, 직무별로 세분화하여 이 기술의 도입 효과가 개발자 경력과 업무 특성에 따라 어떻게 달라지는지 파악할 수 있도록 설계했습니다.
이와 같은 정성적 평가 방식은 타사에서도 활용되었으며, 이를 참고해 개발자의 실질적 업무 만족도와 학습 효과를 측정하는 데 집중했습니다.
실제 효과는 어땠을까요?
2024년 11월부터 12월까지, 약 30명의 개발자를 대상으로 Copilot의 도입이 개발 생산성과 코드 품질에 미친 영향을 파악하기 위해 정량적·정성적 데이터를 분석했습니다. 이를 통해 단순한 ‘느낌’이 아닌, 실제 데이터를 기반으로 효과를 검증할 수 있었습니다.
주요 개선점
Total Cycle Time 단축 : 개발 시작부터 배포 완료까지 걸리는 시간이 평균적으로 약 50% 단축되었습니다. Copilot 도입 후 일부 긴 배포 주기가 줄어든 것이 주요 원인으로 보이며, 반복적인 작업 자동화가 속도 개선에 기여했을 가능성이 큽니다. 다만, 기존에도 많은 수의 배포가 빠르게 이루어지고 있었다는 점을 고려해야 합니다.
PR Coding·Review·Pickup Time 개선 : PR 생성부터 리뷰 완료까지 걸리는 시간이 평균적으로 약 40% 단축되었습니다. 하지만 기존에도 대부분의 PR이 빠르게 처리되고 있었기 때문에, 실제로 체감할 수 있는 변화는 크지 않을 수 있습니다.
Copilot 도입 후에는 리뷰까지 오랜 시간이 걸리던 일부 PR의 수가 줄어들면서 평균 값이 크게 낮아진 것으로 보입니다. 그러나 중앙값 기준으로 보면, 원래도 대부분의 PR이 즉시 리뷰되고 있었기 때문에, Copilot이 PR 처리 시간을 획기적으로 줄였다기보다는 전체적인 프로세스를 최적화하고, 예외적으로 지연되던 PR을 감소시키는 역할을 한 것으로 해석하는 것이 적절합니다.
이러한 결과는 copilot이 단순한 코드 자동 완성 기능을 넘어, 개발 워크플로우 전반을 가속화하는 데 기여했음을 보여줍니다.
개발자들의 실제 체감
도입 후, 두 차례에 걸쳐 개발자 설문조사를 진행하여 피드백을 수집했습니다. 특히 1차 설문(도입 초기)과 2차 설문(활용이 익숙해진 시점) 간의 응답 변화를 비교하며, Copilot에 대한 인식과 활용 방식이 어떻게 발전했는지 분석했습니다.
1차 설문 : 반복 작업 자동화에 대한 긍정 평가
도입 초기, 개발자들은 반복 작업 자동화에서 큰 만족을 보였습니다. 특히 보일러플레이트 코드 작성, 테스트 코드 자동화 등의 작업에서 유용하다는 의견이 많았습니다.
“루틴한 작업에서 시간을 절약할 수 있어 만족스럽다.”
“테스트 코드 자동 생성 기능이 특히 편리하다.”
하지만, 추천 코드를 검토해야 하는 부담이 존재한다는 피드백도 있었습니다.
“추천된 코드가 정확한지 확인하는 과정이 필요해 오히려 시간이 더 걸릴 때도 있다.”
“내가 원하는 로직과 다르게 제안될 때 피로감을 느낀다.”
2차 설문 : 활용 범위의 확장
시간이 지나면서 활용 방식이 보다 정교해졌습니다. 초기에는 반복 작업을 줄이는 데 집중했다면, 이제는 PR 리뷰, 코드 리팩토링, 복잡한 로직 초안 작성 등 개발 프로세스 전반에 적극적으로 활용하는 모습이 나타났습니다.
“PR 내용을 요약해주거나, 복잡한 로직의 초안을 제공하는 데 도움이 된다.”
“리팩토링 아이디어를 얻거나 코드 리뷰 과정에서 가이드라인을 설정하는 용도로 활용 중이다.”
초기에 지적됐던 엉뚱한 코드 추천 문제는 여전히 남아 있었지만, 이를 미리 예측하고 검증하는 습관이 생기면서 피로도가 완화됐다는 피드백도 있었습니다.
업무 만족도 및 피로도 변화
1차 설문에서는 “반복적인 작업 부담 감소”가 가장 큰 장점으로 꼽혔습니다. 하지만 2차 설문에서는 “코드 리뷰 효율 개선”, “테스트 코드 작성 시간 절감” 등 팀 단위 협업에서의 효과가 더욱 강조되었습니다.
“코드 리뷰 시간이 단축되면서 팀 전체 개발 사이클이 빨라졌다.”
“테스트 코드 작성 시간이 절감되면서 검증 프로세스가 수월해졌다.”
다만, “Copilot이 제안하는 코드를 무비판적으로 수용할 위험이 있다”는 의견도 계속 관찰되었습니다. 이에 따라, 팀 차원의 가이드라인 수립 및 교육 필요성이 논의되고 있습니다.
AI와의 공존, 그리고 예상치 못한 난관들
Copilot 도입 후 개발 프로세스는 분명히 달라졌습니다. 반복적인 코드 작성에서 해방된 개발자들은 더 중요한 문제 해결에 집중할 수 있었고, PR 리뷰나 코드 리팩토링 과정에서도 AI 기능을 활용하는 사례가 늘어났습니다. 하지만 모든 변화가 긍정적이지만은 않았습니다. 코드 작성 속도가 빨라졌지만, 코드 품질을 유지하기 위한 검토 과정은 더욱 중요해졌습니다.
이 기술이 개발 속도를 높이는 데 기여한 것은 분명하지만, 무비판적으로 자동완성을 수용하면 오히려 코드 품질이 저하될 가능성도 존재합니다. 결국, AI의 도움을 받되 비판적인 사고와 협업 문화가 뒷받침되어야 한다는 점이 다시 한 번 강조되었습니다.
이 실험을 통해 Copilot이 단순한 생산성 도구가 아니라 개발 문화까지 변화시키는 요소라는 사실을 확인했습니다. 앞으로도 이것을 효과적으로 활용할 수 있도록 개발자의 역량 강화, 코드 리뷰 문화 개선, 도구 활용 가이드라인 정립 등의 노력이 필요합니다.
이 글을 마무리하면서, 이 실험이 순탄하게 진행되었냐고 묻는다면… 글쎄요. 정량 데이터 수집은 거의 자동이었지만, 설문 응답을 받는 것은 기다림의 연속이었습니다. “바빠서 못 했어요”라는 답변을 몇 번이나 들었는지 기억도 안 납니다. 게다가 실험 기간 동안 대형 이벤트가 겹치는 바람에 지표를 제대로 추적하는 것도 쉽지 않았습니다.
여기에 하늘에서 들려오는 무언의 압박이… 더해지면서 부담감이 없었다면 거짓말이겠죠 (농담입니다, 진짜 농담입니다 🥹). 그리고 이제는 실험 결과를 정리해서 (설날에) 글까지 쓰고 있는 저 자신을 돌아보며, “과연 이 과정이 더 어려웠을까, 아니면 설문을 받는 게 더 어려웠을까?”라는 질문을 던지고 있습니다.
하지만, 그 모든 난관(최종, 최최종, 최최최종, 최최최최종, 찐최종)을 넘었고, Copilot의 실제 효과를 데이터로 확인할 수 있었습니다 (솔직히 반신반의 했습니다.) 앞으로도 AI가 개발 문화를 어떻게 변화시킬지 궁금합니다. 더불어 AI가 할 수 없는 일은 무엇일까요? 그리고 다음이 있다면… 설문 협조가 조금 더 원활해지기를 간절히 바랍니다.
이 글은 무신사 회원개발팀 Beomseok Kim과 세일개발팀 김도영이 함께 작성하였습니다.
Musinsa CAREER
함께할 동료를 찾습니다.
세일개발팀은 무신사 전체 상품의 가격 할인과 쿠폰 서비스를 담당하고 있어, 서비스 곳곳에 걸쳐 다양한 영역에서 보여집니다. 또한, 할인된 가격이나 쿠폰을 사용하는 다른 팀과도 긴밀히 협력해야 하므로, 커뮤니케이션이 매우 중요한 조직입니다.
전국민이 사용하는 1위 패션 플랫폼 무신사에서 기술로 비즈니스를 성장시키는 경험을 함께하고 싶으시다면 아래 채용 페이지를 통해 지원해 주세요!
🚀 팀 무신사 채용 페이지 (무신사/29CM 전체 포지션 확인이 가능해요)
🚀 팀 무신사 테크 소식을 받아보는 링크드인
🚀 무신사 테크 블로그
🚀 29CM 테크 블로그
🚀 무신사 테크 유튜브 채널
채용이 완료되면 공고가 닫힐 수 있으니 빠르게 지원해 주세요!
무신사 X GitHub Copilot은 정말로 우리의 생산성을 높였을까? was originally published in MUSINSA tech on Medium, where people are continuing the conversation by highlighting and responding to this story.

무신사 X GitHub Copilot은 정말로 우리의 생산성을 높였을까?

댓글