서론
AI 코딩 보조 도구와 에이전트가 대량의 기능을 생성할 수 있다는 사실은 널리 알려져 있습니다. 그러나 생성된 코드의 정확성을 신뢰하기 어렵다는 점도 개발자들 사이에서 공통된 인식이었습니다. 이에 하버드 대학교 연구진은 Jellyfish 분석 데이터를 활용해 2021년부터 2026년 3월까지 700개 이상의 소프트웨어 기업, 70만 명 이상의 직원을 대상으로 실제 코딩 관행을 조사했습니다.
주요 정량적 결과
연구에서는 AI 코딩 에이전트 도입 후 다음과 같은 변화가 관찰되었습니다.
- 총 코드 라인 증가율: 30%
- 총 커밋 수 증가율: 20%
- 풀 리퀘스트 수 증가율: 23%
- 코드 리뷰 프로세스 평균 시간 증가율: 49%
- 풀 리퀘스트당 댓글 수 증가율: 35%
- 코드 리뷰 수행 직원 비율 증가율: 14%
- AI 코드 리뷰를 사용하는 기업 비율: 80%
- AI 에이전트가 담당하는 리뷰 댓글 비율: 23.3%
- AI 에이전트가 담당하는 풀 리퀘스트 비율: 10.8%
- AI 코딩 에이전트를 도입한 기업 비율: 95%
"Any efficiency increased during the actual coding phase, the study authors find, is “absorbed by downstream constraints in the production process”."
코드 리뷰 병목 현상
추가된 코드 양에도 불구하고 소프트웨어 기능 완료율(Issues 및 Epics의 해결률)은 통계적으로 유의미한 변화가 없었습니다. 이는 코드 리뷰 과정에서 발생하는 지연이 주요 원인으로 작용했습니다. 구체적으로 다음과 같은 현상이 확인되었습니다.
- 풀 리퀘스트에 변경 요청이 붙는 비율이 거의 두 배로 증가
- 리뷰어당 남긴 댓글 수가 35% 증가
- 리뷰에 참여하는 직원의 비율이 14% 상승
이러한 현상은 AI가 생성한 코드의 오류 가능성을 검증하기 위해 인간이 더 많은 시간을 투자해야 함을示しています.
시사점 및 한계
AI 코딩 에이전트는 코드 작성 속도를 높일 수 있지만, downstream 단계인 코드 리뷰·통합 단계에서의 시간 소요가 증가함으로써 전체 소프트웨어 생산성 향상으로 이어지지 않았습니다. 연구진은 총 actifs 직원 수와 LinkedIn 데이터를 교차 검토한 결과, AI 도입으로 인한 유의미한 고용 변화는 확인되지 않았다고 밝혔습니다. 또한 현재까지 AI가 코드 리뷰 과정에 기여하는 비율은 여전히 낮아, 인간이 대부분의 검토 작업을 담당하고 있습니다.
결론
AI 코딩 에이전트는 코드 양을 늘리는 데 효과적이지만, 이를 실제 소프트웨어 출력으로 전환하기 위해서는 리뷰 프로세스의 효율화가 선행되어야 합니다. 현재로서는 AI가 만든 코드의 양 증가와 리뷰 시간 증가가 상쇄되어 기업 차원에서 소프트웨어 생산성 또는 고용에 뚜렷한 영향을 미치지 못하고 있습니다.