금요일 저녁 6시, PR 머지만 하면 퇴근이었습니다. 근데 CI가 또 빨간불이더라고요. 로컬에선 100번을 돌려도 초록불인데 말이죠. 재시도 버튼을 세 번 누르고서야 겨우 통과했습니다. 다음 주에 또 같은 테스트가 빨간불을 띄웠을 때, 이제는 격리 외에 답이 없겠다 싶었어요. Flaky 테스트가 PR 머지 시간을 1.7배로 늘린 대목수치를 한 달 모아봤더니 멘붕이 오더라고요. PR 평균 머지 시간이 38분에서 65분으로 늘었고, 수동 재시도가 월 142회까지 갔어요. 1.7배라는 수치보다, PR 하나가 다음 PR을 잡고 늘어진다는 점이 더 큰 그림이었습니다. 더 무서운 건 따로 있었어요. "재시도 세 번에 통과했으니 됐다"고 넘긴 결제 로직 테스트가, 알고 보니 0.3% 확률의 경쟁 상태(race con..
