5명이면 충분할까? 사용성 테스트 참여자 수의 진짜 답

디자이너는 5명이면 충분하다고 하고, 팀장님은 20명은 해야 한다고 해요. 둘 중 누구의 말이 맞을까요?

사용성 테스트는 보통 비슷한 사용자 그룹에게 실제 과제를 주고 어디서 막히는지 옆에서 지켜보는 방식으로 진행해요. 이런 경우라면 5명만 봐도 문제의 85%쯤이 드러나요. 야콥 닐슨(Jakob Nielsen)과 톰 랜다우어(Tom Landauer)의 연구에서 나온 숫자라, "5명이면 된다"가 정설처럼 굳어졌어요.

‘5명’이라는 숫자는 어디서 나왔을까

닐슨과 랜다우어는 1993년에, 테스터를 한 명씩 늘릴 때마다 새로운 문제가 얼마나 더 발견되는지를 수학적으로 계산했어요. 사용자 한 명은 전체 문제의 일부, 평균 31%쯤을 찾아내요. 하지만 그다음 사람은 앞사람이 이미 찾은 것과 상당 부분 겹쳐요. 그래서 이걸 식(1 − (1 − 0.31)ⁿ)으로 계산해 보면, 곡선이 처음엔 가파르게 오르다가 점점 평평해져요.

처음 몇 명이 대부분의 문제를 찾아내요. 그래서 다섯 번째쯤 되면 대부분 앞에서 본 문제를 다시 만나게 돼요. 그렇기 때문에 여섯 번째, 일곱 번째 사람도 첫 사람만큼 시간과 노력이 들지만, 우리에게 새롭게 알려 주는 건 훨씬 줄어요. 이게 바로 수확 체감이에요.

그래서 보통은 5명이면 충분하다고 알려졌지만, 그 85%라는 건 어디까지나 평균이라 약간의 함정이 있어요. 비슷한 사용자 그룹에게서 정성적인 문제를 찾을 때에만 해당하는 얘기거든요. 목표가 달라지면 필요한 인원도 달라져요. 숫자로 딱 떨어지게 재거나, 두 디자인을 견주거나, 성격이 아주 다른 사용자 그룹을 다룬다면 5명으로는 부족할 수 있어요. 애초에 진짜 규칙은 ‘5명’이 아니에요. 조금 해보고, 고치고, 다시 해보는 게 핵심이에요.

진짜 규칙은 ‘테스트 → 수정 → 반복’

‘5명’이라는 말이 가려 버린 게 하나 있어요. 닐슨이 진짜 하려던 말은 큰 테스트 한 번이 아니라, 작게, 자주 하라는 거였거든요.

5명씩 세 번 하는 테스트가 15명을 한 번 테스트하는 걸 이겨요. 첫 5명에서 찾은 걸 고치면 제품이 바뀌고, 그러면 처음엔 가려져 있던 문제가 새로 드러나거든요. 반면 디자인을 그대로 둔 채 15명을 한꺼번에 부르면, 똑같은 상위 문제만 계속 다시 발견할 뿐이에요. 반복은 새로운 층을 벗겨 내지만, 멈춰 있는 디자인에 사람만 더 붙이는 건 그렇지 못해요.

그런데 ‘어떤’ 5명인지도 살펴봐야 해요

여기서 솔직히 짚고 갈 게 있어요. "5명이 85%를 찾는다"는 건 평균이에요. 그런데 평균은 한눈에 들어오는 대신, 그 안에서 값이 얼마나 들쭉날쭉한지는 가려 버리죠.

2003년에 로라 포크너(Laura Faulkner)는 한 제품을 60명에게 테스트한 다음, 그 안에서 5명씩 무작위로 묶어 결과를 다시 계산해 봤어요. 운 좋게 묶인 5명은 문제의 99%를 찾았어요. 반면 운 나쁘게 묶인 5명은 겨우 55%에 그쳤어요. 같은 제품, 같은 테스트인데 어떤 다섯 명이냐에 따라 결과가 갈린 거죠.

사람을 늘리면 이 최저치가 올라가요.

그래서 문제를 놓쳤을 때 타격이 큰 화면, 가령 결제 흐름이나 보험 가입 양식이라면, 게다가 여러 번 돌릴 여유가 없다면, 5명보다는 8~10명 정도를 테스트하는 게 안전해요. 운 나쁜 조합에 걸릴 위험을 미리 덜어 두는 셈이죠.

5명으로 모자란 경우

5명 규칙은 어디까지나 ‘비슷한 사용자 그룹에서 정성적 문제를 찾을 때’ 이야기예요. 거기서 벗어나는 목적이라면 필요한 숫자가 올라가요.

정리하면 이래요. ‘왜’를 묻는 정성 조사는 상대적으로 몇 명이면 돼요. 반대로 ‘얼마나’를 재는 정량 조사는 통계적인 힘이 필요해서 사람이 훨씬 많이 들어요. 많은 팀이 이 둘을 헷갈려서, 가벼운 정성 테스트에 사람을 과하게 부르거나, 정작 믿고 쓸 숫자에는 너무 적게 불러요.

그래서 몇 명이 필요하냐면

목표별로 나눠 보면 간단해져요.

• 한 사용자 그룹에서 문제 찾기? 5명으로 시작하고, 고친 다음 또 5명.
• 성격이 다른 두세 그룹이 있다? 그룹마다 3~5명씩.
• 한 번뿐인데 위험 부담이 큰 흐름이다? 운 나쁜 경우까지 대비해서 8~10명.
• 보고하거나 비교할 숫자가 필요하다? 20~40명은 잡으세요.

대부분의 경우에는 작게 여러 번, 즉 반복이 중요하다는 건 눈치채셨을 거예요. 문제는, 그렇게 자주 하기가 막상 쉽지 않다는 거예요. 한 번 테스트하면 노트도 쌓이고 녹음도 남지만, 그걸 일일이 분류하고 취합해서 리포트로 정리하는 게 생각보다 오래 걸리고 고되거든요. 그 정리가 부담스러워서 다음 라운드를 자꾸 미루게 되고, 결국 반복이 흐지부지되죠.

세션이 끝나는 순간 그 라운드의 발견이 정리돼 있다면, ‘테스트 → 수정 → 반복’이 비로소 현실이 돼요. Interbang의 가치가 드러나는 지점이 바로 여기예요. 작성한 노트가 테스터의 발화 타이밍에 딱 맞춰 있고, 성공률 같은 측정치는 세션이 끝나면 이미 집계돼 있거든요.

결론적으로 외워야 할 숫자는 5가 아니에요. 뭔가 배울 만큼은 되면서, 또 할 수 있을 만큼 가벼운 수죠. 그 반복을 편하게 해 주는 도구가 뭔지는 그것대로 따로 정리해 뒀어요. 하는 일에 맞춰 고르는 법으로요.

자주 묻는 질문

사용성 테스트에 5명이면 되나요? 비슷한 사용자 그룹에서 정성적 문제를 찾는 거라면 대개 충분해요. 5명이면 문제의 85%쯤이 드러나고, 여섯 번째를 더 부르기보다 그걸 고치고 다시 해 보는 편이 더 많이 배우거든요. 다만 통계가 필요하거나, 성격이 아주 다른 사용자 그룹을 함께 다루거나, 문제 하나 놓쳤을 때 타격이 크다면 5명으론 부족해요.

5명한테서 나온 성공률, 믿어도 되나요? 방향을 가늠하는 데는 좋아요. 5명만 봐도 ‘5명 중 4명 성공’ 같은 성공률이 나오거든요. 사용성 테스트는 ‘왜’를 찾는 정성이 중심이고, 이런 수치는 그걸 보완하는 보조 신호예요. 다만 그 숫자를 통계적으로 단정하거나 두 디자인을 수치로 비교하기엔 표본이 작아요. 그렇게 믿고 쓸 숫자가 필요하면 적어도 20명, 촘촘히는 40명쯤 필요해요(NN/g 권장).

사용자 유형이 많이 다르면요? 5명을 한 묶음으로 보지 말고, 뚜렷이 다른 그룹마다 3~5명씩 보세요. 관리자와 일반 사용자, 파는 쪽과 사는 쪽, 초보와 숙련자는 막히는 데가 제각각이라, 섞어서 5명만 보면 어느 한 그룹에만 있는 문제를 놓치기 쉬워요.

5명 한 번이면 충분한가요? 꼭 반복해야 하나요? 만들어 놓고 끝이 아니라, 사람들이 정말 쓸 만한 제품을 만들고 싶다면 꼭 반복하세요. 사용성 테스트는 제품을 개선하기 위해 할 수 있는 가장 저렴하고 가장 빠른 방법 중 하나니까요.