사용성 테스트, Zoom과 스프레드시트면 충분할까요?

세 번째 세션이 오후 두 시에 끝났습니다. 그런데 퇴근할 시간이 다 되도록 52분짜리 Zoom 녹화를 앞뒤로 돌려 보고 있습니다. 두 번째 참가자가 검색창에 이메일을 입력하던 장면을 찾아야 하는데, 노트에는 "검색창에 이메일 입력??"이라고만 적어 뒀거든요. 내일까지는 리포트에 근거를 달아야 하는데 말이죠. 세션 자체는 순조로웠습니다. 정작 오래 걸리는 건 끝나고 난 뒤의 정리입니다.

결론부터: 세션 3회까지는 무료 조합으로 충분합니다

Zoom과 Notion, 스프레드시트만 있어도 사용성 테스트를 제대로 할 수 있습니다. 어쩌다 한 번, 분기에 한 번쯤 세션 3회 안팎으로 진행하는 정도라면 굳이 유료 도구를 살 필요가 없습니다. 이 기준에는 근거가 있습니다. 스티브 크룩(Steve Krug)이 «Rocket Surgery Made Easy»에서 제안한 DIY 사용성 테스트가 딱 이 규모거든요. 참가자 3명, 한 달에 오전 한 번. 아래 템플릿을 쓰면 이 정도 라운드는 돈 안 들이고 끝까지 돌릴 수 있습니다.

물론 공짜에는 대가가 있습니다. 이 조합으로는 아무리 부지런히 정리해도 해결되지 않는 일이 세 가지 있는데, 노트와 녹화를 연결하는 일, 세션마다 되풀이되는 수작업, 그리고 라운드 간 비교입니다. 먼저 조합을 제대로 갖추는 방법부터 살펴보고, 이 세 가지가 감당 안 되는 수준으로 커지는 지점이 어디인지 짚어 보겠습니다.

도구마다 역할을 하나씩만 맡기세요

한 도구로 이것저것 다 하려고 하면 금방 꼬입니다. 역할을 나누는 게 먼저입니다.

표에서 눈에 띄는 건 가운데의 문서 도구일 텐데요. 스프레드시트에 바로 적으면 될 것 같지만, 세션이 진행되는 동안 표에 입력하는 건 생각보다 어렵습니다. 셀을 옮겨 다니느라 흐름이 끊기고, 그 사이 참가자는 다음 화면으로 넘어가 버리거든요. 그래서 세션 중에는 문서에 빠르게 적고, 끝난 뒤에 시트로 옮기는 편이 낫습니다.

사용성 테스트 정리 템플릿: 파일 두 개면 됩니다

필요한 파일은 두 개입니다. 세션 중에 적는 노트 문서 하나, 세션이 다 끝난 뒤 결과를 모아 집계하는 스프레드시트 하나.

세션 노트 문서

정리 작업은 전부 이 문서를 복사하는 데서 시작합니다. 여기를 어떤 형식으로 적어 두느냐가 나중 정리 시간을 좌우하죠. 참가자마다 한 장씩 복제해서 쓰세요.

참가자 2 · 6월 12일 · 14:02 녹화 시작

태스크: ① 팀원 초대하기 ② 알림 설정 바꾸기

[14:09] 초대 버튼 찾아 메인 화면 두 바퀴 #문제

[14:12] 검색창에 팀원 이메일 입력, "여기다 하는 건가?" #관찰

[14:18] 초대 포기, "그냥 Slack으로 링크 보낼게요" #문제

[14:31] 설정에서 알림 페이지는 한 번에 찾음 #관찰

적을 때 세 가지만 지키면 됩니다.

• 한 줄에 관찰 하나, 시각과 함께. 참가자 이름은 맨 위에 있으니, 나중에 시트로 옮기면 모든 행에 누가·언제가 남습니다. 누가 따져 물어도 출처를 댈 수 있는 기록이 되는 겁니다.
• 녹화 버튼을 누른 시각을 맨 위에 적어 두기. 나중에 녹화에서 특정 장면을 찾을 때 이 한 줄이 기준점이 됩니다. [14:09]에 적은 노트라면 녹화 시작이 14:02였으니 파일의 7분 지점을 열면 되죠. 뺄셈이야 직접 해야 하고 녹화가 중간에 끊기면 몇 초씩 어긋나기도 하지만, 무작정 슬라이더를 뒤지는 것보다는 훨씬 빠릅니다. 이 방법은 뒤에서 다시 이야기하겠습니다.
• 적으면서 태그 달기. 행동은 #관찰, 막힌 곳은 #문제, 뜻밖의 발견은 #인사이트, 오류는 #버그. 이렇게 갈라 두면 나중에 묶을 때 의견은 걸러 내고 행동만 모아서 볼 수 있습니다.

집계 스프레드시트: 시트 세 개

• 노트 시트. 참가자·시각·노트·태그 네 열입니다. 세션이 끝날 때마다 그 참가자 분량을 붙여 넣습니다. 노트 한 줄이 한 행이 되죠. 세션 세 번을 마치면 60행 정도 쌓이는데, 그쯤 되면 태그나 참가자별로 걸러 보는 게 의미가 생깁니다.
• 태스크 시트. 행은 태스크, 열은 참가자입니다. 결과(성공 · 도움받아 완료 · 실패)와 걸린 시간을 적습니다. 성공률은 COUNTIF 함수 하나면 계산됩니다.
• 발견 시트. 묶음 이름, 심각도, 겪은 인원을 적는 시트입니다. 라운드가 끝나기 전까지는 비워 둡니다. 노트를 패턴으로 묶고 우선순위를 매기는 방법은 결과 정리 글가이드테스트는 끝났는데, 이 노트 더미로 뭘 하죠?에서 자세히 다뤘습니다.

테스트 당일 진행 순서

• 전날: 참가자 수만큼 노트 문서를 복제하고, 태스크 목록을 넣어 두고, 세션에 쓸 회의 링크에서 1분짜리 녹화 테스트를 해 둡니다.
• 세션 직전: 해당 참가자의 노트 문서를 열고, 녹화를 켜고, 맨 위에 시각을 적습니다.
• 세션 직후 20분: 노트를 노트 시트에 붙여 넣고, 태스크 시트를 채우고, 녹화·녹취록 파일 이름을 바꿔 둡니다.
• 마지막 세션 후: 노트 시트를 묶어 발견 시트를 채우고, 고칠 것을 정합니다.

크룩의 책에서는 이 하루가 팀 전체의 점심 디브리핑으로 마무리됩니다. 동료들이 세션을 지켜봤다면 이 점심 자리까지 챙겨 볼 만합니다.

이 조합으로 해결되지 않는 세 가지

몇 라운드 해 보면 매번 같은 곳에서 시간을 씁니다. 템플릿을 아무리 다듬어도 소용없는데, 문제가 도구 안이 아니라 도구 사이에 있기 때문입니다.

1. 노트와 녹화가 끝까지 따로 놉니다. 시각을 적어 두는 요령으로 어느 정도 좁힐 수는 있지만, 장면 하나 찾을 때마다 뺄셈부터 해야 합니다. 리포트에 인용 하나를 넣으려면 해당 파일을 열고, 계산하고, 어긋난 만큼 앞뒤로 돌려 확인하는 과정을 거치죠. 한 번에 3~4분씩만 잡아도 열 장면을 인용하는 리포트라면 한 시간 가까이 걸립니다. 그것도 기록을 빠짐없이 해 뒀을 때 이야기입니다. 녹취록으로 발언은 검색할 수 있지만, 정작 필요한 건 절반쯤이 화면에서 일어난 일이고 그건 녹취록에 안 나옵니다.

2. 같은 수작업이 세션마다 되풀이됩니다. 문서 복제, 태스크 목록 입력, 노트 옮겨 붙이기, 파일 이름 정리, 집계 확인. 하나하나는 별것 아닙니다. 그런데 다음 세션에도, 그다음 세션에도 똑같이 해야 하죠. 하필 종일 세션을 진행해서 제일 지쳐 있는 날 저녁에요. 세션 3회짜리 라운드라면 이 정리에 저녁 하나가 통째로 들어가고, 라운드를 돌 때마다 반복됩니다.

3. 라운드끼리 비교하기 어렵습니다. 2라운드는 새 파일에서 시작하게 되니까요. 고친 게 효과가 있었는지 보려면 스프레드시트 두 개를 나란히 놓고 태스크를 이름으로 맞춰 봐야 하는데, 그사이 누가 태스크 문구를 살짝 고치기라도 했으면 알아차리지도 못한 채 엉뚱한 비교를 하게 됩니다. 라운드 간에 무엇을 비교해도 되고 무엇이 비교를 무너뜨리는지는 따로 한 편으로 다룰 주제라, 여기서는 이 조합으로는 그 비교를 눈대중으로 할 수밖에 없다는 것만 짚어 두겠습니다.

전용 도구는 언제부터 필요할까

분기에 한 번쯤, 세션 3회 안팎으로 테스트하는 정도라면 이 조합으로 충분합니다. 정리하는 저녁이 번거롭긴 해도 저녁 한 번이면 끝나니까요. 이 규모에서는 유료 도구를 사도 아낄 시간이 별로 없습니다. 무료 조합에 위 템플릿이면 됩니다.

상황이 달라지는 건 테스트 규모가 커질 때입니다. 라운드마다 세션이 다섯 번을 넘어가고, 몇 주 간격으로 테스트하게 되고, 리포트에 인용 근거를 일일이 달아야 하고, 지난 라운드와 비교할 일이 생기는 것. 이런 변화 하나하나가 위의 세 가지 문제를 몇 배로 키웁니다. 이때부터는 전용 도구를 들일 이유가 생기죠. Interbang 같은 도구가 바로 이 지점을 맡습니다. 노트를 적는 순간 세션 시계 기준으로 시각이 기록돼 녹취록과 연결되고, 태스크 측정은 자동으로 집계되고, 라운드가 한곳에 쌓입니다. 통화 녹화 기능은 없어서 녹화는 여전히 Zoom 몫입니다. 대신 저녁마다 하던 옮겨 붙이기가 없어집니다.

자주 묻는 질문

문서 없이 스프레드시트에 바로 적으면 안 되나요? 안 될 건 없습니다. 진행자 옆에 기록 담당이 따로 있다면 그렇게 해도 됩니다. 혼자 진행하면서 적어야 한다면 얘기가 다릅니다. 화면에서 눈을 떼지 않고 받아 적어야 하는데, 문서에서는 되지만 표에서는 쉽지 않거든요. 세션 중에는 문서에 적고 끝나고 옮기세요. 진행과 기록을 혼자 다 맡는다면 템플릿보다 진행 요령가이드참가자가 막혔을 때, 사용성 테스트 진행자는 뭐라고 말해야 할까요?부터 챙기는 게 순서입니다.

녹취록은 어떻게 만드나요? Zoom이나 Google Meet에서 녹화를 켜면 녹취록도 같이 만들어집니다. 정확도가 아쉬우면 녹음 파일을 Clova Note 같은 앱에 올려 따로 만들 수도 있습니다. 주의할 점은 하나입니다. 어떤 방법으로 만들든 녹취록은 노트와 별개 파일로 남기 때문에, 이 노트가 녹취록의 어느 대목에 해당하는지는 결국 직접 찾아야 합니다. 그래서 녹취록 파일에도 녹화 파일과 같은 규칙(참가자·날짜)으로 이름을 붙여 두는 게 좋습니다.

노트를 통째로 ChatGPT에 맡기면 안 되나요? 초벌로 묶는 것까지는 맡겨도 됩니다. 다만 결과 품질은 재료가 정합니다. 아무 표시 없는 노트를 그대로 던지면 뭉뚱그린 답이 돌아오고, 시각·태그·참가자가 붙은 노트를 주면 쓸 만한 초안이 나옵니다. 세션 중에 태그와 시각을 지켜 적었다면 그 수고가 여기서 빛을 봅니다.

한 라운드에 몇 명을 테스트해야 하나요? 5명이면 문제의 85%가량이 드러납니다리서치5명이면 충분할까? 사용성 테스트 참가자 수의 진짜 답. 크룩은 3명으로 줄이는 대신 매달 반복하는 방식을 권하죠. 어느 쪽이든 큰 라운드 한 번보다 작은 라운드 두 번이 낫고, 이 조합에서는 그게 곧 정리 부담을 줄이는 길이기도 합니다. 세션이 하나 늘 때마다 수작업도 그만큼 늘어나니까요.