분기마다 사이트에서 정보를 찾는 방식을 시험한다면 결과를 수치 하나로만 비교하기 어렵습니다. 메뉴 구조가 바뀌었거나 이용자가 맡은 과업이 달라졌다면 이전 분기와 같은 기준으로 읽을 수 없기 때문입니다. 테스트 결과를 검토할 때에는 실제 화면, 과업 문장, 참가자가 처음 선택한 경로를 함께 남겨야 합니다.
먼저 동일한 질문을 해결하는 데 걸린 단계와 되돌아온 위치를 봅니다. 이전에는 메뉴를 통해 바로 찾았는데 이번에는 검색창을 써야만 찾는다면 메뉴 이름이나 배치가 달라졌을 수 있습니다. 처음 보는 사람과 사이트에 익숙한 사람의 결과를 섞어서 하나의 평균으로 결론내리지 않습니다. 이용자의 개인정보보다 어떤 화면에서 어떤 질문이 막혔는지를 기록하는 편이 유용합니다.
테스트에서 문제가 발견되면 관련 메뉴 문구와 도착 페이지의 첫 문단을 함께 고칩니다. 메뉴만 바꾸고 상세 페이지 제목이 이전 이름을 쓰면 여전히 혼란이 남습니다. 모바일에서만 나타나는 접힘 메뉴의 문제라면 데스크톱 결과와 나눠 검토합니다. 글자를 확대했을 때 항목이 가려지는지, 키보드로 이동 가능한지도 필요한 과업에 포함할 수 있습니다.
분기별로 평가 항목을 변경했다면 이유와 새 정의를 기록합니다. ‘성공’이 페이지 도착인지 실제 신청 완료인지 분명하지 않으면 결과를 비교할 수 없습니다. 과업이 바뀌어 직접 비교가 어렵다면 억지로 개선률을 계산하지 말고 어느 조건이 달랐는지 설명합니다. 사실 확인이 되지 않은 숫자를 성과로 만들지 않습니다.
수정한 뒤에는 같은 과업을 다시 수행해 보며 이전에 막힌 지점이 해결됐는지 확인합니다. 일부 문제는 메뉴 위치보다 내용이 오래되거나 링크가 끊긴 데서 생깁니다. 변경 전후의 화면과 수정일, 책임자를 남기면 다음 분기에 같은 원인을 반복해서 찾지 않아도 됩니다.
탐색 테스트는 순위를 매기는 행사가 아니라 이용자가 답에 이르는 실제 경로를 관찰하는 방법입니다. 결과가 달라졌다면 보고서 문구와 공개 화면, 연결된 안내를 함께 수정해야 합니다.