작은 자료에서는 한두 건이 비율을 크게 흔듭니다
소수의 응답이나 일부 사례에서 뚜렷한 차이가 보이면 그 차이를 전체의 특성으로 설명하고 싶어집니다. 하지만 자료가 작을수록 한두 건의 변화가 비율을 크게 바꿉니다. 다섯 건 중 네 건이 같은 답이라는 사실은 80퍼센트라는 표기로 줄이는 순간 규모가 보이지 않게 됩니다.
그래서 보고서에서는 비율보다 먼저 실제 건수와 조사 기간을 적는 습관이 필요합니다. 자료가 어떤 질문에 답할 수 있는지는 숫자의 크기가 아니라 어떻게 모았는지에서 결정됩니다.
누가 응답했는지부터 확인합니다
자발적으로 응답한 사람만 포함됐는지, 특정 채널이나 시간대에서만 모았는지를 살핍니다. 응답하지 않은 사람의 의견까지 이미 조사한 것처럼 추정하지 않습니다. 의견을 남기는 사람은 만족이 매우 높거나 불만이 큰 사람에 치우칠 수 있다는 점도 기억해야 합니다.
선정 방식이 분명하지 않은 자료는 결론에 쓰는 문장의 수위를 낮춥니다. 이번에 모은 응답에서는 이런 경향이 보였다처럼 범위를 밝힌 문장이 더 정확합니다.
응답을 모은 시기도 함께 적어 둡니다. 행사나 휴일 직후처럼 평소와 다른 시기에 모은 자료는 같은 기준으로 비교하기 어렵습니다. 모집 방법과 시기를 보고서 첫머리에 적어 두면 읽는 사람이 자료의 성격을 먼저 이해한 뒤 숫자를 보게 됩니다.
비교하는 두 집단의 조건을 맞춰 봅니다
두 집단을 나란히 놓을 때는 조건이 비슷한지 확인합니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면 차이가 집단의 성격에서 나왔을 수 있습니다. 질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 같은 비율을 시간 순서로 이어 비교하기도 어렵습니다.
이런 조건이 다르면 확정적인 순위를 매기기보다 관찰된 패턴과 아직 확인하지 못한 질문을 나누어 적는 편이 정확합니다.
조건이 완전히 같은 두 집단을 구하기는 어렵기 때문에, 다른 점을 숨기기보다 어디가 다른지 적는 것이 중요합니다. 다른 점을 밝혀 두면 차이를 해석하는 사람이 그 영향을 감안하여 읽을 수 있습니다.
그래프와 표에서 규모를 과장하지 않습니다
그래프에서는 축의 범위와 단위를 확인합니다. 두 건과 세 건의 차이를 지나치게 벌린 막대로 그리면 실제보다 큰 차이처럼 보입니다. 분모가 다른 비율을 나란히 놓을 때는 각 집단의 건수를 함께 표시합니다.
표 아래에는 누락된 응답을 제외했는지, 중복 선택이 가능한 문항이었는지를 적습니다. 이런 주석 몇 줄이 자료를 읽는 사람의 오해를 줄여 줍니다.
작은 자료는 그래프보다 표로 건수를 그대로 보여 주는 편이 오해를 줄이는 경우도 많습니다. 그래프를 꼭 쓴다면 건수를 막대 위에 함께 적어 규모를 바로 알 수 있게 합니다.
결론에는 자료의 범위를 다시 적습니다
이번에 확인한 사례에서는이라고 말할 수 있어도 모든 이용자는이라고 단정할 근거는 부족합니다. 결론 문단에 자료의 범위를 한 번 더 적으면, 보고서를 이어받는 사람이 같은 수준으로 해석할 수 있습니다.
추가 조사를 계획한다면 어떤 집단과 기간을 보완할지 구체적으로 씁니다. 막연히 더 조사한다는 말보다 부족한 집단을 지목하는 편이 다음 단계를 쉽게 만듭니다.
질문지와 포함 기준을 보관합니다
수집 과정을 반복할 수 있도록 질문지, 포함 기준, 조사 기간을 함께 보관합니다. 다음 조사에서 같은 조건을 적용하면 변화가 자료의 차이에서 온 것인지 방법의 차이에서 온 것인지 나누어 볼 수 있습니다.
표본이 작다는 이유로 자료를 버릴 필요는 없습니다. 현장에서 어떤 질문이 나오는지 발견하는 데는 충분히 쓸모가 있기 때문입니다. 한계를 기록하고 후속 확인의 출발점으로 삼으면 다음 의사결정에도 도움이 됩니다.
이런 확인은 보고서를 받는 쪽에서도 요청할 수 있습니다. 숫자를 받으면 몇 건에서 나온 비율인지, 어떤 기간과 방법으로 모았는지를 먼저 물어보는 것만으로도 해석의 수준이 한 단계 올라갑니다. 작은 자료일수록 숫자 자체보다 숫자를 둘러싼 설명이 더 중요합니다.
또한 같은 항목을 일정한 주기로 쌓아 가면 한 번의 조사에서는 보이지 않던 흐름이 서서히 드러납니다. 한 번에 결론을 내리기보다 같은 방식으로 여러 번 모은 뒤 반복해서 나타나는 경향을 읽는 편이 안전합니다.