비율 하나가 규모를 대신 말해 주지 않습니다
설문이나 문의 기록을 정리하다 보면 몇 건의 응답에서 뚜렷한 차이가 보이는 경우가 있습니다. 이럴 때 그 차이를 전체 고객의 특성처럼 보고서에 옮기고 싶어지지만, 자료가 적을수록 한두 건의 변화가 비율을 크게 흔듭니다. 같은 80%라는 숫자도 열 명 중 여덟 명인지, 오백 명 중 사백 명인지에 따라 읽는 무게가 전혀 다릅니다.
그래서 보고서에서는 비율을 쓰기 전에 실제 응답 수를 먼저 밝히는 습관이 필요합니다. 비율은 요약을 돕는 도구일 뿐, 자료의 크기를 보여 주는 정보는 아니기 때문입니다.
건수와 기간, 선정 방식을 한 줄로 붙입니다
표나 문장에는 응답 수와 조사 기간, 응답자를 어떻게 모았는지를 함께 적어 둡니다. 누구나 자발적으로 답할 수 있는 방식이었는지, 특정 지역이나 특정 채널에서만 모았는지에 따라 결과가 읽히는 범위가 달라집니다. 자발적으로 답한 사람은 의견이 강한 쪽에 치우칠 수 있다는 점도 염두에 둡니다.
응답하지 않은 사람의 의견을 이미 조사한 것처럼 추정하는 표현은 피합니다. 질문을 받고도 답하지 않은 경우는 그 자체가 모름을 의미할 뿐, 어느 쪽의 의견이라고 가정할 근거가 되지 않습니다. 이 정보는 길지 않아도 되며, 표 아래 한 줄이면 충분합니다. 다만 보고서를 읽는 사람이 이 줄을 건너뛰지 않도록 표 제목 가까이에 두는 편이 좋고, 여러 표가 이어질 때는 같은 형식으로 반복해 적어 일관성을 유지합니다.
비교하는 두 집단의 조건을 맞춰 봅니다
두 집단의 차이를 말할 때는 두 집단이 같은 조건이었는지부터 살핍니다. 한쪽은 최근 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 차이가 보이더라도 그것이 이용 기간의 영향인지 다른 요인인지 구분하기 어렵습니다.
시간 순서로 같은 지표를 이어 붙일 때도 주의가 필요합니다. 질문 문구가 바뀌었거나 설문이 보이는 위치가 달라졌다면 같은 비율이라도 같은 것을 재었다고 말하기 어렵습니다. 이런 경우에는 확정적인 순위를 내기보다 관찰된 패턴과 아직 확인해야 할 질문을 나누어 적는 편이 정확합니다. 예컨대 어느 쪽이 더 높았다고 쓰기보다 이번 자료에서는 이런 차이가 관찰되었으며 같은 조건의 추가 자료로 확인이 필요하다고 쓰면 읽는 사람이 판단의 여지를 갖게 됩니다.
그래프는 축과 건수를 함께 보여 줍니다
작은 자료를 그래프로 그릴 때 축의 범위를 좁게 잡으면 두 건과 세 건의 차이가 매우 커 보이는 막대가 만들어집니다. 시각적으로 큰 차이처럼 보이는 것이 실제로 큰 차이인지는 별개입니다. 축의 시작점과 단위를 확인하고, 분모가 다른 비율을 나란히 놓을 때는 각 집단의 실제 건수를 함께 표시합니다.
표 아래에는 누락된 응답을 제외했는지, 중복 선택이 가능한 문항이었는지 같은 처리 방식을 설명합니다. 읽는 사람이 같은 자료를 다시 계산해 볼 수 있을 정도의 정보가 있으면 신뢰를 얻기 쉽습니다.
결론에는 자료의 범위를 다시 적습니다
결론 문장을 쓸 때는 이번에 확인한 사례에서는 이런 경향이 보였다는 정도로 범위를 한정합니다. 모든 고객이 그렇다고 말하려면 더 넓은 자료가 필요합니다. 추가 조사를 계획한다면 어떤 집단을, 어느 기간 동안 더 모을지 구체적으로 적어 두면 다음 논의가 쉬워집니다.
적은 자료도 현장의 질문을 발견하는 데에는 충분히 쓸모가 있습니다. 예를 들어 문의 기록 몇 건에서 같은 오해가 반복되어 보였다면, 그것을 전체 경향으로 선언하기보다 다음 달 자료에서 같은 오해가 다시 나타나는지 확인할 질문으로 남겨 두는 방식이 알맞습니다. 이렇게 하면 작은 관찰이 근거 없는 주장으로 굳어지지 않고, 후속 조사의 출발점으로 쓰입니다. 다만 그 자료가 말해 주지 않는 부분까지 확정된 사실처럼 바꾸지 않아야 의사결정이 흔들리지 않습니다.
다시 쓸 수 있도록 조사 방법을 보관합니다
마지막으로 질문지와 응답자 포함 기준, 집계 방식을 파일로 보관해 둡니다. 다음 조사에서 같은 조건을 적용하면 변화가 실제 차이에서 온 것인지, 방법이 달라져서 생긴 것인지 나누어 볼 수 있습니다.
표본이 작다는 이유로 자료를 버리기보다 한계를 기록하고 후속 확인에 쓰는 편이 오래 도움이 됩니다. 보고서를 공유하기 전에 숫자가 가리키는 범위를 한 번 더 읽어 보는 습관을 실무 점검 항목에 넣어 두시기 바랍니다.