보고서의 빈 영역에도 이름이 필요합니다
검색어 목록에는 방문 준비나 위치 확인에 관한 표현이 보이는데 전체 검색 클릭 합계는 그 목록의 합보다 클 수 있습니다. 이때 차이를 기타 검색어 한 줄로 넣으면 표는 완성되지만 무엇을 알고 있는지가 불명확해집니다. 실제 표현을 읽고 분류한 기타 항목과 표현을 전혀 받지 못한 미확인 영역은 다른 상태입니다. 검색어가 충분히 제공되지 않는 자료를 다룰 때는 이 둘을 구분하는 것부터 시작해야 합니다.
분석자가 가진 것은 검색 서비스가 제공한 집계와 확인 가능한 표현 목록입니다. 보이지 않는 문장을 복원한 전체 기록은 아닙니다. 따라서 보고의 제목도 이용자 전체의 관심 분포와 확인된 표현의 구성 가운데 어느 것을 말하는지 달라야 합니다. 제한된 목록을 전체 수요처럼 보여 주면 관심이 적어 보이는 분야를 잘못 줄이거나 특정 주제를 과하게 늘릴 수 있습니다. 분모를 정확히 쓰는 것이 콘텐츠 결정의 전제가 됩니다.
이 글은 검색어 정보가 부족한 상황에서 자료의 가용 범위를 기록하고 결론의 강도를 조절하는 방법을 다룹니다. 도착한 글의 제목으로 검색어를 추정하거나 누락분을 자동 배분하지 않습니다. 대신 전체 집계가 무엇을 포함하는지, 세부 목록이 어느 범위까지 설명하는지, 모르는 부분이 달라져도 유지할 수 있는 결정은 무엇인지 차례로 판단합니다. 완전한 자료가 없어도 이러한 기준을 갖추면 운영 보고를 이어갈 수 있습니다.
합계와 세부 목록이 같은 대상을 가리키는지 먼저 확인합니다
전체 합계에서 검색어별 합을 빼기 전에 두 자료의 범위를 맞춥니다. 같은 사이트와 기간, 검색 유형, 행동 단위인지 확인해야 합니다. 한쪽은 클릭이고 다른 쪽은 방문이라면 차이는 미제공 검색어의 크기를 뜻하지 않습니다. 같은 이름의 항목이어도 도구가 정의하는 단위가 다를 수 있으므로 설명을 읽습니다. 서로 직접 대응하지 않는 자료의 차액을 누락량이라고 발표하지 않는 것이 첫 번째 기준입니다.
화면에 표시된 상위 일부 목록을 전체 검색어 목록으로 오인하지 않았는지도 살펴봅니다. 정렬 기준과 표시 범위, 선택한 필터, 내려받은 파일의 범위를 기록합니다. 더 많은 행을 합법적으로 확인할 수 있는 기능이 있다면 현재 도구의 안내에 따라 이용할 수 있지만, 지원하지 않는 방법으로 제한을 우회하려 하지 않습니다. 제공되는 자료의 범위가 무엇인지 아는 일과 제공되지 않는 개인별 정보를 얻는 일은 별개의 문제입니다.
전체와 상세가 같은 대상을 가리킨다는 근거가 있을 때에만 설명되지 않는 나머지를 계산할 수 있습니다. 계산 가능하더라도 그 나머지의 실제 검색 표현까지 아는 것은 아닙니다. 서로 대응하는지 확정하지 못했다면 합계 불일치라고 기록하고 미제공 규모를 숫자로 만들지 않습니다. 보고를 위해 꼭 하나의 비율이 필요하다는 이유로 전제를 생략해서는 안 됩니다. 계산식보다 먼저 자료 관계를 확인해야 합니다.
검색어의 상태를 세 가지 장부로 관리합니다
첫 장부에는 실제 문자열을 받은 표현과 그 집계값을 넣습니다. 두 번째에는 문자열은 받았지만 의미를 확실히 분류하지 못한 표현을 둡니다. 세 번째는 문자열이 제공되지 않아 내용 자체를 알 수 없는 영역입니다. 앞의 두 장부는 사람이 검토하면 분류가 달라질 수 있지만 마지막 장부는 단어를 읽어 분류할 수 없습니다. 이 차이를 유지하면 모호한 질문을 검토하는 업무와 자료 제공 범위를 기다리는 업무가 섞이지 않습니다.
읽을 수 있는 표현의 모호함은 철자 오류, 동음 표현, 여러 의미가 섞인 문장 등에서 생길 수 있습니다. 담당자가 의미를 확인했다고 판단할 근거가 있을 때만 분류를 확정합니다. 애매한 항목을 비중이 작은 주제로 밀어 넣어 표를 정리하지 않습니다. 명확히 구분할 수 없다면 해석 보류로 남기고 해당 값이 분류 비율에서 어떤 위치에 있는지 설명합니다. 보류가 존재한다는 사실은 자료가 부정확하다는 선언이 아니라 판단 경계를 표시하는 일입니다.
문자열이 없는 영역에는 그럴듯한 키워드를 생성해 붙이지 않습니다. 관련 페이지에 들어왔다는 이유로 그 페이지의 대표 단어를 검색했을 것이라고 가정하는 것도 같은 오류입니다. 생성한 표현은 향후 기획을 위한 가설 목록으로 별도 보관할 수 있지만 실제 관찰 목록에 섞이면 안 됩니다. 실제로 확인된 표현만 근거 장부에 남겨야 다음 보고에서 무엇이 새로 관찰됐는지 판별할 수 있습니다.
분모를 바꾸면 같은 항목의 비중도 달라집니다
확인된 검색어 가운데 준비 관련 표현이 차지하는 비율과 전체 검색 클릭 가운데 그 표현으로 확인된 부분의 비율은 다른 값입니다. 앞의 값은 보이는 목록의 구성이고 뒤의 값은 전체에서 확실히 확인된 일부의 크기입니다. 어느 값을 제시하든 분모의 이름을 명시합니다. 검색어 확인 범위가 줄었는데 보이는 목록 안의 비중만 커졌다면 이용자 전체의 관심이 커졌다고 말할 수 없습니다.
가상의 비교로 두 보고 기간의 전체 규모는 비슷하지만 한 기간에는 더 적은 종류의 검색어만 확인됐다고 생각해 보겠습니다. 남은 표현 가운데 특정 주제의 비중이 높아져도 그 주제의 전체 관심이 증가했는지는 알 수 없을 수 있습니다. 보이는 부분의 구성이 달라졌다는 사실과 자료가 제공되는 범위가 달라졌다는 사실을 같이 적어야 합니다. 예시 상황은 실제 사이트의 결과가 아니며 분모가 달라지는 문제를 설명하기 위한 가정입니다.
미확인 검색어가 보이는 목록과 같은 분포를 가진다고 전제하고 전체로 확대하지 않습니다. 어떤 표현이 더 많이 제공되지 않는지 모를 수 있기 때문입니다. 예를 들어 확인된 목록의 주제 비율을 전체 합계에 곱하면 계산값은 나오지만 그 값이 실제 관찰은 아닙니다. 별도의 타당한 분석 설계가 없는 일반 운영 보고에서 이런 추정치를 실제 키워드별 실적으로 사용하지 않습니다. 미확인이라는 항목을 유지하는 편이 해석을 정직하게 만듭니다.
전후 비교는 성과와 제공 범위의 변화를 함께 읽습니다
기간마다 전체 집계와 세부 목록의 관계를 같은 방식으로 기록합니다. 자료 가용성이 비교 가능한 상태인지 확인하고, 범위가 달라졌다면 주제 비율의 증감 해석을 제한합니다. 제한을 설명하지 않은 채 보이는 검색어 수가 늘었다고 검색 수요가 다양해졌다고 말해서는 안 됩니다. 제공된 표현의 종류가 늘어난 것인지 실제로 다루는 질문이 넓어진 것인지 구분할 근거가 있어야 합니다.
같은 검색어가 두 기간에 모두 확인된다면 해당 표현의 관찰값을 비교할 수 있습니다. 다만 이 공통 목록은 계속 보였던 표현만 담은 집합이라는 한계가 있습니다. 사라진 표현과 새로 나타난 표현을 제외했다면 사이트 전체 변화를 대표하지 않습니다. 공통 목록 비교는 고정된 표현에서 무엇이 달라졌는지 확인하는 보조 자료로 사용합니다. 이를 전체 검색 성과라고 제목을 붙이지 않고 포함 범위를 명시합니다.
한 기간에만 나타난 검색어도 새로 발생한 수요인지 이전에는 제공되지 않았던 표현인지 구분되지 않을 수 있습니다. 새로 확인된 표현이라고 쓰면 관찰 사실을 정확히 전달할 수 있습니다. 처음 생긴 검색이라고 단정하면 발생 시점을 알고 있다는 뜻이 됩니다. 표현 선택의 작은 차이지만 콘텐츠 기획에서는 중요합니다. 실제로 없던 수요가 생겼다는 가정과 이번에 처음 보았다는 관찰은 후속 조사에서 다른 질문을 만들기 때문입니다.
자료 가용성의 변화는 원인 확인이 필요한 별도 사건입니다
특정 시점부터 세부 자료가 줄었다면 최근 필터나 계정 선택, 내려받기 과정이 바뀌었는지 확인합니다. 원본에는 있는 행이 가공 과정에서 빠진 문제와 원본에서도 제공되지 않는 문제를 분리합니다. 같은 현상처럼 보여도 처리 방법이 다릅니다. 가공 오류라면 사본에서 절차를 고쳐 재계산할 수 있지만 원자료가 없는 경우에는 없는 문자열을 되살릴 수 없습니다. 복구 가능한 범위를 먼저 결정해야 합니다.
도구의 설명에 제공 범위나 갱신 관련 안내가 있다면 실제 자료와 대조합니다. 공식 안내를 확인하지 않은 채 최신 정책 때문이라고 단정하지 않습니다. 알려진 조건과 여전히 설명되지 않는 부분을 기록하면 됩니다. 담당자가 외부 서비스의 제한을 통제할 수 없더라도 보고서에서 그 제한을 표시하는 일은 통제할 수 있습니다. 확인되지 않은 이유를 채우는 것보다 어떤 조사까지 수행했는지 남기는 것이 더 유용합니다.
자료가 나중에 추가로 제공됐다면 이전 기록을 조용히 바꾸지 않습니다. 어느 범위의 문자열과 값이 새로 확인됐는지 남기고 동일한 분류 규칙으로 처리합니다. 이전에 미확인으로 남겼던 부분이 줄어들면 관련 비율과 해석도 다시 검토합니다. 자료 확보의 개선을 검색 성과의 개선으로 부르지 않도록 구분합니다. 새로 알게 된 정보와 새로 발생한 행동은 동일한 것이 아닙니다.
모르는 부분이 커도 유지할 수 있는 결정을 찾습니다
전체 관심 분포를 알지 못하면 어떤 주제를 가장 많이 발행할지 확정하기 어려울 수 있습니다. 이때는 미확인 영역이 어느 쪽으로 구성돼 있더라도 필요한 작업부터 선택할 수 있습니다. 잘못된 운영 정보를 바로잡거나 이미 있는 질문의 답을 정확하게 만드는 일은 전체 키워드 비중을 몰라도 필요할 수 있습니다. 이 결정의 근거는 검색 수요 추정이 아니라 확인한 정보 오류입니다. 근거가 다른 작업을 분리하면 분석 제한 속에서도 운영을 진행할 수 있습니다.
반면 특정 주제의 수요가 거의 없다는 판단을 바탕으로 관련 안내를 모두 없애는 결정은 미확인 영역의 영향을 크게 받을 수 있습니다. 보이지 않는 표현이 그 주제에 속한다면 결론이 달라질 가능성이 있기 때문입니다. 현재 자료가 그 결정을 뒷받침하는지 다시 묻고, 필요한 경우 삭제를 보류하거나 별도 근거를 확보합니다. 가용성이 낮은 자료에서는 되돌리기 어려운 선택보다 근거가 분명한 정비 작업을 우선할 수 있습니다.
가설 검토를 위해 작은 범위의 새 안내를 준비할 수도 있습니다. 이 경우 기획 목적을 확인된 검색 수요가 아니라 아직 답하지 못한 운영 질문으로 적습니다. 공개 후 실제로 확보되는 자료를 같은 규칙으로 관찰하고 결과가 보이지 않으면 원인을 단정하지 않습니다. 작은 시도가 항상 적절한 것은 아니므로 기존 문서와 역할이 다른지 먼저 확인해야 합니다. 미확인 검색어를 근거로 유사 원고를 대량 생성하는 방식은 불확실성을 줄이지 못합니다.
관찰과 가설이 섞이지 않는 보고 양식을 유지합니다
보고서에는 실제 문자열에서 확인한 사실, 제공되지 않아 판단할 수 없는 부분, 추가 검토를 위한 가설을 다른 문장으로 표시합니다. 가설에는 그 생각을 확인하려면 어떤 근거가 필요한지 붙입니다. 특정 질문이 늘었을 것이라는 추측이 여러 차례 보고를 거치며 사실로 굳어지는 일을 막기 위해서입니다. 다음 담당자는 세 범주를 읽고 어디까지 이미 확인됐는지 이해할 수 있어야 합니다.
표와 그래프의 범례도 이 구분을 따릅니다. 미확인을 일반적인 기타 주제와 같은 색으로 합쳐 그리면 독자는 내용이 분류됐다고 생각할 수 있습니다. 자료가 없는 영역이라는 설명을 직접 붙이고 분류된 영역만 다시 비율로 표현했다면 그 분모를 표시합니다. 계산 결과가 맞아도 그림이 전체를 안다는 인상을 주면 보고의 의미가 달라집니다. 발표용 요약에서도 제공 범위에 대한 한 줄은 유지하는 것이 좋습니다.
마지막 검수에서는 전체라는 단어와 늘었다는 표현을 찾아 근거를 대조합니다. 전체 검색어를 받지 않았는데 전체 관심이라고 썼는지, 새로 확인한 표현을 새로 발생한 수요라고 썼는지 확인합니다. 숫자가 부족하다는 이유로 보고를 포기하지 않되 부족한 부분을 감추기 위해 해석을 크게 만들지도 않습니다. 자료의 분모와 가용성을 관리하면 검색어 제한은 명확한 분석 조건이 되고, 그 조건 안에서 수행할 수 있는 콘텐츠 결정도 구체적으로 남길 수 있습니다.