중요한 만큼 악용되는 사례도 곧잘 나온다. 2024~2025년 정국을 뜨겁게 흔들었던 정치 브로커 사건이 대표적이다. 때에 따라서는 정당인들이 자신의 정치 세력을 동원하기도 한다. 고개가 갸우뚱할 만한 조사 결과가 나오는 이유다.
모든 것에는 ‘빛’과 ‘그림자’가 있다. 여론조사는 올바른 정보를 제공한다는 점에서 분명한 장점이 있다. 동시에 왜곡될 여지도 안고 있다. 이런 그림자는 고의적일 수도 있지만, 상당수는 부지불식간에 나타난다.
사진=연합뉴스
여론조사 결과의 신뢰도를 따질 때 가장 먼저 살펴볼 것은 조사 업체의 공신력이다. 역사와 전통을 갖고 신뢰를 쌓아온 업체들이 있다. 시스템이 비교적 잘 갖춰져 있고, 조사 오류를 줄이는 데 비용을 들인다. 다시 말하면 조사에 돈을 많이 쓸수록, 공을 더 들일수록 신뢰도 높은 결과에 가까워진다.
정치 분야 여론조사에서 흔히 쓰이는 방식은 크게 두 가지다. 첫 번째는 ARS, 자동응답 전화 조사다. 기계음 질문에 응답자가 번호를 눌러 답하는 방식이다. 신속하고 비용이 저렴하다. 하루 만에 응답자 1000명을 확보한 조사 대부분이 이 방식이다. 비용을 줄이려는 의뢰자들이 선호한다.
두 번째는 전화면접 조사다. 조사원이 직접 전화를 걸어 응답을 받는 전통적인 방식이다. 사람을 상대하다 보니 ARS보다 응답률이 높다. 연령이나 성별을 속일 여지도 상대적으로 적다.
표본추출 방식도 중요하다. 조사업체가 선호하는 방식은 통신사로부터 번호를 제공받는 경우다. 지역·성별·연령대 등 기본 정보가 함께 있어 표본 구성을 세밀하게 할 수 있다. 다른 방식은 무작위로 전화번호를 생성하는 RDD다. 비용이 적게 든다는 장점이 있다.
대체로 공신력이 높다고 평가받는 조사업체는 ARS보다 전화면접 조사를 선호한다. 속도가 느리고 비용이 들더라도 신뢰도를 높일 수 있다는 판단 때문이다. 반대로 비용을 최소화하려는 조사는 RDD로 추출한 번호에 ARS를 결합한다. 일부 업체는 이 방식에서도 객관성을 확보할 수 있다고 주장한다.
◇응답률도 참고하자
1월 1일 새해를 맞아 여러 언론사가 여론조사 결과를 발표했다. 이 가운데 흥미로운 결과를 보인 세 가지를 살펴볼 만하다.
A 언론사가 의뢰한 여론조사 ‘1’은 무선 전화면접 조사였다. 27~28일 전국 18세 이상 남녀 1003명을 대상으로 했다. 신뢰수준 95%, 표본오차 ±3.1%p다. 응답률은 11.9%다.
B 언론사가 한국정당학회와 함께 진행한 여론조사 ‘2’는 유권자 패널 조사였다. 미리 ‘응답자 풀’을 구성해 두는 방식이다.
C 언론사가 의뢰한 여론조사 ‘3’은 ARS 방식이었다. 표본은 무작위 전화번호 생성(RDD)으로 추출했다. 신뢰수준과 표본오차는 여론조사 ‘1’과 같다. 응답률은 2.0%다.
세 조사 모두 국민이 가장 중요하게 꼽은 분야로 ‘경제’를 제시했다. 조사 방식이 달랐지만 결과가 겹쳤다. 교차 검증이 이뤄졌다는 점에서 신뢰할 만한 대목이다.
차이는 역시 ‘신뢰도’다. 그 단서 중 하나가 응답률이다. 응답률이 높을수록 모집단 성향에 근접할 가능성이 커진다. 여론조사 ‘1’과 ‘3’을 비교하면 차이가 뚜렷하다.
여론조사 ‘1’의 응답률은 11.9%, ‘3’은 2.0%다. 응답률은 응답자 1000명을 모으기 위해 얼마나 많은 사람에게 전화를 걸었는지를 보여주는 지표다. 여론조사 ‘1’은 약 1만 명에게 전화를 돌렸고, ‘3’은 약 5만 명에게 전화를 걸었다는 뜻이다. 두 조사 간의 조사 신뢰도 우열을 따진다면 전자(응답률 11.9%)가 후자(응답률 2.0%)보다 높을 가능성이 높다.
여론조사 ‘2’는 한 단계 더 나아가 패널을 구성했다. 응답률에 대한 부담이 줄어든다. 시간 흐름에 따른 인식 변화도 추적할 수 있다. 무작위 표본을 대상으로 한 여론조사의 단점을 상당 부분 줄일 수 있다.
다만 패널 구성의 객관성을 어떻게 담보하느냐는 또 다른 과제다. 진영 논리가 강한 정치 분야일수록 이 문제는 더 민감해진다. 수십만 명의 패널을 보유한 조사 업체들이 정작 정치 조사 활용에 이를 꺼리는 이유다.
◇조사결과에 속지말자
응답률이 높다고 무조건 좋은 조사는 아니다. 조사 방식마다 통상적인 응답률 범위가 있다. 이를 크게 웃도는 수치는 다른 요인이 개입됐을 가능성을 의심해볼 필요가 있다.
지난해 1월 탄핵 정국 당시 일부 여론조사가 그랬다. ARS 조사임에도 응답률이 10%에 육박했다. 앞서 언급한 여론조사 ‘3’의 응답률이 2.0%였다는 점을 감안하면 이례적이다. 조사 업계에서는 특정 정치 세력이 적극적으로 응답에 나섰을 가능성을 거론했다.
근거 없는 추정은 아니다. 정당 경선 과정에서 특정 후보 지지층이 전화조사 응답을 독려하는 장면은 낯설지 않다. 선거를 앞두고 여론조사 응답률이 전반적으로 높아지는 이유이기도 하다.
설문 문항이나 질문 순서에 따라 답변 지형은 얼마든지 달라질 수 있다. 오래전부터 반복돼 온 지적이다.
결론은 단순하다. 완벽한 조사는 없다. 어느 한 조사를 맹신해서는 안 된다. 여러 조사 결과를 함께 보되, 공신력 있는 업체의 결과에 조금 더 무게를 두는 태도가 필요하다.
또 한 가지. 조사 결과를 담은 기사를 보면서 어떤 방식으로 했는지 보는 태도다. 보다 ‘똑똑한 유권자’에 한 걸음 더 다가갈 수 있게 된다.
