'박근혜 심판' 총선 못 맞춘 여론조사, 왜?

"조사 기법·제도 한계" 지적 가운데 '사람 문제' 자성도

4.13 총선 결과를 예측한 이들이 얼마나 있을까? 새누리당이 과반 의석 확보는커녕 122석의 원내 2당으로 추락할 거라는 사실을, '100석도 어렵다'던 더불어민주당이 123석으로 한시적일지언정 1당 지위를 누리게 됐다는 사실을 예측한 여론조사는 전무했다.

국내 유명 여론조사 업체인 '리얼미터' 역시 총선 하루 전인 12일까지만 해도 "새누리당 155~170석, 더민주 90~105석, 국민의당 25~35석, 정의당 5~10석, 무소속 8~12석"이라는 예측을 공식적으로 내놨었다. 이 예측과 일치한 것은 정의당과 무소속 의석수 뿐이다.

전체 의석 수뿐만이 아니라, 개별 지역구의 승패 예측도 정반대였다. 이를테면 서울 종로에서는 더민주 소속 정세균 당선자가 새누리 오세훈 전 서울시장에 계속 뒤지는 것으로 나왔지만, 실제로는 정 당선자가 52.6%로 과반 득표하며 오 전 시장에 12.9%포인트차 대승을 거뒀다.

부산 진갑의 더민주 김영춘 부산시당위원장도 각종 여론조사에서 새누리당 나성린 의원에 항상 뒤지는 것으로 나왔고, 3월말 <국제신문> 조사에서는 42.4% 대 25.2%로 20%포인트 가까이 격차가 났다. 하지만 결과는 김영춘의 3%포인트차 승리였다.

왜 이렇게 빗나간 걸까? 전문가들은 세 가지 측면에서 원인을 짚고 있다. △ 기술적인 조사 기법상의 한계 △ 선거관리위원회 등의 행정 규제 △ 전문가 스스로의 자성이라고도 할 수 있는 '여론조사 결과 분석자'의 문제다.

조사 기법상의 한계 : 집 전화 위주, 젊은 층 없음, 정량적 평가

조사 기법의 한계란 뭘까. 현재 여론조사 업체들이 대부분 하고 있는 집 전화 무작위 걸기(RDD) 방식이, 집 전화가 없거나 집에 있는 시간이 없는 사람들이 많아진 사회 환경 변화를 반영하지 못하고 있다는 것이다.

여론조사 전문가 정한울 고려대 평화와민주주의연구소 교수는 <프레시안>과의 통화에서 "총선은 대선과 달리 지역구 조사여서 표본도 적은데 (지역구별) 휴대전화 번호를 제공받을 수 없다. 그런데 안심 번호는 정당에만 쓰게 해 놨다"며 "여론조사 회사들이 집 전화 없이 휴대전화만 쓰는 사람은 잡을 수가 없어서 (회사가 확보하고 있는) 고정 패널들만 쓰다 보니 이런 부분을 보정하지 않으면 정확한 결과가 나오지 않게 된다"고 지적했다.

정 교수는 "가장 큰 문제는 낮은 응답률"이라며 "보통 때에는 정치에 무관심하다가 선거 때가 되면 관심을 갖는 사람들 대신, 평소에도 정치에 관심이 많은 사람들이 과대 대표될 가능성이 있다"고 했다. 그는 "(집 전화, ARS 조사의 특성상) 세대 구성 자체를 못 맞춰서 가중치를 몇 배씩 주기도 한다"고 지적했다.

윤희웅 오피니언라이브 여론분석센터장도 "집 전화를 대상으로 하면, 집 전화가 없거나 귀가가 늦은 직장인, 학생 등이 원천적으로 배제된다"며 "배제된 사람들은 야권 지지 성향인 확률이 높은 반면, 같은 20대라도 집에 있는 무직자나 자영업자 등은 보수적 성향일 수 있다"고 지적했다.

윤 센터장은 "2010년 '여론조사 대란' 이후 개발된 것이 RDD인데, 2012년 총선·대선과 2014년 총선까지는 잘 써먹었지만 이번에 틀리는 정도가 좀 많이 커진 것"이라며 새로운 여론조사 기법 개발이 필요하다고 지적했다.

이택수 리얼미터 대표도 SNS에 올린 글에서 "유선 전화 조사만으로는 이제 선거 여론조사를 하기 어려워졌다"며 "지역 선거(총선, 지방 선거)에서 안심 번호 휴대전화 조사를 당내 경선 여론조사뿐 아니라, 언론사 여론조사 등 공표·보도되는 모든 여론조사로까지 확대해야 한다"고 했다.

윤 센터장은 또 한 가지 근본적 문제를 지적했다. 그는 "여론조사는 모든 사람을 대상으로 하는 것이지만, 투표는 투표에 참여한 사람들의 의견만이 반영되는 것"이라며 "그래서 투표와 여론조사는 모집단이 다르다"고 했다. 윤 센터장은 "문제는 '투표 참여 의지'인데, 정권 후반기 여권 지지층의 투표 의지는 낮은 반면 정권 심판 의지가 큰 야권 지지층은 상대적으로 동력이 더 높다"면서 "그런데 그걸 계량화할 방법이 없다"고 했다.

즉 "단순히 어떤 의견을 갖고 있는지가 아니라 (그런 의견의) 깊이(depth)나 강도(strength)도 중요한데, 이것은 '선거일에 투표하시겠습니까'라고 물어서는 알 수가 없다. 투표를 할 것이냐 안 할 것이냐는 질문은 '도덕적 질문'이기 때문에 대부분 '한다'고 답하게 마련"이라는 것이다.

선관위의 규제 : 선의로 포장된 '거짓으로 가는 길'

전문가들이 지적하는 여론조사 기법상의 한계가 능력상 '할 수 없는' 차원의 문제라면, 기술적으로는 문제가 없는데 선관위 등의 규제로 인해 생기는 문제도 있다. 대표적인 것이 여론조사 공표 금지 기간이다. 현 공직선거법은 선거일 6일 전부터 여론조사 결과 공개를 금지하고 있다. 여론조사 결과가 유권자의 선택에 영향을 미칠 수 있다는 취지에서다.

그러나 이 법이 오히려 유권자의 선택권을 제한한다는 지적도 있다. 이를테면 야권 지지 성향의 유권자가 '새누리당 후보를 제외하고 가장 경쟁력이 높은 후보에게 표를 던지겠다'는 선택을 하기로 했다면, 여론조사 공표 금지 조항은 이 유권자가 투표에 필요로 하는 정보를 획득할 수 없게 한다.

정한울 교수는 비례대표 선거에서 국민의당의 약진을 예로 들며 "여론조사 공표 금지 기간 이전에 이미 국민의당 지지율이 급상승하는 현상이 있었다. 그 추세가 연장됐다면. 투표일 하루 이틀 전 조사에서는 실제 비례대표 투표 결과와 거의 같은 여론조사 결과가 나왔을 것"이라고 했다. 정 교수는 "(여론조사에 나타나지 않은) '숨은 표'의 문제가 아니라, 실제로 (공표 금지 기간 내에) 여론이 변하고 있었을 가능성이 높다"고 지적했다.

실제로 정 교수의 말처럼, 선거일 직전 날인 12일 하루 동안 리얼미터가 전국 유권자 1021명에게 조사한 결과, 비례대표 득표율 여론조사 결과는 새누리당 33.2%, 더불어민주당 22.3%, 국민의당 24.5%, 정의당 11.6% 등이었다. 이 역시 실제 투표 결과와 정확히 맞지는 않지만, 새누리당이 30% 초반으로 떨어진 점, 국민의당이 더민주보다 1~2% 높게 나온 점 등은 일치했다.

반면 여론조사 공표 금지 기간 직전인 지난 8일자 '한국갤럽'의 비례대표 선호도 조사에서는 새누리 36%, 더민주 18%, 국민의당 17%, 정의당 9%(정당 지지율은 새누리당 39%, 더불어민주당 21%, 국민의당 14%, 정의당 5%)로 나왔다.

윤희웅 센터장 역시 여론조사가 죄다 빗나간 데 대해 "이번 선거 자체의 문제도 있다"면서 "선거구 획정이나 공천 결정이 지연되면서 선거 관련 정보가 유권자들에게 뒤늦게 전달됐고, 이에 따라 유권자들의 표심이 여론조사 공표 금지 기간 이후에 늦게 정리된 면이 있다"고 했다.

이택수 대표는 "공표·보도 금지 기간의 철폐 혹은 축소, 그리고 공표, 보도 시 지나친 조사 개요 관련 의무 사항, 방송통신위원회 등과의 이중 규제 등을 철폐해 국민의 알 권리가 제한되는 일이 없도록 해야 한다"고 했다.

이 대표는 또 "행정안전부 주민 등록 인구 통계 외의 선거 통계(중앙선관위 직전 선거 득표율 등)를 가중치 부여 과정에 (보정 기준으로) 적용하지 못하게 해, 숨겨진 야당 표심을 통계 과정에서 보정하지 못하게 제한한 중앙선거여론조사공정심의위원회와 중앙선거관리위원회는 향후 전향적으로 입장을 선회해야 한다"고 했다.

실제로 리얼미터 관계자에 따르면, 이 기관이 인구 통계 외에 정치 성향을 가중치 부여 기준으로 사용하자 선거 당국이 과태료 처분을 하는 일도 있었다.

인구 통계 기준 가중치 부여란, 예컨대 100명을 표본으로 여론조사를 했을 때 이 표본 가운데 남성이 60명, 여성이 40명이었다면, 행정안전부 주민 등록 인구 통계 기준의 남녀 성비에 따라 남성 60명의 답을 50명분으로, 여성 40명분의 답을 50명분으로 환산하는 방식으로 가중치를 부여하는 것이다(남녀 인구 비율은 2016년 3월 현재 1:1). 이 경우 표본에 속한 남성 응답자 1명의 답은 6분의 5명으로 깎이고, 여성 1명의 답은 5분의 6명으로 1.2배 가중 계산된다.

이 외의 기준은 적용하면 안 된다. 예컨대 100명 표본 가운데 지난 대선에서 박근혜 후보에게 투표했다고 답한 사람이 60명, 문재인 후보에게 투표했다고 한 사람이 40명이라고 해서 이를 중선관위 투표율 집계 기준대로 52 대 48로 보정하면 안 된다는 뜻이다. 어떤 방식이 더 신뢰성이 있는 방식인지, 더 정확한 결과를 얻을 수 있는 방식인지와는 별개로, 이를 행정 당국이 규제 대상으로 삼는 것이 적절하냐는 지적이 예상된다.

이른바 '전문가'들의 선입견 : 이들도 사람이다

이런 조사 기법, 제도적 규제 외의 부분도 지적된다. 윤희웅 센터장은 "사실 선거 초반부터 이번 선거의 구도로 '심판론'을 든 응답이 50% 이상으로 높게 나온 결과도 있기는 있었는데 특별히 의미를 부여한 경우는 거의 없었다"면서, 이는 데이터 자체의 문제라기보다는 데이터를 분석하는 이들이 "막연한 '보수의 신화'"를 신뢰한 결과라고 지적했다.

'보수의 신화'에 대해 윤 센터장은 "보수 성향 정당의 지지층은 어떤 경우에도 흐트러지지 않을 것이라는 믿음"이라고 설명하며 "그런데 그런 '신화'가 이번 선거에서는 허물어졌다. 보수층에서도 '지지 누수'가 발생할 수 있다는 게 입증됐다"고 했다.

정한울 교수도 비슷한 지점을 지적했다. 정 교수는 "데이터상으로, 이번 총선 결과가 이렇게 나오리라고 예측할 수 있는 징후가 아예 없었던 것은 아니다"라며 "하지만 대개는 그런 징후를 분석 과정에서 누락하거나 '이례적인 현상(통계적 극한값)'이 나타난 것으로만 봤다"고 지적했다.

정 교수는 "나도 지난 8일자로 여론조사 보고서를 하나 썼는데 제목은 '흔들리는 여대야소'였다"며 "사실 '수도권에서는 야당이 3분의 2까지 가져갈 수 있겠다'는 생각을 했음에도 그렇게까지 자신있게는 못 썼다"고 털어놨다. (☞관련 자료 : 흔들리는 여대야소) 수도권 총선의 실제 결과가 바로 여당이 122곳 중 35곳(28.7%)만을 가져간 것이었다.

정 교수는 또 "수도권 경합 지역에서 적극 투표층에서는 오히려 야당 후보가 더 유리하게 나오는 현상이 있었는데, 이는 원래 여당 지지층에서 결집이 더 활발하게 일어나던 기존 동향이 역전된 것"이라며 "유례가 없는 일이었는데, 적극적인 해석을 못한 것 같다"고 토로하기도 했다.

그는 "저를 포함해서 (여론조사 전문가들이) '공급자 중심' 분석을 한 것 같다"는 것을 반성 지점으로 꼽으며 "공급자인 정치권의 동원 전략을 중심으로 여론이 어떻게 반응하는지를 보는 것이 기존의 조사였는데, 수요자인 유권자들 내부의 변화를 분석하는 프레임이나 이론은 없다. 개발이 필요하다"고 지적했다. 그는 "(총선 이전의 여론조사 데이터를 봐도) 분명히 유권자들 내에서 자생적인 흐름이 생기고 변화의 사인이 나타났는데, 이를 소음(노이즈)으로만 생각했다"고 복기했다.