구글 독점, 너치가 막는다

오픈소스 검색엔진 프로젝트 진행돼

세계 검색엔진을 3분할하고 있는 구글과 야후, MSN을 견제하기 위한 오픈소스 검색엔진 프로젝트가 진행 중이어서 눈길을 끌고 있다. '너치(Nutch)'라는 이름의 이 프로젝트는 인터넷상의 유용한 비상업적인 정보 유통에 기여할 전망이다.

***베일에 가려진 검색엔진 작동방식**

CNET 등 외신에 따르면 너치 프로젝트는 온라인상의 문서 위치를 파악하는 오픈소스 소프트웨어를 개발하는 데 박차를 가해왔다. 이 프로젝트는 철저하게 비영리로 진행되며, 또 프로젝트 과정에서 적용된 기술을 만인에게 공개함으로써 검색 기능을 개선하는 데 보다 많은 사람이 참여할 수 있도록 할 예정이다.

너치 프로젝트로 만들어진 오픈소스 소프트웨어가 갖는 이런 개방성은 기존의 검색엔진에서는 찾아볼 수 없는 것이다. 기존 검색엔진에서는 주문에 따른 검색 결과를 최적화하는 자체 기술을 철저히 비공개로 해왔기 때문이다.

너치 프로젝트의 수석 개발자인 도우 커팅은 "사람들은 그들이 사용하는 검색엔진의 작동 방식에 대해 알 권리를 갖고 있다"면서, "동종 분야의 연구원이나 개발자들이 이 소프트웨어를 무료로 다운로드할 수 있으며, 디자인 수정 없이 그대로 사용해도 된다"고 밝혔다.

***너치, "비상업적-전문 검색 사이트에 이용 가능해"**

너치 프로젝트 관계자들은 오픈소스 검색엔진이 폭넓게 이용될 수 있다고 주장한다.

일단 정부가 시민들을 대상으로 비상업적 검색 사이트를 개발하는 데, 상업 목적의 기존 검색엔진 대신 너치를 사용할 수 있다. NGO나 노동조합이 필요한 정보들을 제공하는 비상업적 검색 사이트를 만들 때도 너치를 사용하는 것이 가능하다.

또 기업들도 너치를 기반으로 영리를 목적으로 하는 사업을 저렴한 가격으로 추진할 수 있을 것이라고 전망하고 있다. 예를 들어 전문 분야의 지식과 같은 특정 주제에 초점을 맞춘 전문 검색 사이트를 개발하는 데 너치를 활용할 수 있고, 이것은 곧 여러 가지 전문 검색 서비스를 제공하는 기업을 등장시킬 수 있다는 것이다.

너치의 앞날을 긍정적으로 전망하는 사람들은 마치 오픈소스 운영체제인 리눅스와 리눅스 기업들의 수익 모델이 너치에서도 유사한 형태로 가능할 것이라고 기대하고 있다.

***구글 횡포 너치로 막자**

이렇게 오픈소스 검색엔진을 만들고자 하는 시도가 등장하게 된 배경은 최근 그 영향력을 확대하고 있는 구글 등 상업 검색엔진에 대한 높은 우려 때문이다.

네티즌들 사이에 "나 구글했어(I googled it)!"란 말은 곧 "인터넷을 통해 검색을 해봤다"라는 의미이다. 이 말은 세계 최대 검색엔진인 구글(Google.com)의 영향력을 잘 보여주는 신조어이다.

1998년에 2명의 스탠포드 대학생들이 만든 구글은 불과 4년 만에 단순하고 일관성 있으면서도 신뢰할 만한 정보를 제공함으로써 검색엔진의 1위 자리를 고수하고 있다. 현재 야후·아메리카온라인(AOL) 등의 검색 서비스에 구글이 검색엔진을 제공하고 있다는 것까지 고려한다면 구글이 인터넷 검색에서 차지하는 비중은 거의 80%에 육박한다.

하지만 2002년부터 구글에 대한 우려의 목소리가 심심찮게 제기되고 있다.

가장 반복되어 지적돼 온 것은 구글 검색 순위의 '부익부 빈익빈' 현상이다. 구글은 많은 사람이 접속하거나 인용하는 정보가 신뢰도가 높다는 기준으로 검색 결과를 분류한다. 구글의 영향력이 확대되면서, 이런 구글의 검색 방식은 기존의 성공한 상업 정보들이 자금력을 앞세워 광고 등을 통해 검색 순위를 부양하는 것을 부추기게 되었다.

결국 더 유용하고 신뢰도가 높은 신생 정보가 있더라도 기존의 상업 정보보다 구글 검색 순위에서 밀리는 일이 발생하게 된 것이다. 이런 상황이 반복되다 보면 말 그대로 구글 검색 순위의 '부익부 빈익빈' 현상이 일어난다. 결국 구글 검색 순위의 상위를 차지하는 상업 정보가 "단 하나의 확실한 정보"로 인식될 위험까지 우려된다는 것이 전문가들의 걱정이다.

이런 일은 이미 현실화되었다. 미국의 많은 IT 관련 잡지들은 구글의 "위험한 영향력"을 보여주는 많은 사례들을 2002년부터 소개하고 있다.

기술업체 '데이터 리커버리 그룹'은 2002년 1월 구글에서 '데이터 복구'라는 단어로 찾을 수 있는 결과 목록의 네 번째에 올라 있던 자사 사이트가 갑자기 목록에서 사라진 것을 발견했다. 그리고 회사매출은 30%나 감소했다. 수많은 사람이 구글에 의존해 정보를 얻는 현실에서, 검색 순위가 밀려난 기업체가 큰 타격을 입은 것이다.

상황이 이러다보니 구글이 검색 결과를 제시하는 방법에 대한 공정성 문제도 제기되고 있다. 이런 이유 때문에 일각에서는 검색 순위의 변경이 어떻게 이뤄지는지를 공개할 것과, 순위를 끌어올릴 수 있는 정보를 공정하게 제공할 것을 요구해야 한다는 목소리가 강하게 나오기도 했다. 오픈소스 검색엔진 프로젝트의 필요성이 제기된 것도 바로 이런 사정 때문이다.

***너치, 전세계가 공유하는 검색엔진이 목표**

너치가 말 그대로 "전세계가 공유하는 오픈소스 검색엔진을 만든다"는 꿈을 이루기 위해서 넘어야 할 벽도 높다.

가장 해결해야 할 문제는 모든 작동원리가 공개되었을 경우, 악의를 가진 제3자가 훼방을 놓을 가능성이다. 선의의 개발자들이 문제점을 발견하고 극복해 더 나은 작동원리를 만들 수도 있지만, 그 반대의 경우도 충분히 가능하기 때문이다.

IT 업계 소식지인 서치엔진와치의 편집장 대니 설리번은 너치 프로젝트가 "마치 '누구나 대중에게 공개할 만한 기사를 작성할 수 있다'라고 말하는 뉴스 보도실에 비유할 수 있다"면서 아무런 여과장치가 없다"라고 말해 너치의 맹점을 명확히 지적했다.

또 비공개로 진행된 지난 1년 동안 유료 검색 서비스의 선두주자인 오버추어 서비스의 재정적, 인적 지원을 받았다는 점도 너치 프로젝트가 해결해야 할 '원죄'라고 할 수 있다.

오버추어 서비스는 기존의 대형 포털 사이트를 위협하며 급부상하고 있는 구글의 가장 강력한 경쟁자다. 최근에는 구글을 견제하기 위해 야후와 오버추어 서비스가 손을 잡기도 했다. 일부 IT업계 관계자들은 오버추어 서비스가 구글을 견제하기 위해서, 소규모 전문 검색 사이트가 난립하는 데 자극이 될 수 있는 너치 프로젝트를 적극적으로 지원했을 가능성도 조심스럽게 제기하고 있다.

또 일각에서는 오버추어 서비스가 너치를 오버추어 서비스의 새로운 기술을 시험하기 위한 방편으로 활용할 가능성도 제기하고 있다. 너치 프로젝트의 관계자들이 "너치의 비영리 지향"을 강조하면서, "장기적으로 독자적으로 생존할 가능성이 밝다"고 반복해서 밝히고 있는 것도 이런 사정 때문이다.

너치 프로젝트의 핵심 인물은 도우 커팅은 "광고에 치중하는 검색엔진 제공업체들이 제화나 용역 관련 정보들에 치중하는 상황을 우려"하면서 "이런 경향은 결국 비상업적인 유용한 정보 유통을 막을 것"이라고 걱정한다. 너치가 비상업적 정보 유통의 대안으로 떠오를 수 있을지 그 가능성에 주목할 때다.