(기고) 웹2.0 시대 검색 로봇 표준의 중요성①

[이데일리 증권부] 인터넷으로 대변되는 정보의 바다에서 현대인에게는 지식이나 경험 등을 의미하는 노하우(Know-how)보다 자신이 필요로 하는 정보를 찾아내는 노훼어(Know-where)가 중요한 경쟁력이 되고 있다.

무수한 정보가 웹 페이지의 형태로 떠있는 정보의 보고(寶庫)이자 미로(迷路)인 인터넷에서 이용자가 자신이 필요로 하는 정보를 구하기 위해서는 도메인 이름보다는 어느 정보가 어떤 웹 페이지에 있는지 알려주는 검색엔진을 이용하는 것이 더 효과적인 방법이다.

따라서 검색엔진은 정보검색을 위한 등대 같은 역할을 하며 정보화 사회의 필수적인 존재이며, 웹2.0시대에 들어와 그 중요성은 더욱 커지고 있다.

정보화 사회에서 정보를 생산·가공·유통·제공하는 것은 점차 중요한 산업이 되어 가고 있다. 특히 검색엔진에 의한 정보제공을 비즈니스 모델로 하는 웹 페이지의 생산자 및 정보 게시자는 많은 이용자들이 검색엔진을 이용하여 자신의 웹사이트에 접속하고 정보를 이용할 것을 희망한다.

그러나 모든 생산자가 이를 긍정적으로 생각하는 것은 아니다. 때에 따라서는 자신이 웹사이트에 올린 정보가 검색엔진에 의하여 검색되고 타인에 의하여 무분별하게 이용되는 것을 원치 않는 경우도 있을 수 있는데, 개인정보 등 프라이버시에 밀접한 정보의 경우 그럴 것이다.

더욱이 비즈니스 모델을 가지고 있는 웹사이트 운영자의 경우에 일반 정보이용자가 아닌 같은 사업 모델을 가진 경쟁자가 검색 로봇을 이용해 시스템에 부하를 일으키면서 빈번하게 접속하고, 이 과정에서 많은 시간과 노력을 기울여 쌓은 정보를 무단으로 획득해 악용하는 것을 좋아하는 사람은 없을 것이다.

그러나 웹 페이지에 존재하는 정보는 그 소유자가 타인이 이용하는 것을 묵시적으로 승낙한 것이라고 보고 있는 것이 일반적인 시각이다. 따라서 타인에 의한 정보검색 및 이에 따른 정보의 수집&8228;이용을 희망하지 않는 경우, 웹 사이트 운영자는 검색 로봇에 대한 공개 의사를 별도로 알려주게 되는데, 이를 위한 방법으로 특정의 메타택을 이용하거나 특별히 포맷된 파일(robots.txt)을 제공하는 방법을 들 수 있다.

이것은 검색엔진이 사용하는 로봇(robot)이라는 프로그램이 웹 상의 정보를 검색하고 수집하기 위하여 특정 웹페이지를 방문하는 경우 해당 웹 페이지에 명시된 메타택이나 `robots.txt` 파일에 의한 지시사항을 읽을 수 있다는 것에 착안한 것이다.

이는 마치 공원이나 주택에서 푯말이나 담장을 세워 타인의 무분별한 접근을 금지하는 것과 같은 것으로, 인터넷의 웹페이지는 메타택이나 `robot.txt`파일을 사용하여 수록된 정보에 대한 검색·수집금지를 전자적 형태로 알려주는 것이라 할 수 있다.

양자는 모두 업계에서 오랫동안 받아들여져 온 표준이며, 특히 robots.txt를 사용하는 방법(로봇배제표준)은 로봇이 웹 페이지에 자동적으로 접근해 서버에 과부하를 주는 등 부정적인 영향을 끼치는 것을 통제하기 위하여 1994년에 처음 제안된 이후 현재 전세계적으로 광범위하게 받아들여지고 있다.

이대희 인하대학교 법과대학 지적재산학과 교수