portal site의 올바른 역할

"XVIDEOS"라는 매우 유명한 free porno site domain이 인터넷 상에 존재한다...

이 site는 주소를 몰라도 portal site의 검색창에 검색어만 입력하면 바로 알아낼 수 있다...

나는 여기서 매우 궁금한 점을 갖게 되었다...

portal site는 어떻게 이런 유해한 site를 검색하는 서비스를 하는 것일까...

나는 두 가지 가능성을 생각해보았다...

첫 번째는 각각의 portal site들이 가지고 있는 robots의 능력이다...

portal site를 통해 검색이 가능한 모든 web site는 robot.txt라고 불리우는 robots가 크롤링 할 수 있는 파일을 가지고 있다...

robots는 주기적으로 robot.txt를 읽어들여 이를 색인화하고 새로운 정보를 갱신한다...

그러면 우리는 portal site의 검색창에 검색어만 넣어도 편리하게 원하는 web site를 찾아낼 수 있다...

하지만 이 기능만 가지고서는 처음부터 사람들에게 검색이 잘 될 일이 없다...

검색이 잘 되기 위해서는 그 검색어가 상위 랭킹이 되어야 하기 때문이다...

두 번째 가능성은 portal site가 해당 web site의 등록 신청을 허가하는 것이다...

특히 상업적 용도의 web site 등록 과정은 비용을 지불해야 한다...

이 방법은 검색어를 통해 web site가 검색되는 가장 확실한 방법이기도 하다...

이 말은 곧 각각의 portal site들이 대가를 받으며 porno site를 암묵적으로 인정한다는 뜻이 된다...

결국 portal site들이 음란 정보를 세계적으로 확산시키는데 일조하고 있다는 것만은 기정사실이라고 해야 한다...

과연 이들은 그 어떠한 책임과 의무도 없는 것인가...