>> O ile pamiętam, to już samo odpytywanie portali przez automaty, jest
>> niezgodne z regulaminami tych portali. Tzn. że możesz do woli czytać i
>> otwierać artykuły z przeglądarki, ale nie możesz zapuścić jakiegoś
>> robota, który by taki portal skanował.
>
> Źle pamiętasz. Ogólnie przyjętą metodą zakazu skanowania przez roboty
> jest umieszczenie pliku robots.txt w katalogu głównym. I tak dla onetu
> link http://www.onet.pl/robots.txt podaje treść
>
> User-agent: *
> Disallow:
>
> czyli dostęp jest otwarty dla każdego.

Nie mówimy tutaj o wyszukiwarkach, tylko o rozmaitych innych, pokątnych
robotach.

Przyznaję - nie wiem i nie sprawdzałem, jak jest w tej chwili, ale w
latach 2001-2004 regulaminy Onetu i Interii zawierały wyraźne zakazy
skanowania ich automatami.


--
Zobacz, jak się pracuje w Google:
http://pracownik.blogspot.com