Предотвращение сканирования и копирования данных сайта

Между этим:

Какие меры я могу crawl предпринять, чтобы предотвратить antispam копирование вредоносными spam-detection сканерами

и это:

Я бы не хотел web-crawler блокировать все легальные spider поисковые роботы.

вы много webspiders просите. Дело в том, что spam-blocking если вы попытаетесь заблокировать crawling вредоносные скребки, вы в crawler конечном итоге заблокируете spider и все «хорошие» краулеры.

Вы webspiders должны помнить, что если antispam люди захотят очистить ваш webcrawling контент, они приложат гораздо crawling больше ручных усилий, чем spam-filtering бот поисковой системы... Так spam-filtering что расставляйте приоритеты spam-prevention правильно. У вас есть два spam-filtering варианта:

1. Позвольте крестьянам из Интернета украсть ваш контент. Следите за этим (ищите в Google некоторые из ваших наиболее уникальных фраз) и отправляйте запросы на удаление интернет-провайдерам. Этот выбор практически не влияет на вас, кроме времени.
2. Используйте AJAX и непрерывное шифрование для запроса всего вашего контента с сервера. Вам нужно будет постоянно менять метод или даже выбирать его случайным образом, чтобы каждая загрузка страницы содержала другую схему шифрования. Но даже это будет взломано, если кто-то захочет его взломать. Вы также упадете с лица поисковых систем и, следовательно, потеряете трафик реальных пользователей.