Если у вас каталог с тысячами карточек компаний, рано или поздно кто-то захочет скопировать его целиком. Абсолютной защиты от парсинга не существует: то, что показывается посетителю, технически можно собрать. Но сделать это дорогим и неудобным вполне реально.
Отличайте нежелательных ботов от нужных
Часть автоматических запросов приносит вам пользу: поисковые роботы, сервисы мониторинга, партнерские интеграции. Ошибочно заблокировав Googlebot, вы потеряете трафик. Поисковых ботов проверяют по IP-адресам и обратному DNS, а не только по строке User-Agent, которую легко подделать.
Несколько уровней защиты вместо одного
Ограничение частоты запросов. Человек не открывает по 20 карточек в секунду. Ставьте лимиты на IP и сессию.
CDN и веб-фаервол. Готовые сервисы отсекают известные вредоносные сети и подозрительное поведение.
Ограничение пагинации и выгрузки. Не отдавайте весь список одним запросом, не открывайте бесконечную прокрутку без лимита.
Проверки для подозрительного трафика. Капча или задержка для клиентов, ведущих себя как скрипт.
Защитите самые ценные данные
Чаще всего копируют контакты: телефоны и адреса электронной почты. Их можно показывать по клику после простой проверки, а не в открытом виде во всех карточках сразу. Так владельцам компаний это тоже безопаснее.
Оставьте «ловушки» для копирующих
Добавьте в данные несколько уникальных меток: например, вымышленные записи или отличительные формулировки в описаниях. Если они появятся на чужом сайте, у вас будет доказательство копирования. Скрытые ссылки-ловушки, которые не видят обычные посетители, помогают выявлять ботов автоматически.
Следите за журналами
Регулярно смотрите логи сервера: резкие всплески запросов, одинаковые шаблоны обхода, странные User-Agent. Настройте оповещения, чтобы узнавать о проблеме в течение часов, а не недель.
Что не работает
Файл robots.txt не защищает данные: он лишь просит честных ботов не заходить. Запрет копирования правой кнопкой мыши тоже бесполезен. А слишком жесткая блокировка вредит настоящим пользователям и продвижению. Общие требования к техническому состоянию сайта описаны в материале о техническом аудите.
Юридическая сторона
Пропишите в условиях использования запрет на автоматический сбор данных. Возможности правовой защиты зависят от законодательства и обстоятельств, поэтому обсудите это с юристом.
Частые вопросы
Можно ли полностью остановить парсинг?
Нет. Цель в том, чтобы сделать его слишком затратным и быстро замечать.
Кто может настроить защиту?
Часть решений реализуется на уровне сервера и кода. Такие работы выполняют, например, разработчики SiteMan.az.
