Minlərlə şirkət kartı olan kataloqunuz varsa, gec-tez kimsə onu bütövlükdə kopyalamaq istəyəcək. Parsinqdən mütləq müdafiə yoxdur: ziyarətçiyə göstərilən şeyi texniki cəhətdən toplamaq olar. Amma bunu bahalı və əlverişsiz etmək tamamilə mümkündür.
İstənilməyən botları lazımlılardan ayırın
Avtomatik sorğuların bir hissəsi sizə fayda verir: axtarış robotları, monitorinq xidmətləri, tərəfdaş inteqrasiyaları. Googlebot-u səhvən bloklasanız, trafik itirərsiniz. Axtarış botları yalnız saxtalaşdırılması asan User-Agent sətri ilə deyil, IP ünvanları və əks DNS ilə yoxlanılır.
Bir qat əvəzinə bir neçə müdafiə qatı
- Sorğu tezliyinin məhdudlaşdırılması. İnsan saniyədə 20 kart açmır. IP və sessiya üzrə limitlər qoyun.
- CDN və veb-firewall. Hazır xidmətlər tanınmış zərərli şəbəkələri və şübhəli davranışı kəsir.
- Səhifələmənin və yükləmənin məhdudlaşdırılması. Bütün siyahını bir sorğu ilə verməyin, limitsiz sonsuz sürüşdürməni açmayın.
- Şübhəli trafik üçün yoxlamalar. Skript kimi davranan müştərilər üçün captcha və ya gecikmə.
Ən dəyərli məlumatı qoruyun
Ən çox kontaktlar kopyalanır: telefon nömrələri və e-poçt ünvanları. Onları bütün kartlarda birdən açıq şəkildə yox, sadə yoxlamadan sonra klik ilə göstərmək olar. Bu, şirkət sahibləri üçün də daha təhlükəsizdir.
Kopyalayanlar üçün «tələlər» qoyun
Məlumatlara bir neçə fərqləndirici işarə əlavə edin: məsələn, uydurma qeydlər və ya təsvirlərdə fərqləndirici ifadələr. Onlar başqa saytda görünsə, kopyalamanın sübutu sizdə olacaq. Adi ziyarətçilərin görmədiyi gizli tələ linkləri botları avtomatik aşkarlamağa kömək edir.
Jurnallara nəzarət edin
Server jurnallarına müntəzəm baxın: sorğuların kəskin artımı, eyni gəzmə şablonları, qəribə User-Agent-lər. Problemi həftələrlə yox, saatlarla öyrənmək üçün bildirişlər qurun.
Nə işləmir
robots.txt faylı məlumatı qorumur: o, sadəcə dürüst botlardan girməməyi xahiş edir. Sağ düymə ilə kopyalamanı söndürmək də faydasızdır. Həddindən artıq sərt bloklama isə real istifadəçilərə və təbliğata zərər verir. Saytın texniki vəziyyətinə ümumi tələblər texniki audit yazısında təsvir olunub.
Hüquqi tərəf
İstifadə şərtlərində məlumatların avtomatik toplanmasına qadağa yazın. Hüquqi müdafiə imkanları qanunvericilikdən və şəraitdən asılıdır, ona görə bunu hüquqşünasla müzakirə edin.
Tez-tez verilən suallar
Parsinqi tamamilə dayandırmaq olarmı?
Xeyr. Məqsəd onu həddindən artıq baha etmək və tez fərq etməkdir.
Müdafiəni kim qura bilər?
Həllərin bir hissəsi server və kod səviyyəsində həyata keçirilir. Belə işləri, məsələn, SiteMan.az proqramçıları görür.