Anti-bot защитите са важни за сигурността на онлайн магазина, но ако са настроени неправилно, могат да покажат на Googlebot страница тип „Are you a bot?“ вместо реалното съдържание. В такъв случай Google може да индексира защитния екран вместо продуктовата или категорийна страница, а при сходни interstitial страници в различни сайтове дори да избере чужд URL като canonical. Това е особено рисково при Prestashop и Opencart магазини, където често се използват допълнителни security модули, CDN защити, CAPTCHA решения и firewall правила.

Search Engine Journal публикува анализ по темата, базиран на обяснение от John Mueller от Google. Основният проблем е, че когато Google получи anti-bot страница вместо реалното съдържание, той може да третира тази страница като нормален HTML документ и да я включи в процеса на индексиране. Ако същият тип страница се среща в много сайтове, Google може да разпознае сходство и да избере друга страница като canonical.

Защо това е проблем за онлайн магазините

При онлайн магазините органичният трафик често идва от категории, продуктови страници, филтрирани страници, брандови landing страници и блог съдържание. Ако Google не вижда реалното съдържание на тези URL-и, а вижда защитен екран, магазинът започва да губи видимост без очевиден симптом за нормалния потребител.

Това е най-опасната част. Собственикът на магазина отваря сайта и всичко изглежда нормално. Продуктите се зареждат, категориите работят, checkout-ът приема поръчки. В същото време Googlebot може да получава различно съдържание за част от URL-ите — например CAPTCHA екран, challenge страница или кратко съобщение за проверка на браузъра.

От SEO гледна точка това е различен проблем от класическа грешка 404 или 500. Страницата може да връща статус 200, тоест технически да изглежда „достъпна“, но съдържанието, което Google вижда, да не е съдържанието, което трябва да бъде индексирано. Именно затова подобен проблем често не се хваща с повърхностна проверка.

Как се случва на практика

Най-често причината не е самият Prestashop или Opencart, а слой над или около магазина. Това може да бъде CDN услуга, WAF правило, security модул, anti-spam добавка, CAPTCHA настройка или защита на ниво хостинг.

При open-source системи това е често срещан сценарий, защото проектите се развиват с различни добавки през годините. Един екип добавя Cloudflare. Друг настройва CAPTCHA в контактна форма. Трети активира anti-bot модул за login или checkout. Четвърти блокира подозрителни IP адреси или държави. Отделно хостингът може да има собствена защита срещу ботове.

Всяка от тези мерки може да е логична сама по себе си. Проблемът идва, когато няма ясно разграничение между лош bot трафик и легитимни crawler-и като Googlebot.

Google официално препоръчва Googlebot да се проверява чрез reverse DNS lookup или чрез сравнение с официалните Googlebot IP ranges, защото user-agent-ът може лесно да бъде фалшифициран. Това е важно, защото не е добра практика просто да се доверяваме на всеки бот, който твърди, че е Googlebot, но също така не трябва да блокираме реалния Googlebot по погрешка.

Кои модули и добавки могат да причинят такъв проблем

Най-рискови са решенията, които показват междинен екран преди реалното съдържание. При Prestashop и Opencart това може да не е един конкретен модул, а цяла група добавки и настройки.

Тип решениеКак може да създаде SEO проблем
CAPTCHA и reCAPTCHA модулиАко се показват върху публични страници или блокират crawler-и, Google може да не достигне до реалното съдържание
Anti-bot / anti-spam модулиМогат да третират Googlebot като подозрителен трафик при по-интензивно crawling поведение
Security / firewall модулиМогат да върнат challenge страница вместо продуктова или категорийна страница
Cloudflare Bot Fight Mode / WAF правилаПри агресивни правила може да се покаже interstitial или challenge преди съдържанието
Country/IP blocking модулиАко Googlebot идва от IP или локация, която е ограничена, съдържанието може да стане недостъпно
Rate limiting правилаПри по-активно crawling поведение Googlebot може да бъде ограничен като „прекалено активен“ посетител
Login protection / admin protection модулиОбикновено са безопасни за frontend, но при неправилна конфигурация могат да засегнат публични URL-и
Maintenance / coming soon модулиАко останат активни за crawler-и, Google може да индексира временна страница вместо реалния сайт

Cloudflare например описва Bot Fight Mode и Super Bot Fight Mode като решения, които могат да challenge-ват засечен bot трафик, а Super Bot Fight Mode позволява конфигуриране на действия и изключения чрез WAF custom rules. Това означава, че настройките са важни — не е достатъчно защитата просто да бъде включена.

Защо проблемът е труден за откриване

Този тип проблем често остава скрит, защото нормалният посетител вижда нормален сайт. Дори разработчикът или собственикът на магазина може да отвори страницата от браузъра си и да не забележи нищо необичайно.

Проблемът се вижда едва когато се провери какво получава Google. В Search Console това може да се прояви чрез съобщения за duplicate страници, canonical към друг URL, indexed without content или странно съдържание при URL Inspection. Search Engine Journal подчертава именно тази трудност — страницата изглежда достъпна, заявката минава успешно, но Google получава грешното съдържание.

Това е причината обикновените uptime проверки да не са достатъчни. Един monitoring инструмент може да види статус 200 и да приеме, че всичко е наред. За SEO обаче е важно не само дали URL-ът връща отговор, а какво има в този отговор.

Какво трябва да се провери при Prestashop и Opencart магазин

Първата проверка е през Google Search Console. URL Inspection инструментът показва как Google вижда конкретен URL и може да помогне да се установи дали Google-selected canonical съвпада с очаквания URL. Ако Google избира друга страница или съдържанието изглежда различно, това е сигнал за по-дълбок проблем.

Втората проверка е на ниво логове. При съмнение трябва да се види какъв отговор получават реалните Googlebot заявки. Тук не е достатъчно да се гледа само user-agent. Google препоръчва Googlebot да се верифицира чрез reverse DNS или официалните IP ranges.

Третата проверка е по всички защитни слоеве. При Prestashop и Opencart това означава да се прегледат CDN правилата, WAF настройките, security модулите, CAPTCHA конфигурациите, rate limiting правилата, country blocking настройките и всички добавки, които могат да променят публичния frontend отговор.

Практически подход: защита без да се блокира Google

Целта не е да се изключат всички защити. Онлайн магазините имат реална нужда от защита срещу spam, brute force, scraping, фалшиви регистрации, злоупотреби с checkout и прекомерен bot трафик.

По-добрият подход е защитата да бъде насочена правилно.

CAPTCHA и anti-spam логиката трябва да пазят формите, регистрацията, login страниците, checkout процеса и административните зони, но не трябва да пречат на Google да вижда публичното съдържание на категории, продукти и важни landing страници.

При Cloudflare или друг CDN е важно да има изключения за verified search engine bots, както и внимателно настроени правила за публичните URL-и. Cloudflare поддържа концепцията за Verified Bots — ботове, които са потвърдени като прозрачни за това кои са и какво правят, включително search engine crawler-и и мониторинг услуги.

При open-source магазини като Prestashop и Opencart е важно и друго: когато се инсталира нов security модул или се променят WAF правила, това трябва да се тества не само през браузър, а и през SEO инструменти и Search Console. Сигурността и SEO не трябва да се настройват независимо едно от друго.

Честа грешка: „Google ще се оправи“

Много собственици на сайтове разчитат, че ако има временен проблем, Google сам ще го коригира при следващото обхождане. Понякога това е вярно. Но ако anti-bot екранът се показва периодично или при по-интензивно обхождане, проблемът може да се повтаря достатъчно често, за да повлияе на индексирането.

Особено рискови са големи онлайн магазини с много продукти, филтри, категории и чести промени. Там Googlebot обхожда повече URL-и, което може да активира rate limiting или bot protection правила. Така точно най-важните за SEO страници може да попаднат зад защита.

Това е една от причините да не се разчита само на стандартна проверка на началната страница. Трябва да се тестват категории, продукти, важни SEO landing страници, блог статии и sitemap URL-и.

Споделете публикацията

Абонирайте се за бюлетина

Получавайте селектирани инсайти за дигитален растеж, технологии и електронна търговия. Директно във вашата поща.

Драсни ни

Идеите имат нужда от действие
Сподели своята и ще се свържем, за да я превърнем в реалност.