Капча… И тут капча. Как они уже достали! Ведь их постоянно нужно проходить: мотоциклы, самолетики, светофоры выбирать. Ну, ладно мы, люди, а как с ними справляются поисковые роботы… Кстати, а ведь это интересный для выяснения факт! Как GoogleBot индексирует контент, который закрыт капчей?
Как человек!
Но чтобы познать такие тонкости работы поисковых систем, нужно сначала поведать вам о поисковых роботах. Это такие боты, которые бегают по сайтам и контенту, анализируют его. После чего добавляют в индекс Google и других поисковиков. А еще от «показаний» сих роботов зависит оценка UX ресурса, ценности контента и т.д. Чтобы стать максимально похожим на обычного пользователя, Googlebot и его собратья даже ведут себя как люди, моделируя их действия на сайте. А для более качественного анализа поисковые роботы используют так называемые user agent… Проще говоря, посещают сайты через популярные десктопные и мобильные браузеры.
Если говорить от Google, то его «поисковая ищейка» использует пользовательского агента на основе Chrome. Но как краулеры могут получить доступ к контенту, который заперт непроходимой капчей? Неужели поисковые боты тоже разгадывают эти головоломки? А если не разгадают? К счастью, на все эти вопросы недавно удосужился ответить не кто иной, как Джон Мюллер…
Ну, давай, глаголь истину!
Во время последнего сеанса общения в Google SEO office-hours один из вебмастеров спросил Мюллера, как отразятся на SEO сайта капчи, которые защищают его контент от парсинга. На что представитель поисковика ответил, что Googlebot не умеет разгадывать капчи. Поэтому на странице, закрытой этим ребусом, краулер увидит только его. Чтобы решить данную проблему, Мюллер советует не закрывать капчей основной контент сайта. Благодаря чему он будет проиндексирован и отобразится в выдаче.
Для проверки доступности содержимого конкретной страницы для Googlebot Джон рекомендует использовать инструмент Inspect URL, входящий в состав Search Console.
Кроме этого можно предоставлять поисковому роботу не закрытую капчей версию страницы, а пользователям – защищенный ее вариант. Джон Мюллер отметил, что такие перенаправления безопасны и не приведут к пессимизации позиций сайта в поисковой выдаче. Так что не таким уж человечным оказался гугловский робот. Ведь так надоевшие нам капчи оказались ему не по зубам. С одной точки зрения, это печально… Но с другой – является доказательством защитных свойств этих противоботных головоломок!
