Как обнаружить трафик ботов на сайте (и что с ним делать)

Скорее всего, вы знаете, что ваш сайт посещают не только люди, но и роботы. Роботами (или ботами) называют программы, выполняющие в интернете действия через интерфейсы, предназначенные для людей.

Иногда они приносят пользу, а иногда – вред. Какими бывают боты, как часто они заходят на сайт и зачем вам это знать – рассказываем ниже.
Как обнаружить трафик ботов на сайте (и что с ним делать) - 937560261504

Зачем искать роботов

Действия роботов на веб-страницах искажают статистику поведения пользователей, а кроме того, могут нанести реальный вред. Вот почему стоит уметь отслеживать их появление:

– Обеспечить безопасность сайта. Некоторые боты запрограммированы на взлом сайтов, кражу данных или DDoS-атаки. Лучше обнаружить их присутствие до того, как они что-то натворят.

– Избежать скликивания. Бывают боты, созданные для растраты чужого рекламного бюджета. Они «кликают» по рекламе бренда, чтобы тот платил за переходы. Как бороться со скликиванием, писали
здесь.

– Повысить доход от рекламы. Если вы продаете рекламные места на своем сайте, вы заинтересованы в живых посетителях. Боты «смотрят» рекламу, но ничего не покупают, поэтому и заметного дохода не принесут.

– Уточнить статистику. Делать выводы, основанные на смешанных данных людей и ботов, некорректно. Для получения правильной картины трафик нужно очистить от визитов последних.

В целом боты бывают хорошие и плохие. К хорошим относятся поисковые роботы, которые добавляют сайт в «Яндекс» и Google, боты агрегаторов, объединяющие информацию по сайтам в одном месте, боты мониторинга, проверяющие качество работы сайта, а также разные боты, собирающие данные без нарушений закона.

В число плохих входят спам-боты, боты для DDoS-атак, призванные заблокировать доступ к сайту, боты злоумышленников для скликивания рекламы, боты поиска уязвимостей и иные вредоносные программы, вплоть до распространителей вирусов.

Как выявить трафик ботов

Обнаружить посещения роботов можно как автоматически – средствами систем аналитики, так и самостоятельно – по косвенным признакам.

Автоматически
«Яндекс.Метрика» и Google Analytics по умолчанию настроены на очистку трафика от посещений ботов. При этом новая версия Google Analytics вообще не позволяет посмотреть данные по роботам. В «Яндекс.Метрике» для этого есть несколько опций.

Прежде всего вы можете выбрать, сохранять данные о посещениях роботов – или сразу удалять их. Это можно сделать в настройках счетчика на вкладке «Фильтры»:
Как обнаружить трафик ботов на сайте (и что с ним делать) - 937560289920
Если включить опцию «Фильтровать роботов по поведению», данные об их посещениях будут сразу удаляться. Руководство по системе настоятельно не рекомендует ее использование – за исключением случаев, когда к данным обращаются по API.

Пока опция выключена, информацию о ботах можно посмотреть в отчете «Роботы»:
Как обнаружить трафик ботов на сайте (и что с ним делать) - 937560292480
В нем собрано количество обращений ботов за выбранный период. Можно включить детализацию по дням, неделям и месяцам. Под графиком есть таблица с названиями роботов:
Как обнаружить трафик ботов на сайте (и что с ним делать) - 937560298112
Боты «Яндекса» и Google, а также других поисковых систем и социальных сетей легко узнать по названию. Если видите что-то неизвестное, поищите информацию в интернете или спросите у специалистов.

Учет статистики по роботам можно включать и выключать в обычных отчетах «Метрики»:
Как обнаружить трафик ботов на сайте (и что с ним делать) - 937560302464
Также вы можете сравнить данные без роботов и данных с ними. Тревожным сигналом будет резкое возрастание трафика ботов: скорее всего, оно означает, что на сайт «напали» злоумышленники. К тому же искусственные посещения могут «накручивать» недобросовестные SEO-специалисты.

По косвенным признакам
Поведение роботов отличается от поведения живых людей, поэтому его можно вычислить по ряду характерных признаков.

Показатель отказов. Высокий показатель отказов – признак роботов. Пользователи нечасто закрывают страницу, едва открыв ее. А вот боты подчиняются алгоритму: выполнив команду, уходят с сайта и переходят к следующему.

Время на сайте. Близкий по смыслу показатель – длительность визита (сессии). Люди редко проводят на сайте всего две-три секунды, а роботам для выполнения задачи этого времени хватает.

Коэффициент конверсии. Когда посещения растут, а заказы – нет, это похоже на трафик ботов. Если коэффициент конверсии снижается без видимых причин, есть смысл заподозрить активность злоумышленников.

Число просмотренных страниц. Подозрительно много просмотренных страниц за сеанс – еще один сигнал о посещении бота. Пользователи заходят на несколько нужных страниц, а потом двигаются дальше. Роботы, выполняя программу, могут открыть 40-50 страниц (например, если незаконно собирают данные).

Время загрузки страниц. Обращайте внимание на отчеты «Время загрузки страниц» и «Нагрузка на сайт» в «Метрике». Если время загрузки заметно увеличилось, а число запросов перестало соответствовать обычному числу дневных посещений, вы могли столкнуться с ботами.

Неестественные поисковые запросы. Всплеск переходов по низкочастотным запросам (например, «карандаши графитовые moleskine цена») – тоже «красный флаг». Вряд ли поведение пользователей изменилось так резко; скорее всего, это боты.

Время посещения. Не самый частый признак, по которому иногда удается заметить ботов. Большинство пользователей посещают сайты днем, после работы или в обеденный перерыв. Ажиотаж посещений в середине ночи указывает на искусственный трафик.

Как защитить сайт от ботов

Не от всех ботов стоит закрывать сайт: многие из них помогают вам появляться в поиске и находить клиентов. Когда же это необходимо, помогут следующие решения:

– Файл robots.txt. Этот файл, находящийся в корневом каталоге сайта, позволяет запретить индексацию всех или части страниц. Robots.txt читают только хорошие боты поисковых систем. В большинстве случаев запрещать индексацию не нужно. Но это может потребоваться, например, чтобы убрать из поиска платный контент, который должен быть доступен только подписчикам.

– Антибот. Существуют сервисы-антиботы: «Антибот», «Ботфактор», AntiBot.Cloud и другие. Они платные, при этом обеспечивают комплексную защиту от злоумышленников. Как правило, они могут защитить от скликивания в «Яндексе» и Google, вычислить плохих ботов и закрыть им доступ, блокируют спам и т. д. Это самый эффективный выбор, подходящий для большинства сайтов.

– Блокировка по IP. Сложное решение, которое стоит применять только в крайних случаях. Можно индивидуально блокировать настойчивого бота, который обходит защиту, – либо IP целого региона. Последний вариант спасает от иностранных ботоферм: если вы работаете только в России, а автоматические запросы приходят, например, с Кипра или Филиппин. Запрет на посещения нужно вносить в файл .htaccess (понадобится помощь профессионала).

Успехов!

#Бизнес_c_ОК #Разные_ниши #Общие_вопросы

Комментарии

  • 6 янв 2024 13:25
    Мои личные, и хоть зажалуйся в СП, зато заблокированные мои страницы в ОК не желают восстанавливать, инагенты СП(((
  • 6 янв 2024 13:28
    Тут беззаконие идёт со стороны Администрации одноклассники и они срать хотели на нас ,делают все как им угодно
  • 6 янв 2024 14:28
    Тока судов боятся((( как выпишут им штраф на стопиццот деревянных, так сразу призадумаются(((
  • 6 янв 2024 16:02
    У них тут все правила сделанны под себя ,и они везде правы и суды тут ничем не помогут.
  • 6 янв 2024 16:07
    Помогут, просто нам лениво связываться с нашим правосудием (((
  • 20 янв 2024 14:26
    Пожалуйста предпримите наконец то меры с этим мошенником! Это же не нормально, что он вот так вот очерняет сайт одноклассники. Люди уже теряют интерес и доверие к вам. Он под разными именами и разными страницами предлагает за деньги вернуть водительские права, если их отобрали, получить немецкое гражданство, а теперь ещё и получить сертификат на сдачу языкового теста. Это мошенничество происходит на территории Германии с русскими или русскоязычными людьми. Деньги люди переводят ему в разные страны, туда, где находятся члены его группы, например Латвия, Бельгия и т.д. Так много пострадавших и никто ничего не делает.
    Вот его следующая реклама
    https://ok.ru/profile/600653045522/statuses/157043724130322
  • Комментарий удалён.
  • 22 янв 2024 11:36
    Здравствуйте! Чтобы можно было во всём разобраться и принять меры, обратитесь, пожалуйста, в нашу Службу поддержки - https://ok.ru/help/ask, описав ситуацию подробно 🏻
  • 22 янв 2024 12:33
    Здравствуйте! Спасибо за ответ. Попробую, но не уверена, что что то изменится. Этот мошенник действует уже длительное время на сайте и любые жалобы не принесли успеха. Зато меня, кто пишет людям предупреждение, которые уже отреагировали на его рекламу, постоянно блокируют на 14 дней. Как такое возможно? Кто занимается мошенничеством заблокировать не могут, а меня за это могут. Сегодня я снова получила такое сообщение, уже 4й раз.
  • 22 янв 2024 12:41
    Если вы видите информацию, что в течение какого-то времени сможете отправлять сообщения только своим друзьям, -система заметила у вас некоторые подозрительные действия и ради безопасности ввела такое ограничение🏻
  • 22 янв 2024 12:52
    Почему же мошеннику не вводятся ограничения? Он блокирует всех людей, которые пишут ему про обман? Мне уже отвечали в октябре, что сайту надо решение суда, чтобы его остановить. Но для того, чтобы предупредить людей, что их обманывают решение суда не нужно. Хочу вас заверить, что все странички, которые предлагают на вашем сайте водительские права (по- немецки Führerschein) и любые другие документы на территории Германии - все занимаются мошенничеством! Немецкая полиция ничего не может сделать. И администраторы сайта похоже тоже.
  • 22 янв 2024 13:05
    К сожалению, в группе недостаточно инструментов для разбора данной ситуации, именно поэтому необходимо ваше обращение в поддержку, чтобы можно было во всём разобраться🏻
  • 22 янв 2024 13:14
    Спасибо за ответы. Хорошего дня
  • 22 янв 2024 13:28
    Благодарим вас! Вам тоже замечательного дня