Продолжаем бороться со спамом в Google Analytics

Эта статья для тех, кто встретил в отчетах Google Analytics в источниках трафика всплеск активности переходов с доменов ilovevitaly.xyz, с.новым.годом.рф, ghostvisitor.com и других (см. полный список ниже).

В одной из прошлых статей “Реальный трафик или как сделать Google Analytics точнее” я рассказывал как очистить статистику Google Analytics от фейковых источников трафика. Все бы хорошо и метод отлично работает против Ghost Spam. Но есть еще одна разновидность спама, которую таким способом не обойти. Сегодня будем вычищать Google Analytics от Crawler Spam. Делать это будем с помощью исключающего фильтра.

Для начала я приведу список с популярными и активными в последнее время доменами, которые мы и будем блокировать. Вот он:

Последнее обновление таблицы: 01.06.2016

Внимание: список буду дополнять, при появлении новых доменов, поэтому заходите иногда на эту страницу, чтобы вовремя реагировать на ситуацию и дополнять фильтр. Если вы столкнулись с Crawler Spam доменами, которых нет в этом списке, пожалуйста, пишите их в комментариях, буду дополнять таблицу.

Особенность Crawler Spam

И снова немного теории. Долгое время Crawler Spam работал по аналогии с Ghost Spam и после создания включающего фильтра по имени хоста оба спамера блокировались. Но враги не дремлют и со временем эволюционируют. Проблема, которая стала поводом написать эту статью заключается в том, что с недавнего времени Crawler Spam научился подставлять нужные имена хостов при отсылки данных напрямую в Google Analytics. Вот почему, фильтр описанный в предыдущей статье не может бороться с Crawler Spam. И вот почему мы создадим еще один фильтр, который позволит нашему Аналитиксу игнорировать врага.

В отличии от прошлого раза, в этот раз фильтр будет исключающий. Фильтр имеет довольно длинное регулярное выражение и может показаться сложным, но на самом деле это не так. Это просто перечисление всех популярных имен Ghost Spam.

Итак, переходим в админку, выбираем нужный аккаунт, ресурс и представление. Далее “Добавить фильтр”. Пишем название, например “Crawler Spam”.
Тип фильтра: пользовательский,
Поле фильтра: источник кампании
Шаблон фильтра:
(best|dollar|ess|top1)\-seo|(videos|buttons)\-for|^scripted\.|\-gratis|semalt|forum69|7make|sharebutton|ranksonic|sitevaluation|dailyrank|vitaly|profit\.xyz|rankings\-|\-crew|uptime(bot|check|\.com)|responsive\-|tkpass|video\-tool|keywords\-monitoring

Вполне может быть, что вашего Crawler Spam в списке нет, тогда просто добавьте его по аналогии. На всякий случай напишу и здесь подсказку о том как использовать регулярные выражения:

• Для разделения хостов следует использовать вертикальную черту |, обозначающую логическое «или»
• Не забудьте экранировать точки и дефисы обратным слэшем \.
• Если в вашем списке доменов присутствует несколько поддоменов, нет необходимости перечислять их все. Просто укажите второй уровень домена. В моем примере, если бы мне пришлось указать два домена, например vash-webmaster.ru и subdomain.vash-webmaster.ru, достаточно было бы указать в регулярном выражении vash-webmaster\.ru
• Не используйте пробелов.
• Поле для регулярного выражения предусматривает не более 255 символов. Вы должны уместить ваше регулярное выражение в это количество знаков. Google Analytics не позволит вам создать более одного включающего фильтра для одного параметра (hostname).
• Не добавляйте вертикальную черту в начале или в конце регулярного выражения.

Далее жмем на ссылку “проверить фильтр” и если все было сделано правильно, вы увидите примерно такие записи в левой части таблицы. Жмем “Сохранить”. Фильтр начнет работать в течение 24 часов.

Данные, который уже проникли в Google Analytics, останутся в нем, поэтому реагировать на появление новых Crawler Spam доменов нужно быстро. Регулярно проверяйте источник входящего трафика Referral и при резком скачке трафика с какого-то подозрительного домена вносите изменения в фильтр. Это позволит вам получать корректную статистику.

Обязательно прочитайте стать о том как бороться с Ghost spam.