Продолжаем бороться со спамом в Google Analytics

Эта статья для тех, кто встретил в отчетах Google Analytics в источниках трафика всплеск активности переходов с доменов ilovevitaly.xyz, с.новым.годом.рф, ghostvisitor.com и других (см. полный список ниже).

В одной из прошлых статей «Реальный трафик или как сделать Google Analytics точнее» я рассказывал как очистить статистику Google Analytics от фейковых источников трафика. Все бы хорошо и метод отлично работает против Ghost Spam. Но есть еще одна разновидность спама, которую таким способом не обойти. Сегодня будем вычищать Google Analytics от Crawler Spam. Делать это будем с помощью исключающего фильтра.



Для начала я приведу список с популярными и активными в последнее время доменами, которые мы и будем блокировать. Вот он:

ghostvisitor.com
magicdiet.gq
cookie-law-enforcement.xyz
burn-fat.ga
popads.net
link.web-list.xyz
monetizationking.net
ownshop.cf
eu-cookie-law-enforcement.xyz
getlamborghini.ga
topquality.cf
marketland.ml
unpredictable.ga
website-stealer-warning-alert.hdmoviecams.com
smartphonediscount.info
rank-checker.online
makeprogress.ga
free-video-tool.com
socialbuttons.xyz
fuck-paid-share-buttons.xyz
яндех-херня.рф
adtiger.tk
uptime.com
responsive-test.net
китай.с.новым.годом.рф
maps.ilovevitaly.com
free-traffic.xyz
social-widget.xyz
forum.topic.6hopping.com
keywords-monitoring-your-success.com
m-google.xyz
why.does.spacebarnot.work
net-profits.xyz
traffic-cash.xyz
share-buttons.xyz
с.новым.годом.рф
website-analyzer.info
trafficgenius.xyz
traffic2cash.xyz
getrichquick.ml

Последнее обновление таблицы: 01.06.2016




Внимание: список буду дополнять, при появлении новых доменов, поэтому заходите иногда на эту страницу, чтобы вовремя реагировать на ситуацию и дополнять фильтр. Если вы столкнулись с Crawler Spam доменами, которых нет в этом списке, пожалуйста, пишите их в комментариях, буду дополнять таблицу.

Особенность Crawler Spam

И снова немного теории. Долгое время Crawler Spam работал по аналогии с Ghost Spam и после создания включающего фильтра по имени хоста оба спамера блокировались. Но враги не дремлют и со временем эволюционируют. Проблема, которая стала поводом написать эту статью заключается в том, что с недавнего времени Crawler Spam научился подставлять нужные имена хостов при отсылки данных напрямую в Google Analytics. Вот почему, фильтр описанный в предыдущей статье не может бороться с Crawler Spam. И вот почему мы создадим еще один фильтр, который позволит нашему Аналитиксу игнорировать врага.



В отличии от прошлого раза, в этот раз фильтр будет исключающий. Фильтр имеет довольно длинное регулярное выражение и может показаться сложным, но на самом деле это не так. Это просто перечисление всех популярных имен Ghost Spam.

Итак, переходим в админку, выбираем нужный аккаунт, ресурс и представление. Далее «Добавить фильтр». Пишем название, например «Crawler Spam».
Тип фильтра: пользовательский,
Поле фильтра: источник кампании
Шаблон фильтра:
(best|dollar|ess|top1)\-seo|(videos|buttons)\-for|^scripted\.|\-gratis|semalt|forum69|7make|sharebutton|ranksonic|sitevaluation|dailyrank|vitaly|profit\.xyz|rankings\-|\-crew|uptime(bot|check|\.com)|responsive\-|tkpass|video\-tool|keywords\-monitoring

Фильтр Crawler Spam

Вполне может быть, что вашего Crawler Spam в списке нет, тогда просто добавьте его по аналогии. На всякий случай напишу и здесь подсказку о том как использовать регулярные выражения:

  • Для разделения хостов следует использовать вертикальную черту |, обозначающую логическое «или»
  • Не забудьте экранировать точки и дефисы обратным слэшем \.
  • Если в вашем списке доменов присутствует несколько поддоменов, нет необходимости перечислять их все. Просто укажите второй уровень домена. В моем примере, если бы мне пришлось указать два домена, например vash-webmaster.ru и subdomain.vash-webmaster.ru, достаточно было бы указать в регулярном выражении vash-webmaster\.ru
  • Не используйте пробелов.
  • Поле для регулярного выражения предусматривает не более 255 символов. Вы должны уместить ваше регулярное выражение в это количество знаков. Google Analytics не позволит вам создать более одного включающего фильтра для одного параметра (hostname).
  • Не добавляйте вертикальную черту в начале или в конце регулярного выражения.



Далее жмем на ссылку «проверить фильтр» и если все было сделано правильно, вы увидите примерно такие записи в левой части таблицы. Жмем «Сохранить». Фильтр начнет работать в течение 24 часов.

Фильтр Crawler Spam

Данные, который уже проникли в Google Analytics, останутся в нем, поэтому реагировать на появление новых Crawler Spam доменов нужно быстро. Регулярно проверяйте источник входящего трафика Referral и при резком скачке трафика с какого-то подозрительного домена вносите изменения в фильтр. Это позволит вам получать корректную статистику.

Обязательно прочитайте стать о том как бороться с Ghost spam.

Отчет Google Webmasters «Анализ поисковых запросов»

Отчет «Анализ поисковых запросов» в инструментах для вебмастеров в гугле — инструмент, который часто оказывается недооцененным. Многие владельцы сайтов используют его исключительно для того чтобы посмотреть по каким запросам переходят на его сайт. Лично я пользуюсь этим инструментом совсем для других целей. А посещаемость можно и через гугл аналитикс смотреть, связав аккаунты, но об этом позже.

Немного теории

На странице описания инструмента «Анализ поисковых запросов» у гугла написано:

Отчет «Анализ поисковых запросов» содержит информацию о том, как часто ваш сайт появляется в результатах Google Поиска. Вы можете использовать фильтры и группировать данные по поисковым запросам, датам, устройствам и другим критериям. Этот отчет позволит улучшить позицию вашего сайта в результатах поиска.

Вдумайтесь во фразу «как часто ваш сайт появляется в результатах Google Поиска». Именно появляется в результатах. Задача инструмента не показывать количество переходов, а подсказывать вебмастеру над какими запросами нужно поработать чтобы улучшить их видимость в поисковой выдаче. Давайте разбираться как это сделать.



Примеры использования отчета

Анализ показов

1. Дополнительно к кликам отметьте галочками показы и позиция.

Анализ поисковых запросов

Анализ поисковых запросов


2. Отсортируйте таблицу по показам, чтобы максимально количество показов было сверху.
Сортировка по показам

Сортировка по показам


3. Смотрим на первую строку таблицы и видим (в моем случае), что у самого часто-показываемого запроса (908 показов) — 0 кликов, а средняя его позиция — 41,1. Согласитесь есть о чем задуматься. Если этот запрос подтянуть в топ-10 это однозначно даст трафик на сайт. Значит все что требуется сделать — это улучшить страницу с запросом, прокачать ее характеристики с точки зрения SEO. По аналогии можно изучить и следующие строки в таблице.

Анализ запросов или работа с котлетами

На примере одного из своих сайтов про вегетарианство покажу как можно найти хорошие запросы для продвижения, которые вы, возможно, упустили из виду.
1. Для более наглядной картины выбираем диапазон 90 дней.
diapazon90
2. Дополнительно к кликам отметьте галочками показы и позиция (как в предыдущем разделе).
3. В запросах выбираем «фильр по запросам»

Фильтр по запросам

Фильтр по запросам


4. Вписываем слово, часто встречающееся в продвигаемых вами запросах, в моем случае это «котлеты», так как сайт продвигается по таким запросам как «котлеты из чечевицы», «котлеты из вареной чечевицы» и т.д. Нажимаем кнопку «Выбрать» и получаем список запросов с участием слова «котлеты».
Фильтр по запросам

Фильтр по запросам


5. Для наглядности включим показы значений CTR и средних позиций.
6. Что нас интересует, так это какие запросы имеют большое количество показов, но при этом мало кликов, другими словами низкий CTR, особенно при большом числе показов. Для этого сортируем таблицу по показам или CTR и смотрим результаты.
Фильтр по запросам

Фильтр по запросам


Я подчеркнул 3 запроса, которые очевидно нужно подтягивать ближе к топу, хотя некоторые из них имеют неплохие средние позиции. Такой метод хорош тем, что позволяет находить сразу группу запросов для одной продвигаемой страницы. Теперь задача сводится к тому чтобы оптимизировать страницу с учетом проблемных запросов.



Реальный трафик или как сделать Google Analytics точнее

Владельцы сайтов, которые пользуются системой Google Analytics и активно изучают статистику посещаемости, рано или поздно сталкиваются с проблемой фейкового трафика. Это когда резко возрастает трафик с других сайтов без видимых на то причин. Иногда такой всплеск носит временный характер, а иногда принимает хронический эффект. Для того чтобы локализовать такой трафик достаточно перейти в раздел Источники трафика -> Весь трафик -> Каналы -> Referral. Липовый трафик будет скрываться за одним из доменов в списке. Как правило, к моменту обнаружения негодяя с этого домена совершено уже достаточно много сеансов, поэтому ищите его в начале списка. В моем случае вражеский домен имеет имя rank-checker.online. Вот еще некоторые домены, обнаруженные на других моих сайтах, передающие липовый трафик:



0n-line.tv
100dollars-seo.com
12masterov.com
4webmasters.org
adf.ly/1SDmxr
adtiger.tk
adviceforum.info
alfa9.com
alibestsale.com
amanda-porn.ga
anal-acrobats.hol.es
best-seo-offer.com
best-seo-software.xyz
bestwebsitesawards.com
black-friday.ga
boost-my-site.com
build-a-better-business.2your.site
build-audience.for-your.website
burn-fat.ga
buy-cheap-online.info
cash4traffic.xyz
cenokos.ru
cenoval.ru
chinese-amezon.com
claim381811.copyrightclaims.org
cookie-law-enforcement-.xyz
copyrightclaims.org
cyber-monday.ga
dailyrank.net
darodar.com
dbutton.net
depositfiles-porn.ga
descargar-musica-gratis.net
dktr.ru
domain-tracker.com
dominateforex.ml
domination.ml
e-buyeasy.com
easycommerce.cf
econom.co
egovaleo.it
erot.co
eu cookie law eu-cookie-law.info
eu-cookie-law-enforcement-#.xyz
event-tracking.com
facebook-mobile.xyz
fast-wordpress-start.com
feedback.sharemyfile.ru
feedback.sharemyfile.ru
fix-website-errors.com
floating-share-buttons.com
forum.darodar.com
forum.smailik.org
forum.topic.6hopping.com
forum.topic123456.ilovevitaly.xyz
forum20.smailik.org
forum69.info
free-floating-buttons.com
free-share-buttons.com
free-share-buttons.xyz
free-social-buttons-.xyz
free-social-buttons.com
free-social-buttons.xyz
free-social-buttons#.xyz
free-traffic.xyz
free-video-tool.com
fuck-paid-share-buttons.xyz
generalporn.org
get-free-social-traffic.com
get-free-traffic-now.com
get-your-social-buttons.info
getlamborghini.ga
getrichquick.ml
getrichquickly.info
ghostvisitor.com
go.ekatalog.xyz
go.ekatalog.xyz
googlemare.com
googlsucks.com
guardlink.org
happy.new.yeartwit.com
hdmoviecamera.net
hongfanji.com
hosting-tracker.com
how-to-earn-quick-money.com
how.to.travel…ilovevitaly.com
howtostopreferralspam.eu
hulfingtonpost.com
humanorightswatch.org
iedit.ilovevitaly.com
ilikevitaly.com
iloveitaly.ro
iloveitaly.ru
ilovevitaly.co
ilovevitaly.com
ilovevitaly.com
ilovevitaly.info
ilovevitaly.org
ilovevitaly.ru
increasewwwtraffic.info
iskalko.ru
kabbalah-red-bracelets.com
kambasoft.com
law-enforcement-.xyz
law-enforcement-bot-.xyz
law-enforcement-check-.xyz
link.web-list.xyz
lomb.co
lombia.co
lombia.com
lsex.xyz
lumb.co
m-google.xyz
magicdiet.gq
make-money-online.7makemoneyonline.com
makeprogress.ga
maps.ilovevitaly.com
marketland.ml
meendo-free-traffic.ga
monetizationking.net
naturehelps.me
net-profits.xyz
new-look.for-your.website
nufaq.com
o-o-6-o-o.com
o-o-6-o-o.ru
o-o-8-o-o.com
o-o-8-o-o.ru
onlinetvseries.me
onlinetvseries.me
ownshop.cf
popads.net
pops.foundation
pornhub-forum.uni.me pornhub-forum.ga
priceg.com pornhub-ru.com
qualitymarketzone.com
quit-smoking.ga
rank-checker.online
ranksonic.com
ranksonic.info
ranksonic.net
ranksonic.org
rapidgator-porn.ga
rednise.com
resellerclub
resellerclub scam
resellerclub.com
rusexy.xyz
s.click.aliexpress.com/e/ay3rfmzfi
sanjosestartups.com
santasgift.ml
satellite.maps.ilovevitaly.com
see-your-website-here.com
seo-platform.com
sexyali.com
share buttons sharebutton.org
share buttons www.get-free-social-traffic.com
share-button.xyz
share-buttons.xyz
sharebutton.net
sharebutton.to
shopping.ilovevitaly.com
simple-share-buttons.com
site-auditor.online
site.social-buttons.com
site#.floating-share-buttons.com
site#.free-share-buttons.com
slow-website.xyz
smailik.org
smarter-content.for-your.website
smartphonediscount.info
snip.to
snip.tw
social-button.xyz
social-buttons-.xyz
social-buttons.com
social-buttons.xyz
social-traffic-#.xyz
social-widget.xyz
socialbutton.xyz
socialbuttons.xyz
teedle.co
theguardlan.com
top1-seo-service.com
topquality.cf
topseoservices.co
torture.ml
traffic-cash.xyz
traffic2cash.net
traffic2cash.org
traffic2cash.xyz
traffic2money.com
trafficgenius.xyz
trafficmonetize.org
trafficmonetizer.org
traffictomoney.com
unpredictable.ga
video—production.com
vitaly rules google
w3javascript.com
web-revenue.xyz
webmaster-traffic.com
webmonetizer.net
website-analyzer.info
website-stealer-warning-alert.hdmoviecams.com
websites-reviews.com
why.does.spacebarnot work
wordpresscore.com
work-from-home-earn-money-online.com
wpsecuritycheck.co.uk
wpthemedetector.co.uk
www.event-tracking.com
www.Get-Free-Traffic-Now.com
www*.free-social-buttons.com
youporn-forum.ga
youporn-forum.uni.me
youporn-ru.com
yourserverisdown.com
китай.с.новым.годом.рф
непереводимая.рф
с.новым.годом.рф
снятьдомвсевастополе.рф
яндех-херня.рф

Последнее обновление таблицы: 28.06.2016

Список продолжать можно до бесконечности, так как новые спамерские домены появляются регулярно.



Сегодня я расскажу подробно что это за трафик и с ним бороться, чтобы он не портил вашу статистику. Спам такого типа называется Ghost spam (призрачный спам). Это и не реальный пользователь, и не бот, а все следы что он оставляет являются фейковыми и негативно влияют на статистику. Задача этого призрака не навредить вам, а привлечь внимание к их сайту, чтобы затем продать вам какую-то услугу или товар. То есть перейдя по ссылке, в моем случае rank-checker.online, вы попадете на сайт ranksonic.com. Спамеры могут легко заменять этот адрес на любой другой.

Кстати, далеко не всегда сайт, на который идет редирект является заказчиком спамерской услуги. Очень часто оказывается так, что это сайт вполне законопослушной компании, которая платит комиссию за привлечение к ней пользователей по определенной партнерской ссылке. Спамеры берет эту ссылку и через несколько грязных редиректов перенаправляет по ней тех, кто ввел в адресной строке тот самый rank-checker.online, или любой другой адрес призрачного спамера из своего сервиса статистики. Вы ведь наверняка захотите перейти по ссылке, увидим ее в своей статистике, захотите узнать кто же поставил на ваш сайт ссылку, по которой в день приходят десятки, а то и сотни посетителей.

Переходим к самому интересному. Как же остановить такого бота? Есть много способов, но, к сожалению, далеко не все удачные. Давайте рассмотрим способы, которые не следует использовать.

  • Не используйте исключающие реферальные списки в фильтрах Google Analytics.
  • Не используйте серверные решения, такие как плагины wordpress или внесение ручных изменений в файл .htaccess.
  • Избегайте создания фильтров для каждого спамера. Это не эффективно и только приводит к беспорядку в разделе фильтров.
  • Призрачный спам не навредит вашей SEO оптимизации и работе по продвижению сайта в целом. Он не влияет на поисковое ранжирование вашего сайта, хотя и искажает в статистике поведенческие факторы, такие как показатель отказов, глубина просмотра, время проведенное на сайте.

Ghost spam — это один из самых агрессивных видов спама. Он постоянно изменяет имена и может регулярно подменять сайты для редиректов. Фильтр по имени хоста — самый эффективный метод борьбы с таким видом спама, который избавит вас от сомнений, насколько точна ваша статистика. Вот главные преимущества этого фильтра:

  • Профилактическое решение не похожее на другие, которые позволяют спаму обходить их.
  • Минимальные временные затраты на установку и обслуживание фильтра. Не нужно каждый раз при обнаружении нового призрачного спама вносить изменения.
  • Фильтр остановит любые известные формы призрачного спама.
  • И самое главное — фильтр поможет вам избежать искажение статистики.

Как работает фильтр по имени хоста (hostname)

Чтобы понять как работает фильтр, давайте сначала разберемся что такое имя хоста. Каждое посещение в Google Analytics имеет источник посещения и имя хоста.

Источник посещения: место, откуда пользователь пришел, например:

  • direct — прямой заход
  • referral — переход с другого сайта
  • organic — переход из поисковых систем
  • social — переход из социальных сетей



Имя хоста: место, куда пользователь прибыл. В большинстве случаев — это ваше доменное имя. Это также может быть поддомен или даже другой домен, на котором установлен ваш счетчик.

Весь трафик от призрачного спама фейковый, так как на ваш сайт не заходит ни человек, ни робот. Вот почему призрачный спам и получил свое название (Ghost spam). Он проникает напрямую в Google Analytics и оставляет за собой фейковые данные об источнике трафика, имени хоста, показателе отказа, времени сессии и другие данные.

Идея фильтра по имени хоста заключается в том, чтобы сказать системе Google Analytics каким хостам следует доверять и только их учитывать в статистике. Таким образом, все сторонние хосты будут проигнорированы. Нужно только найти необходимые имена хостов, которые мы будет разрешать учитывать.

Как найти нужные имена хостов

Здесь важно не ошибиться и найти действительно правильные хосты иначе вы рискуете заблокировать реальный трафик. Рассмотрим на примере одного из моих сайтов. В прошлом году я приобрел на аукционе сайт meatless.ru и некоторое время назад заподозрил на нем небольшой всплеск посещаемости с других сайтов. Поскольку я не рекламировал сайт, такое могло случиться только если кто-то поставил ссылку на сайт на каком-то известном ресурсе или это Ghost spam. Давайте найдем причину всех бед :). Итак, выполним следующую последовательность:

Заходим в Google Analytics -> Отчеты -> Аудитория -> Технологии -> Сеть

Смотрим на основной параметр: по умолчанию будет выбран «Интернет-провайдер».

Google Analytics - интернет-провайдер


Жмем на «Имя хоста». Откроется список реальных и фейковых хостов. В списке вы увидите по крайней мере один хост — это домен вашего сайта. В моем примере — это meatless.ru. Наличие остальных хостов в этом списке будет зависеть от настроек вашего сайта, размещен ли счетчик статистики на других доменах и поддоменах. Например, на изображении видно два хоста от youtube.com. Вполне ожидаемые хосты, ведь у сайта meatless.ru есть канал на ютубе с точно таким же счетчиком как на основном сайте.

Google Analytics - имя хоста rank-checker.online


Изучив список из четырех хостов видно, что 3 из них настоящие, а вот один выглядит, мягко говоря, подозрительно. Это и есть нежданный поразит (inst.webinstantservice.com), который портит всю статистику. Как понять что это именно он? Очень просто: в источниках трафика в реферралах найдите все тот же rank-checker.online, кликните по нему и в дополнительных параметрах выберите Поведение и далее имя хоста. Там и будет написано inst.webinstantservice.com.

Вражеским хостами можно считать все те, которые вы не смогли распознать как свои. Однако и это еще не все. Иногда имя хоста может принимать значения, вроде google.com или любого другого известного сайта. Это спамеры пытаются ввести вас в заблуждение, придумывая имя хоста с популярным доменом. Поэтому такие хосты тоже нужно отнести к фейковым. Если у вас есть сомнения, рекомендую изучить такой хост детальнее. Для этого можно отследить дату начала активности по этому хосту просто нажав на имя хоста. По графику будет видно начало активности и можно будет сделать вывод имеете ли вы отношение к этому хосту или это действительно призрак. Еще один из призраков скрывается за значением (not set). Это, пожалуй, самый популярный hostname для спамеров. Означает это, что спамеры даже не удосужились придумать имя для фейкового хоста.

Теперь, когда проблема локализована можно и нужно перейти к ее устранению.

Как настроить фильтр по имени хоста

Особенностью фильтра будет его тип. Он будет не исключающий, а включающий. Для создания фильтра потребуется написать регулярное выражение. Если у вас как в моем случае в белом списке будет всего пара хостов, то регулярка будет довольно простой, по сути, это будет просто перечисление этих хостов. Однако, при составлении регулярных выражений стоит помнить некоторые вещи.

  • Для разделения хостов следует использовать вертикальную черту |, обозначающую логическое «или»
  • Не забудьте экранировать точки и дефисы обратным слэшем \.
  • Если в вашем списке доменов присутствует несколько поддоменов, нет необходимости перечислять их все. Просто укажите второй уровень домена. В моем примере, если бы мне пришлось указать два домена, например meatless.ru и subdomain.meatless.ru, достаточно было бы указать в регулярном выражении meatless\.ru
  • Не используйте пробелов.
  • Поле для регулярного выражения предусматривает не более 255 символов. Вы должны уместить ваше регулярное выражение в это количество знаков. Google Analytics не позволит вам создать более одного включающего фильтра для одного параметра (hostname).
  • Не добавляйте вертикальную черту в начале или в конце регулярного выражения.



Составьте регулярно выражение, используя эту подсказку. Внимательно проверьте выражение перед добавлением его в фильтр. Незначительная ошибка может привести к тому что вы рискуете потерять значительную часть реального трафика. Если хотите прокачать знания по регулярным выражениям советую почитать у гугла здесь.

Теперь когда вы все проверили можно приступать к добавлению фильтра. Обратите внимание, что фильтр лучше добавлять к конкретному ресурсу, а не ко всему аккаунту, если конечно у вас не один сайт. Это обезопасит остальные сайты, если вы вдруг сделаете ошибку в настройке фильтра.

Google Analytics -> Выбираем аккаунт -> Выбираем ресурс -> Выбираем Фильтры в нужном представлении -> Добавить фильтр -> Создать новый фильтр (указываем имя) -> Тип фильтра: пользовательский -> Включить -> Поле фильтра: имя хоста -> Шаблон фильтра: ваше регулярное выражение.

В моем случае регулярное выражение будет иметь вид:

meatless\.ru|youtube\.com

Не спешите сохранять фильтр. Нажмите кнопку «Проверить этот фильтр». Откроется таблица, как на на рисунке.

Google Analytics - проверка фильтра


Таблица покажет результаты проверки до применения фильтра и после. Нас интересует левый столбец (до применения). Обратите внимание на последнюю запись в столбце, это тот самый вражеский хост, который мы локализовали ранее. Правый столбец, как видите пустой. Это значит что после применения фильтра не осталось ни одного постороннего хоста. Значит наш фильтр работает корректно и задачу можно считать выполненной.

Еще небольшое замечание: если вы решите проверить фильтр второй раз через некоторое время, нажатием соответствующей кнопки, система вернет сообщение «Этот фильтр не изменяет данные. Конфигурация фильтра неправильная или данных недостаточно». Это происходит потому что фильтр уже работает, поэтому сравнивает данные хостов с теми же что уже отфильтрованы. Поэтому если вы хотите проверить как работает ваш фильтр, придется его удалить и создать точно такой же заново.

Не забудьте, что если вы добавите ваш счетчик на другой сайт, вам потребуется добавить новое имя хоста в ваше регулярное выражение.

Фильтр Яндекса АГС и Минусинск

Прочитав эту статью, вы узнаете все про фильтр Яндекса АГС и Минусинск. История и эволюция фильтра, способы диагностики и вывода сайта из под фильтра.

Аббревиатура АГС расшифровывается как Анти Говно Сайт. Это неофициальная информация, но общепринятая. Не трудно догадаться откуда появилась такая аббревиатура. Фильтр получил название от аббревиатуры пулемета, а именно: АГС — автоматический гранатомёт станковый. Машина старая, первая версия встала на вооружение в 1971 году.

История появления и эволюция фильтра АГС

В отличии от пулемета, фильтр Яндекса введен в 2006 году. Первая версия имела название АГС-17. В 2009 году фильтр существенно обновился и получил название АГС-30. Он был стал намного качественнее своего предшественника, его формула насчитывала около сотни параметров для определения некачественного сайта. В 2013 году вышло еще одно обновление. Алгоритм получил название АГС-40. Цифры, стоящие после аббревиатуры, не что иное как названия модификаций пулеметов. В 2015 году фильтр был серьезно изменен, он получил название «Минусинск». В сентябре 2015 года, алгоритм получил последнее на момент написание поста обновление. Алгоритм получил название АГС, без всяких цифр, хотя сеошники частенько называют его АГС-2015.



Фильтр Яндекса АГС и Минусинск


Версии фильтров АГС

Все фильтры АГС направлены на борьбу с некачественными сайтами, сделанными не для людей, а для продажи ссылок ради легкой наживы. Такие сайты засоряют интернет и негативно влияют на поисковую выдачу. Давайте рассмотрим подробнее каждую из версий.

Фильтры АГС-17, АГС-30, АГС-40

Фильтры рассмотрю все вместе так как они мало чем отличаются друг от друга, хотя 7 лет — довольно приличный срок. Именно столько времени прошло с момента выпуска версии АГС-17 до АГС-40. Отличия касались в основном увеличением числа параметров, учитывающихся алгоритмом для определения некачественного сайта. Эти фильтры работают в автоматическом режиме, периодически перепроверяя все сайты в индексе Яндекса. Если после перепроверки сайт улучшился, то фильтр АГС с него снимается. Сайты, попавшие под любой из этих фильтров теряют весь накопленный тИЦ.

Фильтр Минусинск

Интереснейшее обновление алгоритма, которое взбаламутило весь рунет. 15 апреля 2015 года Яндекс объявил о предстоящем запуске алгоритма. Алгоритм был направлен на борьбу с сайтами, как с теми, которые продают ссылки, так и с теми, которые покупают. Запуск должен был состояться 14-15 мая. Таким образом у вебмастеров и владельцев сайтов был ровно месяц, чтобы снять все покупные ссылки и избежать попадания под фильтр Минусинск.

Несколько месяцев вебмастера на разных площадках обсуждали изменения, последствия введенного алгоритма, пытались понять как действовать дальше.

Фильтр АГС-2015

Последняя, на данный момент версия фильтра. По сути этот тот же Минусинск, но распространяющийся на все сайты, независимо от их качества. То есть фильтр эволюционировал от АГС-17, который боролся просто с некачественным контентом до АГС, который борется с купленными ссылками.

Цель фильтра: поиск сайтов с некачественным контентом, удаление из индекса Яндекса и запрет на последующее добавление.

Способы диагностики

Диагностика АГС и Минусинск


Я прошлой статье я писал про новый вебмастер Яндекса. Пока что он находится в стадии бета тестирования. В интерфейсе нового вебмастера есть раздел Нарушения. Если верить заявлениям Яндекса, то в этом разделе можно будет увидеть фильтры и другие санкции, наложенные на ваш сайт. Лично мне не приходилось увидеть как работает раздел, поскольку у моих сайтов нарушений нет.

Если вдруг данная функция не приживется в новом вебмастере всегда есть старые проверенные способы определения фильтра АГС. Способов этих я знаю всего три. Если все три говорят, что вы под АГС, значит это 100% так. Если два из трех, тогда вероятность 90%, если один из трех, вероятность 50%. Вот они:

    1. Способ 1. Проверьте насколько хорошо индексируется ваш сайт. Просто введите адрес своего сайта в поисковой строке Яндекса:

      site:vash-webmaster.ru

      Если в результате выдачи вы увидите 2-3 страницы, хотя их намного больше, это отличный индикатор, говорящий что ваш сайт находится под фильтром АГС. Но даже если вы найдете все страницы — это еще не говорит об обратном. Бывают случаи когда АГС наложен, странице в индексе, но по коммерческим запросам сайт не находится или находится вне топ-100.

    2. Способ 2. Я уже писал про то как добавить страницу в индекс поисковых систем. Попробуйте добавить любую страницу сайта в аддурилку Яндекса. Если сайт находится под фильтром АГС вы вряд ли сможете его добавить в индекс. Хотя ходят слухи, что некоторые сайты и под АГС успешно добавляются. К сожалению, информацию подтвердить не могу, так как говносайтами не располагаю.

    3. Способ 3. Еще можно воспользоваться сторонними сервисами для определения находится ли ваш сайт под фильтром АГС или нет. Стоит принять к сведению, что у всех этих сервисов свои алгоритмы определения фильтра. Поэтому на одном сервисе ваш сайт может быть в АГС, а на другом нет. Несколько месяцев назад вот этот сайт помог диагностировать АГС у двух клиентских сайтов. На вывод из под фильтра ушло чуть больше месяца. Клиенты остались довольны.

    Если ни один из методов не показал что сайт находится под фильтром АГС, но при этом в результатах поисковой выдачи Яндекса ваш сайт находится на 200-300 позициях, возможно, на сайт наложен другой фильтр, бан или сайт пессимизирован. В таком случае вы можете написать письмо Платону, объяснив подробно проблему. Если у вас действительно хороший сайт, сделанный для людей, велики шансы что Платон поможет.

    Вывод сайта из под фильтра

    Если вы уверены что ваш сайт под фильтром АГС, нужно понять что вызвало причину наложения и постараться убрать саму причину. Причин может быть несколько, я их свел в 4 пункта.

    • Убогий дизайн. Конечно, каждому своя убогость, но Яндексу точно не нравятся сайты сделанные кое-как, ради того чтобы занять место в интернете. Разумеется поисковик оценивает дизайн не по внешнему виду, а анализируя код. Так вот убогость дизайна может заключаться в корявой верстке, не оптимизированной графике, расположению объектов на странице.
    • Некачественный контент. Нужно поработать с текстами, проверить их на уникальность. Для этого можно воспользоваться сторонними сервисами или выдергивая куски текста, вставлять их в кавычках в поисковую строку Яндекса. Если кроме вашего сайта в результате выдачи будут и другие сайты с таким же контентом и ваш сайт будет ранжироваться ниже, значит ваш контент на проверяемой странице признан не первоисточником и может являться плагиатом. Стоит переписать весь текст на этой странице. Замена двух-трех предложений проблемы не решит.

    • Ссылочный спам. Слишком много некачественных или просто продажный входящих ссылок на ваш сайт. Если вы активно закупали ссылки на ссылочных биржах, нужно отказаться от ссылок. Снимать лучше постепенно, доводя соотношение входящих ссылок к соотношению 90% / 10%, где 90% — это естественные ссылки, а 10% — купленные на биржах.

    • Заспамленность страницы. Если ваш сайт перенасыщен рекламой, если на нем 10 баннеров, 15 исходящих ссылок. Если цель сайта — только продажа рекламных мест и вы берете количеством, велика вероятность, что фильтр АГС наложен именно за это. Уберите все баннеры и рекламные ссылки, пусть сайт подышит.

    Что делать после того как вы устранили все проблемы, которые могли вызвать наложение фильтра. Яндекс говорит, что со временем фильтры АГС снимаются сами. Но лучше отправить страницы сайта на переиндексацию, это ускорит процесс. А, вот например при минусинске фильтр накладывался и вручную. Сроки действия фильтра: 6-8 месяцев. Поэтому даже если вы убрали причину его появления, надеяться на то что ваш сайт сам выйдет из под АГС не стоит, если конечно у вас нет терпения ждать 8 месяцев. Увы, но довольно часто ситуация так запущена, что лучше отказаться от домена и зарегистрировать новый, причем желательно на другом ip у другого хостинг провайдера.

    Если что, пишите в личку, помогу диагностировать фильтр. Удачи!

Яндекс анонсировал новый Вебмастер

Сегодня, 20 ноября 2015 г. буквально пару часов назад Яндекс объявил о запуске бета версии нового Вебмастера, который доступен по ссылке: http://beta.webmaster.yandex.ru/. Предлагаю вашему вниманию беглый обзор нового Вебмастера.




Яндекс как всегда идет по пятам гугла. Теперь в Яндекс Вебмастере будет все что есть в Google Webmasters или почти все. Если не обращать внимание на изменение внешнего вида, появились 4 новые возможности. Не то что бы совсем все новые, скорее одна новая и несколько допиленных.

  • проверка страниц на мобилопригодность;
  • проверка сайта на наличие нарушений;
  • техническая диагностика сайта;
  • отслеживание всех основных показателей, связанных с представлением сайта в поиске.



Проверка страниц на мобилопригодность

Параметр пока что слабо определяет мобилопригодность. Слишком мало параметров для анализа: наличие тега viewport, отсутствие прокрутки, и отсутствие Flash, Java-апплетов и плагинов Silverlight. Да и после проверки 20 сайтов, у 13 сайтов проверка мобилопригодности выдала одну и ту же ошибку:
Произошла ошибка при доступе к странице:
http-code-status: TypeError: Cannot read property 'httpCodeGroup' of undefined

Позднее система стала выдавать другую ошибку:
Cервис временно недоступен. Обратитесь немного позже.

Хотя все проверяемые сайты отлично работают на мобильных устройствах, о чем свидетельствуют другие сервисы проверки, включая Гугл.

Инструмент довольно сырой, но Яндекс уверяет что со временем будет лучше.

В будущем количество учитываемых параметров будет увеличиваться

Что еще порадовало, так это то что в ближайшем будущем параметр мобильности будет учитываться при ранжировании в мобильном поиске.

а в ближайшие несколько месяце параметр «мобильности» страниц начнет учитываться при ранжировании в мобильном поиске.

Вот этого действительно заждались давно.

Проверка сайта на наличие нарушений

Нововведение, которое все давно ждали. Теперь владелец ресурса сможет узнать какие санкции или фильтры были наложены на сайт и долгожданная кнопка «Я все исправил», позволяющая сообщить Яндексу о том, что проблема, вызванная наложение санкций, устранена. Кнопкой стоит пользоваться аккуратно, то есть нажимать только если уверены, что устранили проблемы. Повторно воспользоваться кнопкой можно будет только через месяц!

Проверяя 20 сайтов, не смог найти ни санкций, ни фильтров. Или мои сайты действительно чисты как стеклышко или Яндекс что-то не доработал и в этом разделе. Надеюсь все же на первый вариант. Если у кого-то в данном разделе есть какая-то инфа о наложенных штрафах на сайты, пожалуйста, поделитесь инфой в комментариях.

Техническая диагностика сайта

Технический аудит сайта по 21 возможной проблеме. Список проблем будет увеличиваться. Раздел ничего особенного из себя не представляет. Если вы активно пользуетесь Вебмастером от Гугла и своевременно устраняете ошибки, то скорее всего и Яндекс Вебмастер проблем не найдет. Поэтому не будем разводить дебаты и перечислять 21 параметр.

Отслеживание всех основных показателей, связанных с представлением сайта в поиске

Раздел на любителя. Группировка запросов по фильтрам или по добавленным вручную. Группы можете создавать сами или воспользоваться теми что уже есть. Попробую как-то поиграться с этим разделом, может быть найду в нем что-то полезное для себя.

В заключении хотел бы сказать, давайте не будем сильно строги, все же это бета версия и ошибок не может не быть.
Ссылка на анонс Яндекса здесь: http://webmaster.ya.ru/replies.xml?item_no=21460

Превращение нецелевого трафика в продажи

Многие фрилансеры или руководители в области веб-разработки регулярно задаются вопросом «как искать клиентов?», «как получить заказ?». Сегодня расскажу о трюке, который обеспечил меня и мою команду заказами на 5 месяцев вперед. Трюк довольно простой, но в то же время очень эффективный. Для затравки выложу немного цифр: за 3 месяца было получено 16 заказов на разработку сайта, 3 заказа на поддержку и 27 заказов на исправление ошибок на сайтах. Это не считая заказов, полученных другими способами.

Превращение нецелевого трафика в продажи


Проблема

Если кто-то не знает, у меня есть своя веб-студия, о которой я писал ранее. Так вот в кризисное время, а именно с декабря 2014 резко упали продажи по всем направлениям. Трафик из поисковых систем по нужным запросам, таким как «разработка сайта», «продвижение сайта в СПб» и т.д. резко сократился. При этом позиции в поисковиках по этим запросам оставались высокими (постоянное присутствие в топ-10 Яндекса и Гугла). Очевидно, что у людей резко упало желание тратить деньги на IT услуги, так как есть дела более важные. Средний ценник на разработку сайта у студий находился в диапазоне от 30 до 150 тыс. рублей. Поэтому далеко не каждый в тяжелое время будет вкладываться в разработку сайта, тем более сайт не сделают за один день, а деньги нужно спасать. Уж лучше купить автомобиль или телевизор с холодильником.



Нужно было что-то срочно придумывать для стимуляции продаж. Перепробовали много всего: контекстная реклама везде где только можно, постовая реклама на форумах, увеличение активности в соц. сетях и т.д. Отдача была, но очень слабая. В итоге появилась, как позже выяснилось, отличная идея. Что может сильно заинтересовать пользователя, у которого нет денег? Да что угодно, лишь бы оно было бесплатным.

Решение

Одна из услуг, которую предлагает наша студия — это наполнение сайта контентом. Это может быть копирайтинг или наполнение каталога товарами. Запросы «наполнение сайта», «наполнение сайта контентом» и много похожих запросов — являются низкочастотными, то есть не очень популярными. Поэтому такие запросы я очень быстро вывел в топы поисковых систем и закрепился там на 1-3 местах. Посещаемость нужной мне страницы по этим запросам в месяц составляла в среднем 150 уникальных посетителей. Целевая аудитория, которая приходила из поисковиков на эту страницу уже имела свои сайты. Их интересовало наполнение сайта и желательно подешевле.

Задача стояла в том как преобразовать этот трафик в продажи других услуг и было сделано следующее. Я создал акцию длительностью в 3 месяца, которая называлась «Бесплатный аудит сайта». Акция была видна на главной странице и на некоторых внутренних, в том числе на странице об услуге по наполнению сайта на самом видном месте. Теперь те, кто приходили из поисковиков по запросу «наполнение сайта» не могли не увидеть о том, что моя студия проводит акцию. Ссылка вела на описание акции. Каждый второй переходил по этой ссылке, каждый третий-четвертый заказывал аудит сайта. В итоге за первый месяц аудит сайта заказали 31 раз (это был праздничный январь), за второй месяц 43 и за третий — 61.

Аудит сайта выполнялся частично автоматически с использованием разных программ и онлайн-сервисов, частично вручную. Занимал аудит одного сайта около получаса. Сайт исследовался по следующим критериям:

  • Наличие вредоносного ПО
  • Качество дизайна
  • Юзабилити
  • Кроссбраузерность
  • Оптимизационная верстка
  • Валидность кода

Отчет оформлялся в виде pdf файла с описанием найденных ошибок и проблем, вызванных этими ошибка. Способа решения в файле конечно не было. Как правило ошибок была тьма. Согласитесь, что получая такой файл о вашем сайте хочется как можно быстрее исправить все ошибки и проще всего сделать это, обратившись в ту же студию. Обращались не все, но многие. Некоторые ошибки, которые можно было исправить, мы устраняли за небольшую плату. Довольно часто на аудит приходили откровенные говносайты, что проще было сделать новый сайт чем исправлять текущий. Что и предлагалось сделать в теле письма, с приложенным файлам с аудитом сайта и подробным изложением того как должно быть. За 3 месяца 135 аудитов превратились в 16 новых заказов на разработку сайтов, 3 заказа на поддержку и 27 платных исправлений. Эта акция обеспечила нас работой на 4 месяца вперед. Для первого квартала 2015 года это был отличный показатель. С тех пор я иногда устраиваю такие акции, чтобы получить клиентов на 2-3 месяца вперед.



Особенно хочу отметить, что как отдельная услуга «Бесплатный аудит сайта» работает совсем не так как акция. Акция с окончанием срока действия мотивирует клиента обратиться за услугой, в то время как обычная услуга — это всего лишь услуга, которая за 1 год дала только 11 заказов на разработку.

Выводы

Акция «Бесплатный аудит сайта» оказалась настолько удачной, что мне пришлось привлечь дополнительно двух дизайнеров, чтобы успеть в срок закончить заказы. Таким вот нехитрым способом удалось превратить потенциального клиента, искавшего наполнение сайта в реального клиента, заказавшего разработку сайта (в некоторых случаях с наполнением). Подробнее об аудите можно прочитать непосредственно на странице услуги.

Как писать статьи для привлечения поискового трафика

Сегодня расскажу вам о простых правилах написания статьи, которая позволит привлечь на ваш сайт целевой трафик из поисковых систем.

  1. Создаем семантическое ядро;
  2. Группировка запросов для статьи;
  3. Написание статьи с учетом выбранных запросов.

Далее обо всем по порядку.

1. Создаем семантическое ядро

Лучше всего работать по среднечастотным и низкочастотным запросам, это даст быстрый результат. Для высокочастотников лучше использовать другой способ продвижения, о котором тоже напишу как-нибудь. Как же найти такие запросы? Способов несколько, я опишу несколько из них.



Яндекс Wordstat

https://wordstat.yandex.ru/. Вбиваем нужный запрос и смотрим на предложенные варианты. Например, вы пишите статью про то как выбрать холодильник. Вводим запрос в Яндекс вордстат и получаем вот такую выдачу:

Как писать статьи для привлечения поискового трафика


Становится понятно, что многих интересуют запросы с учетом указания года, например «какой холодильник выбрать 2015» — по состоянию на сентябрь 2015 года интересует 2536 человек. Немного расскажу об этой статистике: многие, кто пользуется этой статистикой заблуждаются, считая, что статистика Яндекс вордстат — это статистика количества вводимых запросов в поисковой системе Яндекс. На самом деле это не так. Это количество показов запроса в системе Яндекс Директ. То есть пользователь вводит запрос «как выбрать холодильник» и получает выдачу от Яндекс Директ, в которой показаны эти вхождения. Так вот это и есть те самые цифры. И это единственная статистика от Яндекса, которую мы можем использовать для расчета. У гугла тоже есть похожая статистика, но у яндекса она точнее. Более точная статистика есть у рамблера, но в виду того что это устаревший поисковик с очень низкой посещаемостью по сравнению с Яндексом, то использовать его статистику нужно с учетом дополнительных параметров, а именно доли посетителей Рамблера к Яндексу. Инфа берется из открытого источника — liveinternet.

Seopult

Seopult — это платный сервис для покупки ссылок на сайтах-донорах. Но сервис имеет ряд полезных функций, которыми можно пользоваться бесплатно. Как раз об одной из таких функций сегодня и пойдет речь. После того как вы зарегистрируетесь в системе и добавите любой сайт для продвижения, на шаге добавления поисковых запросов для продвижения укажите нужный запрос, например, «как выбрать холодильник». Справа увидите несколько режимов подбора запросов.

seopult

Здесь же есть и Wordstat, описанный выше. Обращая внимание на частотность добавляйте слова к своему семантическому ядру.

Подбор запросов с помощью подсказок Яндекс и Гугл

Довольно простой способ. К сожалению, он не сообщит нам о частотности, но если запрос есть среди подсказок мы можем предположить что запрос востребован и можем с ним работать. На примере нашего запроса в Гугле выглядеть это будет так: вводим запрос «как выбрать холодильник» в Гугл и нажимаем пробел, внизу появятся подсказки:

Подсказки Гугл

У Яндекса могут быть совершенно другие подсказки. Когда выберите подходящие запросы среди подсказок можете попробовать вводить похожие запросы и опять просмотреть подсказки.

2. Группировка запросов для статьи

Допустим, ваше семантическое ядро насчитывает 100 запросов. Еще раз просмотрите его, если вы видите слишком частотные запросы, а результат вам нужен в максимально короткие сроки можете от них отказаться. Оставшиеся среднечастотные и низкочастотные запросы сгруппируйте примерно по 10 штук, чтобы каждая группа подходила для одной статьи. У вас получится 10 статей. Далее придумайте заголовки для этих статей. В заголовках старайтесь использовать самый популярный запрос из группы — самый высокочастотный среди среднечастотных или даже низкочастотных.

3. Написание статьи с учетом выбранных запросов

Переходим к основному этапу — написание статьи. Теперь когда у вас есть список из 10 запросов нетрудно понять о чем вам придется писать. Важно понимать, что статью вы пишите не для поисковиков, а для людей, но с использованием нужных запросов. Если ваша статья окажется в поисковой выдаче довольно высоко и пользователи начнут на нее переходить, а информация в вашей статье им не понравится, они быстро будут покидать ваш сайт, что негативно отразится на поведенческих факторах и ваш сайт по данным запросам быстро просядет в поисковой выдаче. Поэтому не забывайте, что статья должна быть интересна пользователям. Если вы пишите про то как выбрать холодильник, постарайтесь широко ответить на этот вопрос. Снабдите статью фотографиями, характеристиками, видео материалами. Обязательно подписывайте теги alt у изображений с учетом выбранных запросов.

Не забудьте добавить вашу статью в индекс поисковых систем.

Как проиндексировать сайт или страницу в поисковых системах

В одной из прошлых записей я уже рассказывал как добавить новый сайт в индекс поисковых систем Яндекс и Гугл. Сегодня я опишу некоторые моменты, которые помогут ускорить индексацию новых страниц вашего сайта. Но для начала напомню что такое индексация и для чего она нужна.

Индексирование в поисковых системах (веб-индексирование) — процесс добавления сведений (о сайте) роботом поисковой машины в базу данных, впоследствии использующуюся для (полнотекстового) поиска информации на проиндексированных сайтах.

Википедия

Нетрудно догадаться, что если поисковик не знает ничего о вашем сайте, то и пользователя поисковиков о вашем сайте так же ничего не узнают. С новыми страницами немного по-другому. Любая страница, которая появится на вашем сайте рано или поздно проиндексируется (если вы конечно не запретили индексацию принудительно). Но это может занять много времени, особенно если ваш сайт молодой.

Допустим, вы ведете блок и вот у вас появилась новая запись. Многие не уделяют должного внимания новым страницам, а следовало бы. Конечно, если это блог с посещаемостью в несколько тысяч человек в день, это действительно не так уж и актуально. Ведь из этих 1000 человек наверняка кто-то да поставит на вас ссылку на другом ресурсе, затем эта ссылка проиндексируется поисковиками и новая страница попадет в индекс Гугла и Яндекса. Но даже такой путь займет какое-то время. Но если ваш блог свежий и еще не успел обзавестись своей постоянной аудиторией будет полезно ускорить индексацию новой страницы.



Как ускорить индексацию страницы в Гугле

Будем надеяться, что вам уже знаком инструмент от Гугл для вебмастеров — http://www.google.ru/webmasters/, если нет, то вот здесь я подробно его рассматриваю. Это очень полезный инструмент, который, при должном использовании, значительно улучшит ваш сайт.

Итак, выполняем следующее:

1. Авторизуемся

2. Выбираем нужный сайт, страницу которого будем индексировать

3. В левом меню выбираем пункт «Сканирование»

Как проиндексировать сайт

4. Выбираем пункт меню «Просмотреть как Googlebot»

Как ускорить индексацию страницы в Гугле

5. Вводим в текстовое поле адрес добавленной страницы и жмем кнопку «Сканировать»

Как ускорить индексацию страницы в Гугле

6. Новая страница появится в списке страниц сверху, жмем кнопку «Добавить в индекс»

Как ускорить индексацию страницы в Гугле

7. Появится диалоговое окно

Как ускорить индексацию страницы в Гугле

8. В диалоговом окне выбираем первый пункт и нажимаем кнопку «Отправить»

Как ускорить индексацию страницы в Гугле

9. В место кнопки «Добавить в индекс» теперь вы увидите фразу «URL отправлен для индексирования»

google-webmaster-indeksacia7

Это все, теперь ваша страница окажется в индексе гугла очень скоро. Время, через которое страница оказывается в индексе всегда разное. От нескольких секунд до нескольких часов.

Как ускорить индексацию страницы в Яндексе

У Яндекса нет функции добавления отдельных страниц как у гугла. Тем не менее есть способы ускорить индексацию и в Яндексе.

1. Первое что необходимо сделать — это зарегистрироваться, а затем авторизоваться в инструменте для вебмастеров от Яндекса — Яндекс.Вебмастер, для этого переходим по ссылке: https://webmaster.yandex.ru.

2. Добавим в ваш файл с картой сайта sitemap.xml вашу новую страницу.

3. В кабинете Яндекс.Вебмастер выбираем нужный сайт из списка добавленных сайтов (если сайт еще не добавлен, добавляем его).

4. Выбираем раздел «Настройка индексирования», далее подраздел «Файлы Sitemap» и указываем ссылку на ваш файл, выложенный у вас же на сайте.

5. Нажимаем кнопку «Добавить» и ваш сайт встает в очередь на добавление. Через несколько дней робот Яндекса перейдет по всем ссылкам из этого файла.

Это все что можно сделать для ускорения индексации с помощью Яндекс.Вебмастер. Но есть еще один хороший способ проиндексировать вашу новую страницу. Это публикация ссылки в твиттере, особенно хорошо если аккаунт популярный. Для этого можно прокачивать аккаунты самостоятельно, а можно покупать посты в прокаченных аккаунтах или даже сами аккаунту. Покупка поста стоит дешево, поэтому это самый простой способ быстро загнать страницу в поиск. Средняя стоимость поста в хорошем аккаунте, который регулярно индексируется Яндексом 10-20 руб.

Всегда оценивайте насколько вам необходимо срочное добавление поста в индекс Яндекса. Если результат нужен что называется вчера, то используйте оба этих метода. Если спешки нет, то первого метода вполне достаточно.

Не стоит также забывать, что индексацию страницы может ускорить любая ссылка на вашу статью с другого сайта, который регулярно индексируется Яндексом. А также ссылки с других страниц вашего сайта, особенно с главной.

Итоги. Что поможет ускорить индексацию

  • Добавление новой страницы в файл sitemap.xml, размещенный в корне вашего сайта и обновите его в инструменте Google Webmasters и Яндекс.Вебмастер.
  • Размещение ссылок на новые страницы с других страниц вашего сайта.
  • Размещение ссылок на новые страницы на популярных внешних ресурсах (форумы, блоги, страницы социальных сетей). Можно попросить друзей разместить временную ссылку на новую страницу на их сайте.
  • Добавление ссылки в социальных сетях, например на своей странице. Особенно хорошо в этом плане работает твиттер. Эта социальная сеть очень часто индексируется поисковиками, особенно гуглом.

Контент для блога

Нет ничего лучше чем естественный авторский контент, а не проплаченный рерайт с целью налить воды и заработать денежку. Поэтому качественный контент так дорого стоит. Ведь когда автор пишет с желанием о своем любимом деле, в котором он хоть и сам, но может считать себя экспертом, зачастую получаются просто отличные тексты. Хотите качественный контент? Пишите сами про то, в чем хорошо разбираетесь или наймите того, кто разбирается в нужной для вас теме.

Пиши интересно. Тексты, написанные только ради того чтобы они были написаны выделятся сразу. И такие тексты почти никогда не дочитывают до конца — они просто не несут никакой полезной информации для читателя. Посетитель уйдет, ваши поведенческие факторы просядут, сайт быстро потеряет позиции в поисковой выдаче. Если у вас свой блог, пишите про то что вам интересно, про то, в чем вы разбираетесь лучше всего. Если нужно написать статью на незнакомую вам тему, изучите материал или наймите или попросите того, кто в этом силен.



Можешь? Пиши! Если у вас есть желание писать — пишите. Бывают монеты когда надо писать интересные, информативные тексты, но желания никакого нет. Причин может быть масса: от плохого самочувствия, до творческого тупика, когда не можешь выдавить из себя ни буквы. Бороться с этим тяжело, но лекарство есть: пишите всегда, когда есть желание. Где бы вы ни находились, пишите или фиксируйте мысли, которые появляются у вас в голове. Если вы едете за рулем, очень полезно иметь под рукой диктофон (сейчас диктофоны есть в любых телефонах). Фиксируйте мысли, а когда доберетесь до компьютера — запишите их.

Пиши вперед. Другими словами — планируйте свои записи заранее. Сейчас, когда я пишу эту статью, я знаю о чем будут следующие 7 постов и когда они будут опубликованы. Все идет по графику и все зафиксировано в календаре. Если появится что-то более актуальное я просто сдвину запланированные записи вперед и добавлю нужную в срочном порядке. Поскольку я смотрю минимум на месяц вперед, у меня есть много времени чтобы корректировать будущие записи, дорабатывать их, доводить до ума.

Ведите несколько рубрик. Не ограничивайтесь одно рубрикой, так как это сильно ограничит вас и усложнит задачу. Выберите одну основную рубрику и 3-4 смежных. Через несколько месяцев можно проанализировать по комментариям, посещаемости, времени проведенному на странице записи или другим индикаторам какие рубрики наиболее интересны посетителям и, возможно, что-то пересмотреть в рубриках.

Не ограничивайтесь текстом. Статьи всегда приятнее читать, если они разбавлены изображениями или видео файлами.

Для тех кто с английским на «ты» рекомендую посмотреть видео Яро Старка. Это австралийский блогер, который известен тем что при помощи своего блога менее чем за год заработал миллион долларов. На видео он выступает с презентацией того как работать с блогом и как создавать качественный контент. Сразу скажу, что не являюсь его фанатом, более того, верю далеко не всему что он рассказывает, но некоторые вещи он говорит действительно толковые. Запись опубликована в начале 2013 года, но посмотреть будет очень полезно и сегодня.





Как добавить сайт или страницу в индекс поисковых систем Яндекс и Гугл

Сегодня поговорим о том что такое индексация и зачем она нужна. Если коротко, то индексация — это результат посещения новой страницы роботом поисковых систем. Для любителей сухой терминологии приведу цитату из википедии:

Индексирование в поисковых системах (веб-индексирование) — процесс добавления сведений (о сайте) роботом поисковой машины в базу данных, впоследствии использующуюся для (полнотекстового) поиска информации на проиндексированных сайтах.

Что такое индексация в поисковых системах

Индексирование в поисковых системах
Допустим вы создали сайт и выложили его в интернет на всеобщее обозрение в надежде что теперь его увидят сотни или тысячи пользователей. Не увидят, точнее увидят только те, кому вы сами расскажете о сайте или дадите прямую ссылку. Но как сделать так, чтобы ваш сайт могли найти те люди, которые не знают о его существовании, но они пользуются Яндексом или Гуглом и ищут информацию, вводя обычные запросы. Поисковые системы имеют свою базу сайтов, в которой ищут ответы на запросы пользователей и выдают им результаты, отсортировывая их по релевантности, то есть определяют какой сайт или страница наиболее четко отвечают на запрос и показывают ее в поисковой выдаче. Так вот индексация — это попадание вашего сайта в эту самую базу, из которой в дальнейшем и будет проводиться отбор результатов и строиться поисковая выдача. Чтобы ваш сайт попал в такую базу его должен посетить специальный робот от каждой поисковой системы.



Как работают поисковые роботы

Поисковых роботов очень много, каждый выполняет определенную задачу. Например один определяет какой код возвращает сайт, другой индексирует rss-ленту, третий занимается индексированием изображений и т.д. Но сегодня я расскажу про главного робота поисковых систем, целью которого является индексация новых сайтов и страниц. Как же он работает? Этого робота часто называют пауком. Паук постоянно ползает по сети Интернет и переходит по ссылкам. Так, в какой-то момент он наткнется на ссылку, ведущую на ваш сайт, а когда перейдет по ней на ваш сайт, пойдет по ссылкам внутри самого сайта, перебирая все страницы. Эти страницы он сохраняет в специальном виде на своем сервере. То есть можно сказать, что если паук посетил страницу и сохранил ее у себя на сервере, эти страницы являются проиндексированными.

Как проверить сайт или страницу на индексирование в Яндексе или Гугле

Вы можете легко проверить любую страницу на индексацию. Команда для проверки в обоих поисковиках идентичная. Просто введите запрос в поисковой строке следующего вида:

site:example.com/page/

На примере моего сайта запрос может выглядеть так:

site:vash-webmaster.ru/services/websites-development/

Результатом, говорящим об успешной индексации вашей страницы, будет отображения информации о странице и ссылки в результате поисковой выдаче. Также вы увидите надпись о количестве найденных результатов. Выглядит это так:

Проверка индексации страницы

Если количество результатов оказалось равным нулю и результаты поисковой выдачи пустые, значит ваша страница еще не проиндексирована.



Для проверки проиндексирована ли хотя бы одна страница вашего сайта просто введите запрос вида:

site:example.com

Если ваш сайт проиндексирован, в поисковой выдаче появится хотя бы одна страница:

Проверка индексации сайта

Переиндексация

Как несложно догадаться, переиндексация — это повторные заходы поисковыми роботами на ваш сайт или страницу, записывание содержимого поверх старой информации, хранящейся на серверах поисковой системы, то есть ее актуализация. В одном из следующих постов расскажу как можно ускорить переиндексацию, чтобы информация поскорее попала в индекс поисковых систем.

Как добавить сайт в поисковые системы

Добавление или, как многие пользователи ошибочно говорят, регистрация сайта в гугле/яндексе не займет у вас более минуты времени. Чтобы добавить сайт в поисковики Яндекс и Гугл давайте убедимся, что у вас есть учетная запись в google webmasters и Яндекс вебмастер. Если нет, создаем их. Затем, чтобы добавить новый сайт в индекс гугла и яндекса идем в аддурилки (add url) этих поисковиков.

Теперь роботы этих поисковых систем придут на ваш сайт гораздо быстрее, чем если бы вы не сообщили о новом сайте. Стоит отметить, что индексация сайта в Гугле в несколько раз быстрее, чем индексация в Яндексе, поэтому не удивляйтесь, если ваш сайт появится в индексе Гугла через 2-3 дня, а в индексе Яндекса — через 2-3 недели. Стоит отметить, что индексация сайта в Яндексе может быть ускорена за счет размещения ссылок на хорошо индексируемых сайтах-донорах.

О том как добавлять отдельные страницы в индекс поисковых систем и как ускорять индексацию читайте здесь.

1 2