Как проиндексировать сайт или страницу в поисковых системах

В одной из прошлых записей я уже рассказывал как добавить новый сайт в индекс поисковых систем Яндекс и Гугл. Сегодня я опишу некоторые моменты, которые помогут ускорить индексацию новых страниц вашего сайта. Но для начала напомню что такое индексация и для чего она нужна.

Индексирование в поисковых системах (веб-индексирование) — процесс добавления сведений (о сайте) роботом поисковой машины в базу данных, впоследствии использующуюся для (полнотекстового) поиска информации на проиндексированных сайтах.

Википедия

Нетрудно догадаться, что если поисковик не знает ничего о вашем сайте, то и пользователя поисковиков о вашем сайте так же ничего не узнают. С новыми страницами немного по-другому. Любая страница, которая появится на вашем сайте рано или поздно проиндексируется (если вы конечно не запретили индексацию принудительно). Но это может занять много времени, особенно если ваш сайт молодой.

Допустим, вы ведете блок и вот у вас появилась новая запись. Многие не уделяют должного внимания новым страницам, а следовало бы. Конечно, если это блог с посещаемостью в несколько тысяч человек в день, это действительно не так уж и актуально. Ведь из этих 1000 человек наверняка кто-то да поставит на вас ссылку на другом ресурсе, затем эта ссылка проиндексируется поисковиками и новая страница попадет в индекс Гугла и Яндекса. Но даже такой путь займет какое-то время. Но если ваш блог свежий и еще не успел обзавестись своей постоянной аудиторией будет полезно ускорить индексацию новой страницы.



Как ускорить индексацию страницы в Гугле

Будем надеяться, что вам уже знаком инструмент от Гугл для вебмастеров — http://www.google.ru/webmasters/, если нет, то вот здесь я подробно его рассматриваю. Это очень полезный инструмент, который, при должном использовании, значительно улучшит ваш сайт.

Итак, выполняем следующее:

1. Авторизуемся

2. Выбираем нужный сайт, страницу которого будем индексировать

3. В левом меню выбираем пункт «Сканирование»

Как проиндексировать сайт

4. Выбираем пункт меню «Просмотреть как Googlebot»

Как ускорить индексацию страницы в Гугле

5. Вводим в текстовое поле адрес добавленной страницы и жмем кнопку «Сканировать»

Как ускорить индексацию страницы в Гугле

6. Новая страница появится в списке страниц сверху, жмем кнопку «Добавить в индекс»

Как ускорить индексацию страницы в Гугле

7. Появится диалоговое окно

Как ускорить индексацию страницы в Гугле

8. В диалоговом окне выбираем первый пункт и нажимаем кнопку «Отправить»

Как ускорить индексацию страницы в Гугле

9. В место кнопки «Добавить в индекс» теперь вы увидите фразу «URL отправлен для индексирования»

google-webmaster-indeksacia7

Это все, теперь ваша страница окажется в индексе гугла очень скоро. Время, через которое страница оказывается в индексе всегда разное. От нескольких секунд до нескольких часов.

Как ускорить индексацию страницы в Яндексе

У Яндекса нет функции добавления отдельных страниц как у гугла. Тем не менее есть способы ускорить индексацию и в Яндексе.

1. Первое что необходимо сделать — это зарегистрироваться, а затем авторизоваться в инструменте для вебмастеров от Яндекса — Яндекс.Вебмастер, для этого переходим по ссылке: https://webmaster.yandex.ru.

2. Добавим в ваш файл с картой сайта sitemap.xml вашу новую страницу.

3. В кабинете Яндекс.Вебмастер выбираем нужный сайт из списка добавленных сайтов (если сайт еще не добавлен, добавляем его).

4. Выбираем раздел «Настройка индексирования», далее подраздел «Файлы Sitemap» и указываем ссылку на ваш файл, выложенный у вас же на сайте.

5. Нажимаем кнопку «Добавить» и ваш сайт встает в очередь на добавление. Через несколько дней робот Яндекса перейдет по всем ссылкам из этого файла.

Это все что можно сделать для ускорения индексации с помощью Яндекс.Вебмастер. Но есть еще один хороший способ проиндексировать вашу новую страницу. Это публикация ссылки в твиттере, особенно хорошо если аккаунт популярный. Для этого можно прокачивать аккаунты самостоятельно, а можно покупать посты в прокаченных аккаунтах или даже сами аккаунту. Покупка поста стоит дешево, поэтому это самый простой способ быстро загнать страницу в поиск. Средняя стоимость поста в хорошем аккаунте, который регулярно индексируется Яндексом 10-20 руб.

Всегда оценивайте насколько вам необходимо срочное добавление поста в индекс Яндекса. Если результат нужен что называется вчера, то используйте оба этих метода. Если спешки нет, то первого метода вполне достаточно.

Не стоит также забывать, что индексацию страницы может ускорить любая ссылка на вашу статью с другого сайта, который регулярно индексируется Яндексом. А также ссылки с других страниц вашего сайта, особенно с главной.

Итоги. Что поможет ускорить индексацию

  • Добавление новой страницы в файл sitemap.xml, размещенный в корне вашего сайта и обновите его в инструменте Google Webmasters и Яндекс.Вебмастер.
  • Размещение ссылок на новые страницы с других страниц вашего сайта.
  • Размещение ссылок на новые страницы на популярных внешних ресурсах (форумы, блоги, страницы социальных сетей). Можно попросить друзей разместить временную ссылку на новую страницу на их сайте.
  • Добавление ссылки в социальных сетях, например на своей странице. Особенно хорошо в этом плане работает твиттер. Эта социальная сеть очень часто индексируется поисковиками, особенно гуглом.

Разработка сайта: 8 шагов до готового продукта

Разработка сайта: 8 шаговСегодня опишу процесс разработки сайта. Использую его для создания практически любого сайта. Всего 8 шагов до готового продукта. Вот они:

  1. Сбор информации для написания технического задания;
  2. Расчет стоимости и сроков, написание и утверждение технического задания;
  3. Заключение договора, предоплата 50%;
  4. Отрисовка дизайн-макета;
  5. Верстка дизайн-макета;
  6. Установка CMS и подключение сверстанного дизайн макета;
  7. Наполнение сайта контентом;
  8. Тестирование и запуск на нужном домене.

Теперь обо всем подробнее

1. Сбор информации для написания технического задания

Для того чтобы написать техническое задание необходимо получить от заказчика информацию о том какой сайт ему нужен. Какой дизайн он бы хотел видеть, пожелания к цветовой гамме, каким функционалом должен обладать сайт и что необходимо предусмотреть в CMS. Обязательно составить карту сайта, она же будет добавлена к техническому заданию. Я использую для этого специальный опросный лист. В нем всего несколько вопросов:

  • Логотип, слоган, цветовые предпочтения, наличие кнопок социальных сетей.
  • Сфера деятельности компании, миссия, тип рынка. Опишите максимально подробно чем занимается компания. Если есть готовый контент для сайта, присылайте его.
  • Опишите какие блоки вы хотите видеть на главной странице (новости, анонсы, слайдер, отзывы, акции и т.д.)
  • Напишите структуру страниц для сайта (карта сайта).
  • Опишите каким функционалом должен обладать сайт (мультиязычность, поиск по сайту, фотогалереи, rss лента, калькуляторы и т.д.)
  • Ссылки на понравившиеся сайты. Напишите что именно понравилось.
  • Ссылки на сайты конкурентов.



2. Расчет стоимости и сроков, написание и утверждение технического задания

Получив все необходимые данные я перехожу к следующему этапу. По полученным данным я смогу понять насколько сложным будет сайт с точки зрения программирования, сколько будет стоить работа и сколько потребуется время на выполнение работы. Если цена и сроки устраивают заказчика, я пишу техническое задание и отправляю его на согласование. Если есть замечания — вносим их, если нет — утверждаем ТЗ.

3. Заключение договора, предоплата 50%

Обычно к заключению договора я прибегаю при заказе сложных, дорогих сайтов (от 50 000 р.). Если требуется разработать простейший сайт визитку, просто не хочется тратить время на бюрократические процедуры, составлять договор, выписывать счета, акты, ездить обмениваться документами и т.д. Кроме того, при заключении договора оплата будет производиться по безналу, поэтому стоимость работ увеличится на 10%.

4. Отрисовка дизайн-макета или эскиза

Переходим к дизайну. Я или мой дизайнер отрисовываем дизайн-макет. Заказчик вносит необходимые корректировки пока его не устроит внешний вид сайта. Если все устраивает макет подготавливается к верстке. С этого момента вносить изменения в дизайн будет нельзя.

5. Верстка дизайн-макета

Верстка сайта — пожалуй самый быстрый из всех шагов, не считая тестирования. Верстка занимает от 1 до 5 дней, в зависимости от сложности дизайн-макета. Сверстанный сайт выкладывается на тестовую площадку и показывается заказчику.

6. Установка CMS и подключение сверстанного дизайн макета

Если замечаний по верстке нет, я перехожу к установке CMS и программированию отдельных модулей (если они не предусмотрены CMS). Настройка всех модулей, карты сайта, создание структуры сайта согласно ТЗ.

7. Наполнение сайта контентом

Наполнение сайта предоставленным контентом (до 20 000 знаков бесплатно).

8. Тестирование и запуск на домене заказчика

Сайт тестируется на тестовой площадке. Если все работает должным образом, сайт переносится на домен заказчика.

Вот такая простая схема разработки сайта.

Контент для блога

Нет ничего лучше чем естественный авторский контент, а не проплаченный рерайт с целью налить воды и заработать денежку. Поэтому качественный контент так дорого стоит. Ведь когда автор пишет с желанием о своем любимом деле, в котором он хоть и сам, но может считать себя экспертом, зачастую получаются просто отличные тексты. Хотите качественный контент? Пишите сами про то, в чем хорошо разбираетесь или наймите того, кто разбирается в нужной для вас теме.

Пиши интересно. Тексты, написанные только ради того чтобы они были написаны выделятся сразу. И такие тексты почти никогда не дочитывают до конца — они просто не несут никакой полезной информации для читателя. Посетитель уйдет, ваши поведенческие факторы просядут, сайт быстро потеряет позиции в поисковой выдаче. Если у вас свой блог, пишите про то что вам интересно, про то, в чем вы разбираетесь лучше всего. Если нужно написать статью на незнакомую вам тему, изучите материал или наймите или попросите того, кто в этом силен.



Можешь? Пиши! Если у вас есть желание писать — пишите. Бывают монеты когда надо писать интересные, информативные тексты, но желания никакого нет. Причин может быть масса: от плохого самочувствия, до творческого тупика, когда не можешь выдавить из себя ни буквы. Бороться с этим тяжело, но лекарство есть: пишите всегда, когда есть желание. Где бы вы ни находились, пишите или фиксируйте мысли, которые появляются у вас в голове. Если вы едете за рулем, очень полезно иметь под рукой диктофон (сейчас диктофоны есть в любых телефонах). Фиксируйте мысли, а когда доберетесь до компьютера — запишите их.

Пиши вперед. Другими словами — планируйте свои записи заранее. Сейчас, когда я пишу эту статью, я знаю о чем будут следующие 7 постов и когда они будут опубликованы. Все идет по графику и все зафиксировано в календаре. Если появится что-то более актуальное я просто сдвину запланированные записи вперед и добавлю нужную в срочном порядке. Поскольку я смотрю минимум на месяц вперед, у меня есть много времени чтобы корректировать будущие записи, дорабатывать их, доводить до ума.

Ведите несколько рубрик. Не ограничивайтесь одно рубрикой, так как это сильно ограничит вас и усложнит задачу. Выберите одну основную рубрику и 3-4 смежных. Через несколько месяцев можно проанализировать по комментариям, посещаемости, времени проведенному на странице записи или другим индикаторам какие рубрики наиболее интересны посетителям и, возможно, что-то пересмотреть в рубриках.

Не ограничивайтесь текстом. Статьи всегда приятнее читать, если они разбавлены изображениями или видео файлами.

Для тех кто с английским на «ты» рекомендую посмотреть видео Яро Старка. Это австралийский блогер, который известен тем что при помощи своего блога менее чем за год заработал миллион долларов. На видео он выступает с презентацией того как работать с блогом и как создавать качественный контент. Сразу скажу, что не являюсь его фанатом, более того, верю далеко не всему что он рассказывает, но некоторые вещи он говорит действительно толковые. Запись опубликована в начале 2013 года, но посмотреть будет очень полезно и сегодня.





Фриланс-биржи убивают фрилансера

Фриланс-биржи убивают фрилансераНе смотря на то, что я являюсь фрилансером, я не сижу ни на российских фриланс-биржах, ни на западных. Да, аккаунты у меня есть на 5-6 таких самых популярных сайтах, но необходимости в поиске заказов нет. За многие годы профессиональной деятельности веб-разработчика я сделал несколько проектов, которые и обеспечивают меня заказами последние 5-6 лет. Те кто еще не знает про какие проекты я говорю могут последить за этой рубрикой. В ней я буду рассказывать о своих успешных проектах. Успешный проект в моем понимании — это проект, который принес мне ощутимый доход. Сегодня я расскажу почему любая фриланс биржа — это убийца среднестатистического фрилансера.

Если читатель этой статьи является фрилансером, то пожалуйста ответьте на вопрос «Сколько денег вы заработали на проектах, полученных с фриланс-бирж?». Не забудьте вычесть из этой суммы деньги потраченные на покупку платных аккаунтов, рекламы своей страницы на других страницах этих же бирж, на платный подъем в каталогах, на покупку коннектов для размещения предложений и т.д. (нужное подчеркнуть). Возможно, информация о потраченных деньгах доступна в вашем аккаунте.



А сколько времени у вас ушло на попытки заполучить заказ. Ведь конкуренция нешуточная, особенно если говорить про западные сайты. На них, как правило, 90% всех заказов получают крупные компании, работающие под индийскими флагами. Хозяева этих компаний совсем не индусы, как правило американцы, а под ними тысячи сотрудников, работающих чуть ли не за еду в той же Индии или Пакистане. Поэтому если вы готовы выполнить работу, ну скажем, сверстать сайт за $30, то товарищ, под ником «Bla bla Indian Inc.» поставит цены в $5-$10, а поскольку на его счете уже 10 000 выполненных проектов (ведь это просто менагер, который получает заказ и передает исполнителю в той же фирме), выберут очевидно его, а вы останетесь не у дел.

Не стоит забывать про комиссию, которую берет биржа за обеспечение безопасной сделки. А иногда вы обязаны заплатить комиссию просто за то что клиент выбрал именно вас в качестве исполнителя.

А как часто вы натыкались на недобросовестного заказчика, который за качественную работу ставит негативный отзыв, только потому что он неправильно составил техническое задание.

В свое время я через все это проходил и сделал для себя однозначный вывод. Те деньги и то время, которые я тратил на поиски заказов на биржах, куда правильнее было бы вложить в свои проекты, которые через какое-то время, пусть даже через год или два, начнут приводить заказчиков сами. Так и появился первый проект — «Веб-студия «Вебарти», а затем и еще несколько, о которых буду писать позднее. Я не фрилансер-самоубийца и не зависаю на биржах, я управляю проектами и командой. Но и при этом сам активно принимаю участие в проектах. Это намного интереснее, прибыльнее и оставляет больше свободного времени.

Как добавить сайт или страницу в индекс поисковых систем Яндекс и Гугл

Сегодня поговорим о том что такое индексация и зачем она нужна. Если коротко, то индексация — это результат посещения новой страницы роботом поисковых систем. Для любителей сухой терминологии приведу цитату из википедии:

Индексирование в поисковых системах (веб-индексирование) — процесс добавления сведений (о сайте) роботом поисковой машины в базу данных, впоследствии использующуюся для (полнотекстового) поиска информации на проиндексированных сайтах.

Что такое индексация в поисковых системах

Индексирование в поисковых системах
Допустим вы создали сайт и выложили его в интернет на всеобщее обозрение в надежде что теперь его увидят сотни или тысячи пользователей. Не увидят, точнее увидят только те, кому вы сами расскажете о сайте или дадите прямую ссылку. Но как сделать так, чтобы ваш сайт могли найти те люди, которые не знают о его существовании, но они пользуются Яндексом или Гуглом и ищут информацию, вводя обычные запросы. Поисковые системы имеют свою базу сайтов, в которой ищут ответы на запросы пользователей и выдают им результаты, отсортировывая их по релевантности, то есть определяют какой сайт или страница наиболее четко отвечают на запрос и показывают ее в поисковой выдаче. Так вот индексация — это попадание вашего сайта в эту самую базу, из которой в дальнейшем и будет проводиться отбор результатов и строиться поисковая выдача. Чтобы ваш сайт попал в такую базу его должен посетить специальный робот от каждой поисковой системы.



Как работают поисковые роботы

Поисковых роботов очень много, каждый выполняет определенную задачу. Например один определяет какой код возвращает сайт, другой индексирует rss-ленту, третий занимается индексированием изображений и т.д. Но сегодня я расскажу про главного робота поисковых систем, целью которого является индексация новых сайтов и страниц. Как же он работает? Этого робота часто называют пауком. Паук постоянно ползает по сети Интернет и переходит по ссылкам. Так, в какой-то момент он наткнется на ссылку, ведущую на ваш сайт, а когда перейдет по ней на ваш сайт, пойдет по ссылкам внутри самого сайта, перебирая все страницы. Эти страницы он сохраняет в специальном виде на своем сервере. То есть можно сказать, что если паук посетил страницу и сохранил ее у себя на сервере, эти страницы являются проиндексированными.

Как проверить сайт или страницу на индексирование в Яндексе или Гугле

Вы можете легко проверить любую страницу на индексацию. Команда для проверки в обоих поисковиках идентичная. Просто введите запрос в поисковой строке следующего вида:

site:example.com/page/

На примере моего сайта запрос может выглядеть так:

site:vash-webmaster.ru/services/websites-development/

Результатом, говорящим об успешной индексации вашей страницы, будет отображения информации о странице и ссылки в результате поисковой выдаче. Также вы увидите надпись о количестве найденных результатов. Выглядит это так:

Проверка индексации страницы

Если количество результатов оказалось равным нулю и результаты поисковой выдачи пустые, значит ваша страница еще не проиндексирована.



Для проверки проиндексирована ли хотя бы одна страница вашего сайта просто введите запрос вида:

site:example.com

Если ваш сайт проиндексирован, в поисковой выдаче появится хотя бы одна страница:

Проверка индексации сайта

Переиндексация

Как несложно догадаться, переиндексация — это повторные заходы поисковыми роботами на ваш сайт или страницу, записывание содержимого поверх старой информации, хранящейся на серверах поисковой системы, то есть ее актуализация. В одном из следующих постов расскажу как можно ускорить переиндексацию, чтобы информация поскорее попала в индекс поисковых систем.

Как добавить сайт в поисковые системы

Добавление или, как многие пользователи ошибочно говорят, регистрация сайта в гугле/яндексе не займет у вас более минуты времени. Чтобы добавить сайт в поисковики Яндекс и Гугл давайте убедимся, что у вас есть учетная запись в google webmasters и Яндекс вебмастер. Если нет, создаем их. Затем, чтобы добавить новый сайт в индекс гугла и яндекса идем в аддурилки (add url) этих поисковиков.

Теперь роботы этих поисковых систем придут на ваш сайт гораздо быстрее, чем если бы вы не сообщили о новом сайте. Стоит отметить, что индексация сайта в Гугле в несколько раз быстрее, чем индексация в Яндексе, поэтому не удивляйтесь, если ваш сайт появится в индексе Гугла через 2-3 дня, а в индексе Яндекса — через 2-3 недели. Стоит отметить, что индексация сайта в Яндексе может быть ускорена за счет размещения ссылок на хорошо индексируемых сайтах-донорах.

О том как добавлять отдельные страницы в индекс поисковых систем и как ускорять индексацию читайте здесь.

Веб-студия ‘Вебарти’

Сегодня буду вас знакомить с моим самым успешным на сегодняшний день проектом. Речь пойдет о моей веб-студии «Вебарти». Основана она была в декабре 2007 года, и с тех пор она исправно приносит доход. Никаких затрат кроме продления домена не требуется, чему я особенно рад. Расскажу о том, как пришла идея о создании студии, как появились первые клиенты и как удалось развить успех.

Как появилась идея

Веб-студия ВебартиИдея появилась тогда, когда я активно занимался фрилансом, поскольку денег, которые я зарабатывал на основной работе, катастрофически не хватало. Брался тогда практически за любые проекты, которые были связаны с разработкой и поддержкой несложных сайтов. Затем появились проекты, которые потребовали привлечения в помощь других фрилансеров, в частности дизайнера и копирайтера. Но оплату они получали не от заказчика, а от меня лично. Затем последовал еще заказ и еще, и я снова привлекал этих двух товарищей, потому что объемы были большие, а сроки постоянно поджимали. В итоге мы хорошо сработались и после успешного выполнения нескольких заказов средней сложности я решил выводить наше сотрудничество на новый уровень. Решение лежало на поверхности: создание виртуальной студии и предложение двум моим помощникам работать на меня. Я обеспечиваю их стабильно работой, а они делают мне существенную скидку на свои услуги. Так и договорились. Спустя пару месяцев был запущен сайт студии — webarty.ru. Виртуальность студии позволяла не тратить средства на аренду офиса, закупку техники и т.д. Да и дополнительная сложность заключалась в том, что я и мои помощники были из разных городов. Дизайнер из Екатеринбурга, копирайтер из Оренбурга, я же находился в Питере.



Первое время пришлось немного потратиться на контекстную рекламу, но это мероприятие быстро окупилось и привело еще нескольких клиентов, что обеспечило нас работой на несколько месяцев. У меня был свой дизайнер и копирайтер. Верстка, программирование, серверная поддержка, маркетинг и управление проектами — все было на мне. Через некоторое время у меня появился верстальщик, а еще чуть позже второй веб-дизайнер. Все мы плотно общались между собой и в таком составе проработали полтора года. Все шло хорошо и параллельно с заказами мы даже развивали другие проекты.

Спустя 8 лет

За 8 лет сайт 3 раза изменил внешний вид и не за горами очередное обновление. Сейчас средняя посещаемость 120 уникальных посетителей в сутки, сайт занимает высокие позиции в поисковой выдаче по многим запросам. За 8 лет разработано чуть более 100 сайтов, оказаны услуги в области поддержки и продвижения более чем для 150 сайтов. Сайт работает на специально разработанной для него CMS, которую постоянно улучшаю. Об этой CMS я расскажу позднее в этой же рубрике как об отдельном проекте.

Но хотелось расти и дальше и в 2009 году было решено оформить все юридически. Так появилось ООО «А-Сервис», в состав которой и по сей день входит веб-студия «Вебарти». Но это уже совсем другая история, о которой я когда-нибудь напишу.