Kitabı oxu: «Библия интернет-маркетолога»

© Текст, Барченков И., 2023

© ООО «Издательство «Эксмо», 2023

Отзывы

Я искренне радуюсь за будущих читателей этой книги, ведь автор – практик с впечатляющим портфелем в управлении интернет-продажами.

Digital-технологии развиваются ежеминутно, однако есть основы, без которых успешное и эффективное развитие бизнеса в online-среде – невозможно!

Особую ценность книги вижу для руководителей бизнеса, поставивших цель создать интернет-магазин или «навести порядок» на существующей online-площадке. По сути, это издание послужит чек-листом.

От себя хочу сказать «спасибо!» автору за интересный практический контент, сопровождающий каждую главу. Высоких online-продаж!

Анна Кубовская,

заместитель директора по вопросам развития, издательство «Эксмо»

В книге собран многолетний опыт одного из экспертов рекламного рынка, не только теория, но и практика, кейсы и советы. Грамотное управление интернет-рекламой – это не только настройка кампаний, но и построение аналитики, грамотный сплит каналов для большей эффективности. Важно считать, следить, управлять и накапливать опыт, как это делает Иван и его компания, помогая клиентам стать лидерами российского рынка.

Дмитрий Дворецкий,

директор по электронной коммерции Hoff

Эта книга не для SEO-специалистов, она не научит вас продвигать сайты. Но она полезна именно для маркетологов со стороны заказчика.

В ней вы познакомитесь с основной терминологией и со стратегией SEO крупными мазками, не вдаваясь в тонкости и технические детали. Я рекомендую ее для прочтения тем, кто нацелен на результат, несмотря на все трудности в развитии портала.

Также автор по полочкам разложил основные требования к развитию сайта, например, вы не будете удивляться, когда оптимизатор попросит на сайте разместить лицензии, а магазин добавил все свои филиалы на карты Google. Ведь, казалось бы, «сеошник» должен только ключевые слова по текстам размазывать, а нет. Поисковики задрали планку, и теперь специалисты помогают делать белый и живой продукт, а эта книга вас подготовит к долгому, но интересному пути выстраивания из вашего сайта лидера ниши.

Юрий Немцев,

независимый SEO-эксперт, предприниматель и частный инвестор

Отличная книга! Простым языком, по делу, без воды. Все описанное актуально и применимо сейчас, а это редкость для большинства существующей литературы. Подойдет начинающим маркетологам и специалистам со стажем. Рекомендую к прочтению.

Алексей Витальевич Каландаев,

директор по доходам, ГК ЛитРес

Великолепная работа автора, которая позволяет даже новичку разобраться в сложнейшей теме интернет-маркетинга. Просто и понятно подан материал, и это именно то, что нужно для формирования полноценного понимания и знаний, которые можно начать применять в бизнесе. Спасибо!

Константин Галкин,

директор по продажам, Centric Software

Вам одинаково повезло, будь вы начинающий маркетолог или профессионал с опытом. В первом случае в ваших руках исчерпывающая «дорожная карта» по освоению мира цифрового маркетинга. Во втором – можете освободить полки от уже купленных изданий по частным вопросам маркетинга (я знаю, у вас их много). Каждый из вас изрядно пополнит копилку идей и инсайтов, бэклог доработки сайта, обогатит свои планы. Все это, несомненно, ускорит ваш бизнес и усилит команду.

А вашим проводником и коучем будет большой профи с богатейшим опытом.

Успехов, коллега!

Яна Паршутина,

независимый digital-эксперт, Ex – CMO BUTIK, KUPIVIP GROUP, Head of Performance INGATE

Введение

Вы уже занимаетесь контекстной рекламой, поисковым продвижением, SMM и другими аспектами интернет-маркетинга, но хотите структурировать свои знания и выйти на следующий уровень? Или только решились освоить эту профессию? А может быть, вы руководитель интернет-проекта и стремитесь узнать, как эффективнее управлять подрядчиками и процессами в маркетинге?

Предположу, что ради достижения своей цели вы подписались на множество каналов в Telegram и YouTube, на целую кучу пабликов в различных социальных сетях и уже успели осознать, насколько информации много и как часто она меняется. В таком потоке и правда легко затонуть.

Появляется масса вопросов:

• как мне структурировать все накопленные знания?

• почему так сложно настроить сквозную аналитику?

• как понять, как один канал влияет на другой?

• как работают модели атрибуции и почему практически все используют только одну модель?

• как правильно настроить контекстную рекламу и может ли она окупиться сразу?

• как автоматизировать проверки рекламных кампаний и не тратить на это уйму времени?

• как автоматизировать отчетность и вдохнуть полной грудью?

• с какой стороны подходить к вопросам медиапланирования?

• как упростить себе жизнь, разобраться во всех аспектах интернет-маркетинга и стать настоящим профи?

Если хотя бы раз вы задавались одним из этих вопросов, то эта книга не зря попала вам в руки. Она поможет вам структурировать знания в интернет-маркетинге и заложит крепкий фундамент для построения карьеры в этой постоянно меняющейся отрасли.

Читая это, вы, вероятно, спрашиваете себя, почему вам стоит довериться именно мне. Ведь существует множество специализированных книг по различным темам, от настройки web-аналитики и поискового продвижения до брендинга и стратегического планирования.

Все дело в том, что каждое из подобных изданий рассчитано в большей степени на специалистов в узкой предметной области. Из-за этого такие книги не отвечают на вопросы о возникающих взаимосвязях между различными рекламными каналами коммуникаций. Они нацелены на тех, у кого уже есть существенный бэкграунд в интернет-маркетинге и ведении бизнеса в интернете.

Моя книга ставит перед собой задачу максимально простым языком объяснить, как все, что вы делаете в различных областях, связано между собой и влияет на конечный результат. Прочитав ее, вы сможете углубиться в любое направление интернет-рекламы настолько стремительно и легко, что многие вам позавидуют. А главное, вы сможете увидеть цельную картину происходящего в бизнесе так, как будто бы наблюдаете за живым организмом.

Подобно человеческому, он состоит из множества органов, каждый из которых выполняет целый набор функций. Если человек большую часть ресурсов тратит на потребление вредной, но вкусной пищи в больших объемах и не уделяет внимания физическим нагрузкам, то это приведет к проблемам с сердечно-сосудистой системой и избыточному весу. А может, «перекос» происходит в другую сторону: он посвящает все время физическим нагрузкам, но не расширяет свой кругозор и не учится ничему новому. Что толку от кучи мышц, если в голове будет пусто?

По тому же принципу работает любой бизнес в интернете.

Нельзя просто запустить поисковую рекламу и заработать деньги без детальной настройки систем аналитики и работы над конверсией сайта.

Нельзя заниматься только поисковым продвижением и не инвестировать средства в ремаркетинг, email-маркетинг и другие персонализированные каналы коммуникаций.

Нет абсолютно никакого смысла вкладывать десятки, а иногда и сотни тысяч рублей в консультации по вопросам вывода сайта в топ, если вы не готовы еще больше ресурсов инвестировать в модернизацию вашего сайта и создание контента.

Все функции бизнеса должны быть здоровыми и развитыми соразмерно друг другу. Только так он сможет развиваться и приносить больше денег, позволив собственнику наконец-то выйти из операционной деятельности и наслаждаться жизнью, а директору по маркетингу – расслабиться и заняться важными стратегическими вопросами и тестированием новых гипотез.

Говоря о бизнесе как о живом организме, я опираюсь на свой богатый опыт. Мне довелось заниматься различными аспектами маркетинга начиная с 2005 года, когда я, будучи студентом университета, сделал свой первый информационный сайт и вывел его на верхние позиции результатов поисковой выдачи «Яндекса» и Google. В последующем мне довелось поработать в WWF России в отделе индивидуального и корпоративного фандрайзинга, где я познакомился с деталями поведения пользователей в B2C и B2B сегментах, а также изучил самые хитрые аспекты работы с персонализацией, сегментацией клиентов в базах данных и цепочками рассылок, приобрел опыт Event-маркетинга. После мне посчастливилось стать частью команды коммерческого департамента «Яндекса» и отвечать за несколько отраслей, включающих телекоммуникацию, букинг, авиацию и фармацевтику. И наконец я влился в дружную команду рекламного агентства Medianation, которое специализируется на performance-маркетинге, медийных кампаниях, seo-продвижении, разработке и аналитике. А совсем недавно я и мои партнеры создали систему умного поиска товаров для интернет-магазинов SearchBooster.io, которой пользуются сотни проектов в России и за ее пределами.

На протяжении своей карьеры я изучал, как функционируют тысячи бизнесов, начиная от небольших салонов красоты, юридических компаний, интернет-магазинов и заканчивая такими гигантами, как «МТС», «Билайн», S7, «Петрович», «Евросеть», «ЛитРес», Hoff, «Связной Тревел», Gett, Epic Games и многими другим. Годы практики и консультаций сначала трансформировались в несколько учебных курсов для вузов, а потом в семинары при участии таких замечательных людей и специалистов своего дела, как Евгений Ливоский и Алексей Куличевский.

Эта книга представляет собой концентрат всех тех знаний и опыта, которые мне удалось получить за долгие годы практики. Она будет очень полезна каждому, кто начинает осваивать профессию интернет-маркетолога, хочет продвинуть себя или свой бизнес на следующий этап развития.

Я искренне верю в то, что после прочтения этой книги вы сможете стать успешнее!

Бизнеса без интернета нет

Если вашего бизнеса нет в интернете, то вас нет в бизнесе!

Билл Гейтс

Еще недавно каждый мог представить компанию или холдинг, у которых не было никакого присутствия в сети интернет. Но все стремительно меняется. И теперь сложно вообразить предприятие, работающее без собственного сайта.

Сегодня в интернете не только ищут информацию или покупают вещи. Большинство заказов такси делается через мобильные приложения. Записаться к врачу, оплатить кредит или предварительно оформить отправку посылки сейчас тоже проще через интернет. Если вы уехали в отпуск в другой город или страну и хотите перекусить, первое, что вы сделаете, – откроете поисковую программу, чтобы подобрать кафе или ресторан по нужным вам параметрам. Даже маленькие лавочки с готовой едой подключились к сервисам доставки и теперь передают часть заказов, которые получают через интернет, в курьерские службы.

Поэтому, если у вас есть фирма, но все еще нет сайта, или вы не знаете, как его использовать, чтобы привлекать больше клиентов, эта книга попала к вам вовремя. Дольше тянуть нельзя, потому что интернет сейчас повсюду. И, если говорить о России, количество людей, которые им пользуются, постоянно растет.

Перечислю базовые разделы, с которыми вы сталкиваетесь каждый день:

• поисковые системы. Две основные – «Яндекс» и Google – контролируют большую часть поискового трафика. Именно с поисковой системы начинается путь большинства пользователей. В поисковике легко найти любую информацию. Поэтому он незаменим в продвижении бизнеса: через него постоянно приходят новые клиенты. Именно с помощью поиска легче найти тех, кому интересно ваше предложение;

• информационные сайты различной направленности. Тематические блоги, специализированные порталы, небольшие онлайн-журналы – все вынуждены монетизировать трафик за счет показа рекламных объявлений посетителям. Для этого они подключаются к рекламным сетям, ведь содержать собственный отдел продаж затратно. Значительная часть подобных сайтов использует рекламную сеть «Яндекса» или контекстно-медийную сеть Google (далее – РСЯ и КМС соответственно);

• крупные информационно-развлекательные площадки. К ним относятся форумы, а также широко известные СМИ, которые тоже отдают часть трафика в РСЯ и КМС. Вместе с тем они продают рекламные площади за счет собственных ресурсов или подрядчиков;

• социальные сети. Наибольшее распространение в России получили «ВКонтакте», «Одноклассники», «Мой Мир», помимо запрещенных в России экстремистских организаций – Facebook, Instagram¹, Twitter;

• агрегаторы. Сервисы разной направленности, которые соединяют заказчиков и потребителей. Например, продажа товаров («Яндекс. Маркет», AliExpress и др.), бронирование отелей и билетов (Booking, Tutu.ru), доставка еды («Яндекс. Еда», Delivery Club) и прочие;

• видеосервисы. Платформы широкой направленности, явный лидер среди которых – YouTube, или узкоспециализированные, например популярный среди геймеров Twitch.

Существует множество различных групп сайтов и классификаций. Я расскажу лишь о тех, которые помогут вам создать проект и наладить продажи через интернет. Иначе эта книга разрастется до размеров «Большой советской энциклопедии».

Как часто вы берете книгу, начинаете читать и вдруг понимаете, что она не отвечает вашим потребностям? Возможно, информация подана слишком сложно, или, наоборот, все сказанное вам уже известно. Чтобы этого избежать, я постарался писать простым и понятным языком, так что начинающим не придется продираться сквозь дебри непонятных терминов. Но вместе с тем собрал максимум информации, чтобы и опытные пользователи нашли для себя нечто новое.

Наибольшую пользу, конечно, эта книга принесет тем, кто только заинтересовался интернет-маркетингом и делает первые неуверенные шаги в этой области:

• студентам;

• специалистам, проходящим переквалификацию;

• всем, кто задумывается об открытии бизнеса в интернете или выводе офлайн-бизнеса в интернет.

Книга поможет вам определить вектор дальнейшего развития и наглядно покажет взаимосвязи разных инструментов интернет-маркетинга и рекламы.

Но также она будет полезна:

• узкопрофильным специалистам в digital-маркетинге для расширения кругозора в новых для них областях;

• владельцам небольших бизнесов, генеральным и коммерческим директорам;

• директорам по маркетингу, которые преимущественно занимались офлайн-направлением.

Она сориентирует, как лучше подходить к вопросам взаимодействия с сотрудниками и подрядчиками, а также покажет, как по-разному оценивать инвестиции в интернет-маркетинг и выбирать приоритетные каналы продвижения.

Приготовьтесь пройти со мной весь путь: от создания сайта, его оптимизации и сбора аналитики до настройки рекламных кампаний и оценки их эффективности. Не стану утверждать, что после прочтения этой книги вы сможете работать SEO-специалистом или таргетологом. Однако разбираться в базовых терминах и понимать обязанности разных подрядчиков точно будете. Вы узнаете, как привлечь больше людей на свой сайт и где искать целевую аудиторию, готовую покупать у вас, научитесь отслеживать эффективность рекламных кампаний и оптимизировать затраты на продвижение в интернете.

Но не забывайте: многое в интернет-маркетинге основано на практике, поэтому настоятельно советую не просто читать книгу, но и стараться применять все, что узнали.

Часть 1
Первые шаги

Глава 1
Поисковые системы

Сегодняшнюю жизнь сложно вообразить без использования смартфона и интернета. Мы гуляем, проводим деловые встречи, едим, иногда даже засыпаем с телефоном в руках. Встречаются те, кто не расстается с ним даже в ванной. Наша жизнь стала неотделима от поиска информации в интернете и взаимодействия с другими людьми через глобальную сеть Интернет (рис. 1).

По данным аналитического сервиса «Яндекс. Радар», в России трафик распределяется по трем типам устройств: смартфоны, десктопы (настольные компьютеры) и планшеты. На долю пользователей мобильных устройств приходится 65,14 % всего трафика (рис. 1).

В современных условиях любой бизнес просто обязан присутствовать в интернете. Почему? Да потому что иначе его просто не найти. Как пользователи узнают, что бизнес, бренд или продукция вообще существует? Традиционно используются два способа:

1. Целенаправленный поиск, осуществляющийся самим пользователем.

2. Проведение рекламной кампании, оплачиваемой предприятием или бизнесменом.

Целенаправленный поиск. Пользователь заходит в поисковую систему «Яндекс» или Google² – они наиболее распространены в России (рис. 2). Здесь он может не просто найти информацию в текстовом виде, но также запустить поиск по картам, картинкам или видео, как в отдельных поисковых сервисах. Пользователь может найти ваш бизнес или по названию, или по общим фразам «ближайшее кафе», «страховая компания» и подобным.

Рис. 1. Динамика распределения трафика по типам устройств.

Источник: https://radar.yandex.ru/

Рис. 2. Динамика использования поисковых систем в России.

Проведение рекламной кампании. Пользователь видит рекламный баннер, заходя на главную страницу поисковой системы или любого сайта. Или же рекламную запись в своем аккаунте во «ВКонтакте», которая показывается ему для привлечения внимания.

Думаю, вам уже понятно: если не работать над улучшением позиций компании или бренда в поисковых системах, если не давать рекламу и не размещать объявления, то не видать бизнесу новых клиентов и роста продаж.

Ситуация с поисковыми системами в мире в целом и конкретно в нашей стране немного отличается, потому рассмотрим статистику отдельно.

Поисковые системы в России

На момент написания книги в стране были представлены несколько основных поисковых систем. Согласно данным «Яндекс. Радар»³, они занимали следующие доли:

• «Яндекс» – 56,51 %;

• Google – 39,88 %;

• Mail.ru – 2,09 %;

• Rambler – 0,2 %;

• остальные – 1,32 %.

Почему важно знать, какую долю занимает каждый из сервисов? Это дает понимание, где именно следует сосредоточить усилия для получения максимального количества клиентов.

Как видите, львиную долю поискового трафика сосредоточили в своих руках «Яндекс» и Google: суммарно – 96,39 %. Значит, именно за счет этих систем и нужно привлекать потенциальных русскоязычных пользователей.

Второй важный вывод, который можно сделать из статистики: далеко не все в России пользуются «Яндексом». Google занимает почти 40 % поискового трафика. Уверяю, многих этот факт до сих пор шокирует.

И третья мысль: некоторые пользователи одновременно пользуются разными поисковыми системами, а есть такие, кто предпочитает использовать только одну. Отсюда следует вывод: сосредоточиться на продвижении только в одной из поисковых систем – не лучший вариант. Это лишит вас некоторой, возможно, значительной части клиентов. И тех, кого не получите вы, заберут ваши конкуренты. Согласитесь, не самый приятный расклад.

Поисковые системы в мире

Рис. 3. Доля поискового трафика по странам в 2021 году.

Конечно, существует множество других поисковых систем, их доля сильно различается в зависимости от рассматриваемой страны. Оцените долю поискового трафика Google в мире (рис. 3) и обратите внимание, что он лидирует во многих странах. В России в 2021 году у этой системы было 48,78 %, а в 2022 году стало еще меньше⁴.

Вас может удивить, что данные «Яндекс. Радара» и Statista.com разнятся. Это обусловлено разными алгоритмами аналитики. Если собрать отчеты в третьей системе, получите третьи цифры. И только среднее арифметическое данных из нескольких отчетов даст примерное представление о реальном положении вещей. Не буду останавливаться на этом подробно, просто постарайтесь сразу запомнить: аналитику в интернете желательно получать из нескольких источников для большей достоверности.

Теперь посмотрите, как выглядит доля разных поисковиков в мире по данным Statista (рис. 4).

Рис. 4. Доля поисковых систем в мире.

Главенствует Google. Да, есть исключения, такие как Россия и Китай – в последнем преобладает Baidu. Но в масштабах международного бизнеса вы в первую очередь будете работать с Google.

Отсюда следует несколько интересных выводов об отличиях продвижения в России и, допустим, в США:

• при оптимизации сайта для работы с поисковыми системами на российском рынке придется учитывать требования не только Google, но и «Яндекса»;

• продвижение через Google в России отличается от продвижения в ЕС или США. Некоторые специалисты объясняют это так: Google использует Россию как тестовую площадку. Скажем, в Америке гораздо легче, чем в России, заработать санкции за ссылочное продвижение;

• для привлечения клиентов из стран СНГ⁵ понадобится запускать поисковую рекламу одновременно и в «Яндекс. Директе», и в Google Ads;

• вам также предстоит параллельно работать с дополнительными сервисами от Google и «Яндекса», например с картами, а также с «Яндекс. Бизнес» и Google Business⁶.

И это только вершина айсберга. В последние годы не только в России, но и в мире набирают популярность социальные сети. Через них строятся продажи, проводится позиционирование бренда и устраиваются рекламные акции. К сожалению, формат книги не позволит рассмотреть тонкости ведения бизнеса в социальных сетях. Зато вы узнаете о продвижении через поисковые и рекламные сети, а также об особенностях ремаркетинга и медийной рекламы. Но сначала вам понадобится сайт.

Глава 2
Открытие типичного проекта

Представьте, что вы открываете небольшой интернет-магазин. Это ваш первый проект. Естественно, его создание начинается с написания и подготовки бизнес-плана.

Многие начинающие предприниматели убеждены, что могут сделать все с наскока, без качественного планирования, при этом дешево и без вложений в маркетинг. Конечно, если они не растворяются на этом пути в океане проблем, то уж точно сталкиваются с морем сложностей и неясностей.

Планированием развития бизнеса нужно заниматься в первую очередь. Вам потребуется изучить, как конкуренты продвигают свои проекты в интернете, какую стратегию поискового продвижения и закупки трафика они выбрали, как взаимодействуют с аудиторией через социальные сети, блогеров и тому подобное.

Изучите спрос на ваш товар, узнайте, насколько он велик. Если его нет – выясните причины. Возможно, товар или услуга уже не пользуются спросом, так как появились более актуальные аналоги или, наоборот, спрос еще не сформировался. Тогда вам нужно вложить силы и средства в его создание.

Из каких глобальных моментов состоит процесс создания интернет-проекта?

1. Подготовка сайта:

• выбор и регистрация домена;

• разработка сайта, обязательно под контролем специалиста по поисковой оптимизации.

2. Аналитика и сбор данных:

• регистрация, настройка и установка систем web-аналитики;

• регистрация аккаунтов Google Ads, «Яндекс. Метрика», счетчика Mail.ru и установка их кодов ремаркетинга на ваш сайт.

3. Регистрация в системах «Яндекс. Вебмастер» и Google Webmasters.

4. Регистрация в аккаунтах «Яндекс. Бизнес» и Google My Business.

5. Подключение других рекламных кабинетов.

6. Интеграция сайта с CRM-системой⁷.

7. Построение системы сквозной аналитики.

8. Запуск рекламных кампаний.

9. Оптимизация маркетинга.

Теперь разберемся в этих вопросах подробнее. Некоторым из них будут посвящены отдельные главы этой книги.

Подготовка сайта

Открытие любого интернет-проекта начинается с создания пространства, в котором потенциальные клиенты смогут с вами взаимодействовать. Я уже упоминал – таким пространством необязательно должен быть сайт. Все больше начинающих предпринимателей отдают предпочтение группам или страницам в социальных сетях, например во «ВКонтакте» или в иностранных компаниях.

Если вы все же решили создавать сайт, выбирайте один из путей:

• воспользоваться облачным⁸ решением;

• установить систему управления сайтом Content Management System (CMS), бесплатную или коммерческую.

Создание сайта начинается с выбора его адреса, а точнее – домена.

Домен – текстовое название сайта, которое вы вводите в поисковой строке браузера.

Например: yandex.ru, google.com, vk.com – все это доменные адреса.

При этом www.yandex.ru считается доменом второго уровня для основного домена yandex.ru. По сути, это два разных адреса, на которых можно разместить совершенно разные сайты. Но рынок развивался таким образом, что практически всегда домены www.site.ru и site.ru настраивали так, чтобы один из них перенаправлял пользователей на другой. Такая автоматическая переадресация называется редирект.

Также следует настроить редирект с http:// на https:// и решить, будут ли все URL вашего сайта заканчиваться в конце символом «слеш» или нет.

Такое перенаправление тоже делается при помощи редиректов, о которых мы подробнее поговорим, когда начнем обсуждать вопросы поискового продвижения (SEO). А пример кода для настройки переадресаций вы найдете в Приложении 1.

Как выбрать и зарегистрировать домен

Безусловно, доменное имя играет существенную роль в успешности продвижения вашего бренда в сети. Выбирая домен, старайтесь подбирать короткие адреса, потому что они проще запоминаются и их легче набрать в строке браузера. При этом, конечно, стремитесь к совпадению названия компании и адреса сайта, например «Хлебный дом» и домен hlebnydom.ru.

Несколько лет назад появилась возможность регистрировать домены на кириллице, вида сайт. рф. Если: ваша целевая аудитория исключительно русскоязычная и вы не планируете выход на зарубежные рынки; визуальная составляющая важна для вашего бренда; в названии компании есть буквы, не присутствующие в латинском алфавите, без которых домен воспринимается неправильно, – во всех этих ситуациях лучше использовать имя на кириллице. Тем более в зоне рф больше шансов подобрать интересный домен. Поисковики их хорошо ранжируют, так как имена на латинице появились раньше и больше соответствуют алгоритмам поисковых систем.

Бывают случаи, когда вы пытаетесь зарегистрировать домен с уникальным брендовым именем, но он оказывается занят, и за него просят заплатить большую сумму. Такое сейчас действительно не редкость, существует даже профессия киберсквоттера⁹. Почему это происходит?

Представьте ситуацию. Вы давно производите зубную пасту под брендом Sweet Tooth и решаете создать сайт. Но вдруг оказывается, что все доменные адреса – sweettooth.ru, sweettooth.com, sweettooth.io и подобные – заняты. Они зарегистрированы на частное лицо, которое предлагает их купить за цену в разы выше стоимости их обычной регистрации. И это еще хорошо, если предлагает купить, а не сдать в длительную аренду.

Мне приходилось участвовать в сделках, где стоимость покупки домена достигала более 3 миллионов рублей. Если вам нужна помощь в поиске или покупке дорогого домена, смело обращайтесь ко мне.

Однако для запуска собственного проекта не рекомендую тратить много денег на покупку домена. Попробуйте подобрать доступное для регистрации доменное имя и оформите его на себя. Иногда приходится перебрать пару десятков вариантов, прежде чем отыщется подходящий и свободный.

Но даже если домен свободен, обязательно проверьте его историю через веб-архив, например https://web.archive.org/. Это важно сделать, чтобы избежать следующих возможных неприятностей:

• негативной тематики домена в прошлом. На свободном домене, который вы хотите зарегистрировать, ранее мог быть размещен сайт тематики, отличной от вашей, скажем торрент-трекер или сайт с пометкой 18+. Такое прошлое может негативно сказаться на продвижении вашего сайта;

• неподходящего срока существования домена. В целом, чем старше домен, тем лучше, однако современные поисковики начали сопоставлять возраст домена с контентом, который на нем был размещен. Нельзя утверждать, что это критически значимый параметр, но вкупе с остальными он может многое сказать о прошлом домена;

• наличия санкций на домен со стороны поисковых систем, некоторые из которых значительно мешают продвижению сайта.

И, конечно, нужно проверить домен на вирусы при помощи https://sitecheck.sucuri.net/.

Еще один важный момент: не нарушайте авторские права. Даже если вас на самом деле зовут Сергей Лазарев и вы хотите продавать обувь или металлоконструкции под своим именем, не называйте сайт sergeylazarev.ru или сергейлазарев. рф. Не думайте, что можно написать домен, изменив одну-две буквы, и жить спокойно. Это неизбежно приведет к судебным разбирательствам. Поэтому никогда не используйте чужую популярность и не ущемляйте интеллектуальную собственность на домены, зарегистрированные раньше. Другое дело, если вы обнаружили заброшенный сайт.

Есть такой термин – «дроп» – доменное имя, у которого закончился срок регистрации, но владелец не стал его продлевать. Причины могут быть разные, например, бизнес разорился, забыли продлить регистрацию или передумали поддерживать сайт. Иногда такие имена приносят хорошие бонусы. Скажем, домены с длительной историей существования поисковые системы воспринимают лояльнее, чем «новичков». Некоторые специалисты разыскивают такие брошенные доменные имена, на которых были интересные им сайты, через специальные сервисы, выкупают и через «Архиварикс» https://archivarix.com/ восстанавливают содержимое, чтобы в дальнейшем монетизировать.

Как зарегистрировать домен

Домен для вашего интернет-проекта можно зарегистрировать на многих площадках, которые предоставляют такую услугу. Но есть несколько нюансов, о которых нужно помнить.

Если вы создаете небольшой проект, смело регистрируйте домен лично на себя. Не делегируйте эту задачу другому человеку. Нередко возникают ситуации, когда партнер или бывший веб-мастер, с которым владелец разругался, оставляет домен себе. В результате хозяин домена и сайта теряет все, на что потратил немало времени и денег. Кроме того, оформление домена на себя, а не на юридическое лицо позволяет сохранить его в случае банкротства компании.

Но если вы делаете крупный интернет-проект, домен необходимо зарегистрировать непосредственно на организацию. Это пригодится, чтобы в дальнейшем получить государственное финансирование. Так, чтобы попасть в реестр отечественного программного обеспечения, домен должен быть зарегистрирован на юридическое лицо, с которого подается заявка. Иначе вы не получите соответствующие льготы.

Существует немало организаций, которые регистрируют доменные имена. Некоторые из них предоставляют полный комплекс услуг: и регистрацию домена, и место для размещения файлов сайта (хостинг), и программное обеспечение для его работы. Можете поинтересоваться у коллег, услугами каких компаний они пользуются. Единственное, на всякий случай проверьте аккредитацию регистратора в списке Координационного центра доменов, чтобы не попасться на мошеннические схемы. Я обычно оформляю домены через регистраторы Reg.ru или R01 (https://www.reg.ru/domain/new/ или https://r01.ru/ соответственно).

Приведу краткий алгоритм действий, чтобы вам легче дался путь к регистрации домена:

1. Придумать доменное имя.

2. Выяснить, свободно ли оно, через сервис whois.ru или whois.com.

3. Проверить, не внесено ли выбранное имя в Единый реестр Роскомнадзора.

4. Через сервис проверки товарных знаков убедиться, что домен не совпадает (полностью или частично) с защищенными наименованиями.

5. Проверить историю доменного имени.

6. Определиться с регистратором в зависимости от наличия аккредитации, перечня предлагаемых им услуг и цен.

7. Подать заявку на регистрацию доменного имени у выбранного регистратора.

Какую CMS выбрать

Предположим, вы подобрали домен и готовы открыть интернет-магазин. Следующий шаг – выбор и установка CMS. Все системы можно разделить по типам назначения и поддержки.

Классификация CMS по основному типу назначения:

• одностраничные сайты (лендинги);

• блоги;

• информационно-развлекательные порталы;

• интернет-магазины.

Классификация CMS по типу поддержки:

• самописные – поддерживаются одним/несколькими разработчиками либо вообще не поддерживаются;

• бесплатные – поддерживаются сообществами;

• коммерческие – поддерживаются компанией-создателем.

Сразу отмечу: для интернет-магазина подойдет любой из трех вариантов поддержки, в зависимости от вашего бюджета и требований.

Если проект не подразумевает огромного количества товаров в ассортименте, я рекомендовал бы обратить внимание на лицензию «1С-Битрикс». Это один из самых распространенных движков, поэтому вы легко найдете программиста или группу разработчиков, которые осуществляют поддержку подобных сайтов.

Из бесплатных решений вам может понравиться Wordpress с подключением специального плагина Woocommerce. Пожалуй, это одна из самых популярных связок в мире для небольших частных магазинов.

Какие ошибки чаще всего допускают на этом этапе предприниматели?

Первая и самая значительная ошибка: выбор неподходящей CMS. Например, сделать сайт магазина на системе для создания блога. Поэтому перед началом работ с сайтом нужно провести детальный анализ и определить, какая из существующих систем лучше решит ваши задачи. Для одного сайта лучше подойдет Tilda, для другого – Wordpress, есть поклонники Shopify¹⁰ или индивидуальных разработок.

Вторая ошибка: желание сделать красивый, а не функциональный магазин. Помните, что самое важное – чтобы сайт был удобным, интуитивно понятным для клиента. Иначе он там не задержится. К слову, решение о дальнейшем использовании сайта посетитель принимает в первые 30 секунд, максимум – пару минут. Если он не находит интересующий его товар или не понимает навигацию, то просто уходит на другой сайт, а вы теряете потенциального клиента. Поэтому нужно сначала предусмотреть весь набор функций, которые позволят сделать ваш магазин удобным, а уже потом думать, как их красиво реализовать.

Третья ошибка: пытаться экономить на первом этапе запуска сайта. Многие находят дешевых специалистов, эдаких мастеров на все руки. Но я бы не рекомендовал доверять минимальной цене и сомнительному опыту. Скупой платит дважды, помните?

Но главная проблема при создании интернет-проекта возникает, когда его делают непрофессионалы. И здесь всплывает множество нюансов.

Одни предприниматели идут к фрилансерам, другие обращаются в рекламные или веб-агентства. Но спустя некоторое время и тем и другим часто приходится тратить немало денег, времени и сил, чтобы переделать сайт под требования специалистов по поисковой оптимизации, которые иначе не смогут увеличить трафик и продажи.

Также масса ошибок совершается при работе с дизайнером. Особенно когда владелец сайта пытается придумать нечто свое, не желая брать готовый, оптимизированный дизайн интернет-магазина. Или хочет сэкономить, чтобы не заказывать дизайн и верстку у студии, которая улучшает свое решение от проекта к проекту. Чем чревата такая самодеятельность?

Неопытный дизайнер может плохо разбираться (или совсем не разбираться) в основах проектирования сайтов, основных принципах продвижения в интернете, психологии и поведении пользователей. От этого может пострадать удобство навигации и поиска товара, что приведет к снижению посещаемости и конверсии.

Далее, дизайнер может сделать некачественный макет в неподходящем формате, и специалист по верстке не сможет правильно сверстать проект.

Если вы решили пойти по пути создания уникального дизайна, нельзя экономить на веб-мастере, который сделает грамотную верстку, и работе фронтенд-программиста¹¹. От качества работы этих специалистов зависит весь функционал и скорость загрузки вашего сайта. Обычно, если сайт загружается дольше трех секунд, поисковики понижают его в рейтинге, а пользователи уходят, не дождавшись появления информации. Кроме того, опытные мастера избавят ваш сайт от «багов», которые могут обнаружиться в том или ином браузере.

Если у вас уже есть сайт, проверьте его валидатором от Google. Он оценивает все сайты по 100-балльной шкале, определяя их удобство для пользователей по категориям устройств, с которых они заходят: стационарных (компьютер, ноутбук) или мобильных (планшет, смартфон). Это разделение сделано не случайно, так как навигация и пропускная способность канала зависят от устройства.

Еще одна проблема, с которой можно столкнуться при создании сайта, связана с его технической стороной. Например, если он не будет оптимизирован с точки зрения количества запросов к базе, снизится скорость работы. Или код окажется написан так, что при смене рабочей команды будет проще сделать все с самого начала.

Конечно, это уже тонкости. Главное, что вам пока нужно понять как владельцу сайта, – поисковые машины, которые будут приводить на сайт основную часть трафика, предъявляют особые требования к качеству кода и оптимизации сайта. Проверка сайта происходит по ряду параметров, которые разберем во 2-ой части книги.

Поэтому важно подходить к разработке сайта со знанием дела:

• привлекайте специалистов по оптимизации еще на этапе подготовки технического задания, чтобы они сопровождали разработку и создание структуры – все, что коснется его работы в дальнейшем;

• не изобретайте велосипед – используйте проверенные технологии;

• особое внимание уделяйте удобству сайта, скорости его загрузки и качеству кода.

Важно помнить: при приеме проекта от разработчиков желательно, чтобы рейтинг каждой из страниц нового сайта, протестированной на вашем сервере, был больше 70–80. Для проверки рекомендую тестировать типовые страницы интернет-магазина:

• главная;

• результаты поиска;

• категория с большим количеством фильтров и товаров без применения фильтра;

• категория с большим количеством фильтров и товаров с применением фильтра;

• карточка товара;

• корзина.

Обратите внимание: когда вы заказываете сайт у фрилансера или в студии разработки, у них в договоре и типовом техническом задании (ТЗ) нет подобных требований. Поэтому при их добавлении вы можете столкнуться с увеличением стоимости работ по вашему проекту.

И последнее, что тоже придется учесть. Сроки разработки сайта сильно зависят от выбранного вами типа CMS, а также от варианта дизайнерского решения – готовый или разработка «с нуля». Некоторые проекты можно создать буквально за пару недель, а некоторые потребуют до полугода.

Глава 3
Важность мобильного трафика

В последние годы пользователи все активнее выходят в интернет с мобильных устройств. Помните рис. 1 из главы 1? В России больше 60 % трафика приходится именно на долю смартфонов, и эта цифра продолжает увеличиваться. Поисковые системы также стараются, чтобы пользователи могли качественно выходить в интернет с любого устройства. Конечно, не столько ради заботы о людях, сколько потому, что потеря пользователя равносильна потере денег за рекламу, за счет которой живут поисковые системы. Поэтому они давно разработали ряд условий, которым должны соответствовать любые сайты.

Почему требования для мобильных версий сайтов более строгие? Потому что мобильные устройства сильно отличаются от стационарных:

• меньшим размером экрана;

• меньшим объемом оперативной памяти;

• медленной скоростью соединения;

• другим типом ввода.

Если у вас нет качественной мобильной версии сайта, про поисковое продвижение можете забыть.

Все перечисленные особенности определяют технические требования и особую форму подачи контента, которые необходимы, чтобы сайт адекватно воспринимался на мобильных устройствах. Основные причины малого процента мобильного трафика на сайте или высоких показателей отказов пользователей:

• долгая загрузка страниц: адаптивные версии сайтов загружаются не дольше одной-двух секунд;

• непродуманный дизайн и некорректное отображение контента: если страницы не помещаются в маленький экран или кнопки меню «наезжают» одна на другую, посетители не будут разбираться, куда и как нажать, поэтому обязательно нужна подстройка дизайна сайта под портативные устройства;

• длинные, однообразные тексты: они и на компьютерах не каждым пользователем воспринимаются позитивно, а уж на мобильных устройствах тем более, поэтому стремитесь делить материалы на части и выдерживать структуру статьи, включать картинки и другие графические элементы;

• сложные формы заказа или обратной связи: чем меньше строк и обязательных данных в формах, тем лучше;

• ошибки 404: зачастую они возникают при попытке перехода на полную версию сайта.

Если вы хотите привлекать больше посетителей с мобильного трафика, потребуется вложиться в качественную проработку мобильной версии сайта. Существует три способа создать облегченную версию страницы: мобильный, адаптивный и динамический.

Мобильная версия – это индивидуальный шаблон, который размещается на поддомене вида m.sait.com, по факту – второй сайт. Он снабжается крупными кнопками, специальным выпадающим меню и содержит минимальный функционал. При желании пользователь может перейти на обычную версию сайта. Основное преимущество этого варианта – быстрая загрузка из-за отсутствия объемных данных. Но есть и недостатки. Во-первых, во время перехода чаще всего случаются сбои и ошибки, в результате пользователь уходит совсем. Во-вторых, мобильная версия выглядит слишком скучно и просто и не задерживает посетителей надолго.

Адаптивная версия – сайт остается прежним, но корректировки кода предусматривают автоматическую адаптацию всех его элементов под различные параметры экранов. К плюсам этого варианта относится более простая настройка редиректов, которые исключают дублирование контента. Для пользователей сайт на смартфоне будет выглядеть почти так же, как и обычная версия. Основные минусы – более длительная загрузка и не всегда адекватная подстройка контента или пунктов меню. Тем не менее сейчас большинство сайтов используют именно этот вариант.

Динамический показ – по сути, это вид адаптивной версии, только устроенный сложнее. Здесь задаются глубокие уровни форматов отображения элементов. При динамической технологии сначала определяется тип устройства, с которого зашел пользователь. И только потом система запускает наиболее соответствующий его характеристикам вариант кода. Это значит, что под каждый тип устройства создается индивидуальный макет. Сразу высвечиваются минусы – разрабатывать динамический показ долго и дорого, его поддержка также требует немалых усилий.

Какую бы версию вы ни выбрали, важно периодически проверять главную и ряд других страниц сайта через сервис Google PageSpeed Insights и вкладку «Проверка мобильных страниц» в «Яндекс. Вебмастер». Вы увидите, как изменяется показатель «качества». В идеале нужно стремиться к значениям выше 70–80.

К обязательным пунктам анализа версии сайта для мобильных устройств относятся:

• скорость загрузки на 2G/3G/4G;

• размер шрифта (не менее 12 px);

• видимость всех важных элементов на страницах;

• кликабельность ссылок и номеров телефонов;

• расстояние между интерактивными элементами (не менее 48 px);

• площадь текста по отношению к экрану прокрутки;

• размер и вес аудио, видео, изображений;

• наличие автозаполнения в полях форм.

Все эти факторы влияют не только на удобство использования сайта, но также на его ранжирование в поисковых системах, а значит, и на количество посетителей, и на их активность.

Часть 2
SEO-продвижение

Глава 1
Структура поисковой системы

SEO (Search Engine Optimization), а также SEO-продвижение или поисковая оптимизация – это набор действий, которые помогают увеличить «привлекательность» вашего интернет-ресурса в «глазах» поисковых систем. Это обязательный пункт при работе с сайтом, потому что от него зависит, сколько потенциальных клиентов привлечет ваш интернет-магазин.

Когда пользователь введет поисковый запрос – определенный набор слов – грамотно оптимизированный сайт окажется на более высоких позициях в результатах поиска, а значит, получит больше трафика с запроса. Добиться этого можно только двумя способами: оплатить рекламу (и в этом случае ссылка на ваш сайт будет отмечена специальным указанием) либо качественно проработать сайт.

Теперь давайте разбираться с основными понятиями, которые связаны с темой SEO.

Термин «поисковая система» всем знаком – это привычные каждому пользователю интернета «Яндекс», Google, Yahoo, Bing, Baidu и т. п.

Поисковый запрос – слово или словосочетание, которые пользователь вводит в поисковой строке поисковой системы. На рис. 5 «купить слона» – поисковый запрос пользователя.

Рис. 5. Пример поискового запроса пользователя.

Теперь рассмотрим структуру поисковой системы, с которой сталкивается любой человек, открывший поисковик (рис. 6).

Рис. 6. Структура выдачи поисковой системы.

Строка ввода поисковой системы – основное поле, в которое пользователь вводит поисковый запрос (слово, словосочетание).

Колдунщик – модуль, который отображается поисковой системой, чтобы пользователь мог решить свою задачу или получить ответ на запрос сразу в поисковой выдаче, не переходя на сторонние сайты. Так, на рис. 7 показан колдунщик «Яндекса» для работы с цветом.

Рис. 7. Колдунщик «Яндекса» для работы с цветом.

Попробуйте ввести в поисковой строке «Яндекса» название любого цвета. Вы увидите шикарнейший колдунщик, который, помимо самого оттенка, покажет его место в градиенте цветовой палитры, название запрошенного цвета, а также код цвета в одной из трех цветовых моделей (rgb, hex, hsv).

Конечно, в Google тоже есть колдунщики. Например, если ввести в строке поиска «y = x^2», система сразу визуализирует график функции (рис. 8). И у «Яндекса», и у Google масса вариантов колдунщиков. Некоторые из них есть в каждом поисковике, скажем курс валют или калькулятор, а некоторые только в одном, как цветовой подсказчик в «Яндексе».

Рис. 8. Колдунщик Google по построению графиков функций.

После колдунщика идет верхняя рекламная выдача. О ней, как и о нижней части выдачи, подробно поговорим позже, разбирая контекстную рекламу в 5-ой части книги.

Далее, самое важное в аспекте SEO-продвижения – органическая поисковая выдача. Она формируется алгоритмами поисковиков по множеству параметров и в первую очередь показывает контент, который максимально соответствует пользовательскому запросу.

На момент написания этих строк в «Яндексе» и Google блок органической выдачи состоял из 10 органических результатов поисковой выдачи (рис. 9). Именно сюда стремится попасть каждый сайт, и сделать это можно через правильное SEO.

Этот блок состоит из поисковых сниппетов – текстовых блоков, которые включают заголовок, адрес сайта и несколько строк вспомогательного текста (рис. 10). Клик по ссылке приводит пользователя на целевой сайт.

В поисковом продвижении сложилось отдельное направление – увеличение кликабельности¹² (CTR) поисковых сниппетов. Чем выше показатель CTR, тем больше трафика вы получите.

Рис. 10. Пример поискового сниппета.

Почему все это необходимо знать еще на этапе разработки сайта? Потому что запуск любого серьезного интернет-проекта начинается не с оформления или контентной части сайта, а с постановки задачи SEO-специалисту. Именно он проводит большую часть аналитической работы, результаты которой передаются разработчикам сайта.

Объяснение этому простое. Разработчики, за редким и приятным исключением, не разбираются в тонкостях поискового продвижения сайтов, так как это совершенно другая область знаний. В связи с этим я люблю проводить аналогию с врачами: кардиолог лишь поверхностно разбирается в вопросах эндокринологии и абсолютно не сведущ в вопросах неврологии. Так же, как и эндокринолог зачастую не вникает глубоко в кардиологию или неврологию.

Рис. 9. Скриншот органической поисковой выдачи в «Яндексе».

В интернет-маркетинге каждый специалист тоже решает свой спектр задач. Поэтому правильный путь разработки интернет-проекта выглядит так:

изучение рынка → изучение конкурентов и ниши → составление бизнес-плана → постановка задачи seo-специалисту → разработка технического задания по созданию сайта → разработка сайта.

Какие работы выполняет SEO-специалист

Итак, основная задача SEO-специалиста – продвижение сайтов в поисковых системах и вывод их в лидеры поисковой выдачи по соответствующим запросам. В идеале вы можете заказать у него ТЗ на разработку структуры сайта, а также сопровождение в формате арт-надзора.

Традиционно SEO-специалист выполняет примерно такие работы:

• анализ сайтов конкурентов;

• формирование перечня коммерческих факторов, необходимых для вашего сайта;

• составление списка слов и словосочетаний, отражающих тематику будущего сайта (семантическое ядро);

• разработка структуры сайта и типов страниц;

• разработка методов перелинковки на вашем сайте;

• прототипирование¹³ основных страниц;

• подготовка технических заданий на первоначальный контент;

• написание технических требований для кода страниц и сервера (при этом настройкой сервера должен заниматься системный администратор).

Специалисты по созданию сайтов (программисты, веб-мастера) не выполняют поисковое продвижение. Они не должны знать все нюансы этой темы. Их задача – сделать сайт по грамотному техническому заданию, в подготовке которого должен участвовать SEO-специалист.

Перед запуском любого сайта к процессу нужно подключить специалиста поискового продвижения, который разработает структуру проекта и пропишет требования к основным функциональным блокам и перечню коммерческих факторов. Не жалейте на это средств на старте – они многократно окупятся в будущем.

SEO-специалист отвечает за достижение двух целей:

• рост позиций сайта по конкретным запросам (рост видимости по ядру);

• повышение коэффициента кликабельности (CTR) поискового сниппета для увеличения объема трафика с поискового запроса (мощный поведенческий фактор).

За этими задачами скрывается огромное количество подзадач: от проектирования структуры сайта и разработки новых страниц до покупки ссылок, контроля написания контента и скорости загрузки страниц сайта. Все это позволит вам получать больше трафика с поисковой выдачи, что, безусловно, приведет к увеличению дохода вашего сайта.

Глава 2
Как управлять индексацией сайта

Чтобы поисковая система могла ответить на запросы пользователей, она должна найти нужные сайты, просканировать их содержимое и выдать наиболее подходящий результат. Задача поиска и сканирования сайтов лежит на плечах поисковых роботов (веб-краулеров). У Google и «Яндекса», как и у других поисковых систем, множество роботов, выполняющих разные функции.

Поисковый робот – это программа, которая «ходит» по сети и формирует список URL-адресов с различной информацией (поисковый индекс). После формирования этого списка в дело вступает индексирующий робот. Его цель – сканировать информацию, которая находится в том или ином документе, чтобы проверить ее на соответствие запросу пользователя. Затем поисковая система принимает решение, какой именно документ и на какой позиции выводить в ответ на запрос. Конечно, это сильно упрощенная схема, подробнее процесс индексирования описан на сайте «Яндекс» (ссылка на статью в Приложении 11).

Вы можете и должны управлять поисковыми роботами. Закрывать ненужные страницы от индексации, ограничивать лимиты на сканирование страниц роботами и т. п.

Обязательно нужно управлять поисковыми роботами. Закрывать служебные или нетематические страницы от индексации, например раздел администратора или персональные разделы пользователя на сайте, дубли страниц и пр. А также важно устанавливать лимиты на сканирование страниц роботами, если ваш сервер не справляется с нагрузкой.

Существует несколько базовых инструментов, с помощью которых можно влиять на процесс взаимодействия поискового робота с сайтом. Вот наиболее часто встречающиеся:

1. Файл robots.txt.

2. Файл sitemap.

3. Сервис «Яндекс. Вебмастер».

4. Сервис Google Webmaster.

5. HT TP-заголовок X-Robots-Tag¹⁴.

6. Метатег robots.

7. Тег canonical.

8. Метатеги noindex и noscript (правда, с ними сейчас мало кто работает).

Рассмотрим каждый из них, чтобы у вас сформировалось общее представление.

Файл robots.txt – текстовый файл, который создается в блокноте или текстовом редакторе. Размещается на каждом сайте в основном каталоге и открывается по ссылке вида site.ru/robots.txt. Попробуйте открыть любой сайт в сети, набрав адрес по образцу, только замените site.ru на конкретный. Например, https://vk.com/robots.txt или https://www.lamoda.ru/robots.txt.

Такой файл есть на любом ресурсе, независимо от его направленности или типа. Он отвечает за техническую сторону взаимодействия с поисковыми системами. В нем прописаны правила, на основе которых происходит индексация сайта. Внутри каждого подобного файла вы увидите строки кода, который от сайта к сайту немного отличается.

Для примера посмотрите на содержимое файла https://market.yandex.ru/robots.txt. На момент написания книги в нем были следующие строки:

User-agent: *

Disallow: /?

Disallow: /thanks

Disallow: /geo$

Disallow: /ai.xml

…часть информации удалена…

Disallow: /wishlist

User-agent: AdsBot-Google

Disallow: /offer/*

User-agent: AdsBot-Google-Mobile

Disallow: /offer/*

User-agent: Googlebot

Disallow: /?

Disallow: /thanks

Disallow: /geo$

Disallow: /ai.xml

…часть информации удалена…

Disallow: /version/node

Disallow: /wishlist

Clean-param: cmid&grade_value /shop-opinions.xml

Clean-param: cmid&grade_value /shop/

Clean-param: grade_value /product/

Clean-param: local-offers-first

Clean-param: onstock

…часть информации удалена…

Sitemap: https://market.yandex.ru/sitemap.xml

Host: https://market.yandex.ru

Документ делится на несколько смысловых частей за счет следующих директив:

• User-agent (принимает два значения – Disallow и Allow);

• Clean-param;

• Sitemap;

• Host.

Первая директива – User-agent* – указывает, для какого поискового робота предназначены правила, написанные под ней. А знак звездочки – что директива относится ко всем роботам.

Обратите внимание, в файле несколько директив с заголовком User-agent:

User-agent: AdsBot-Google

User-agent: AdsBot-Google-Mobile

User-agent: Googlebot¹⁵

Каждая из них содержит особый набор правил для указанных после двоеточия роботов. Хотя, конечно, на самом деле у Google роботов больше.

Под директивой User-agent располагается одна из директив: URL Disallow или Allow. Первая запрещает индексировать разделы и определенные страницы, а вторая, наоборот, разрешает.

Далее следует директива Clean-param, в которой перечислены параметры URL страницы, которые нужно игнорировать при индексации. К ним могут относиться как рекламные теги (UTM-метки), так и другие параметры, которые вы используете для своих целей.

Конкретно в этом примере нет директивы Crawl-delay. Она указывает временной интервал между загрузками страниц в секундах. Но ее можно часто увидеть в файлах robots.txt. Например, на сайте pleer.ru:

User-agent: Yandex

Disallow: /*?

Disallow: /*?_openstat

…часть информации удалена…

Crawl-delay: 2

Директива Crawl-delay задается в конце блока User-agent и применяется для контроля скорости обхода сайта каждым из роботов. Это важный параметр, который позволяет контролировать нагрузку на сервер. Если ваш сайт не выдерживает нагрузку от поисковых роботов, заниматься поисковым продвижением нет смысла. Вам обязательно нужен качественный хостинг с возможностью увеличить мощность и контроль нагрузки на сайт с вашей стороны.

Для «Яндекса» лучше использовать настройку скорости обхода сайта в интерфейсе «Яндекс. Вебмастер», поскольку с 2018 года поисковик игнорирует значение Crawl-delay, прописанное в robots.txt.

Далее следует директива Sitemap, указывающая путь к файлу, в котором содержится карта вашего сайта. В каком месте прописана эта директива, неважно, поскольку она не связана с User-agent.

В самом конце файла robots.txt принято указывать директиву Host с доменным адресом вашего сайта, точнее с его главным зеркалом.

Опытный SEO-специалист внимательно изучает структуру сайта и содержимое страниц, которые входят в индекс поисковой системы. Затем формирует корректный файл robots.txt, чтобы запретить поисковым роботам индексировать архивы, дублирующие страницы и прочий ненужный для поисковика контент. Например, нужно исключать из индексации страницы сортировки товаров (по цене, алфавиту и т. д.) в интернет-магазине.

Файл sitemap содержит информацию о структуре сайта, которую вы хотите передать в поисковую систему. Сюда относятся все основные и второстепенные страницы (новости, статьи, страницы товаров и каталога и т. д.). Также sitemap передает информацию о том, когда страница была создана, когда обновлялась, и ее версии на других языках.

Этот файл пишет вручную или формирует под конкретный сайт программист по техническому заданию от SEO-специалиста. Существуют, конечно, автоматические генераторы карты сайта, но не стоит на них полагаться.

К файлу sitemap применяется ряд технических ограничений на объем информации. Например, нельзя размещать более 50 000 строк. Если их больше, нужно делать несколько файлов и объединять их через корневой файл.

В первую очередь sitemap – это составная часть robots.txt, она загружается в приложения для веб-мастеров и в «Яндексе», и в Google.

Чтобы посмотреть пример такого файла, перейдите на сайт, который вам интересен, откройте файл robots.txt и в конце найдите ссылку на sitemap. Она будет выглядеть примерно так:

Sitemap: https://SITE.ru/sitemap.xml.

«Яндекс. Вебмастер» и Google Search Console – сервисы, которые помогают следить за жизнедеятельностью сайта, настраивать поисковую оптимизацию, устранять неполадки. Кроме того, они дают ценные подсказки, какие именно параметры необходимо исправить на сайте, чтобы повлиять на его ранжирование, позиции в поисковой выдаче и многое другое.

После создания сайта нужно зарегистрировать его в этих двух сервисах и связать «Яндекс. Вебмастер» с «Яндекс. Метрикой».

Затем вы сможете передать в поисковую систему базовую информацию о том, какой именно контент представлен на вашем сайте, а также содержимое sitemap, и проверить, как осуществляется индексирование сайта поисковой системой.

Следует понимать, что поисковые роботы так или иначе все равно найдут ваш сайт, если он будет развиваться в сети. Приложения веб-мастеров «Яндекса» и Google нужны скорее для мониторинга процессов индексирования. И через них удобно следить за ошибками, которые находят сервисы. Важно устранять их сразу, как только система о них сообщает, иначе это негативно скажется на рейтинге сайта и поисковой выдаче.

В «Яндекс. Вебмастер» вы можете передать информацию о направленности бизнеса в виде YML-файлов¹⁶. Это необязательно, но поможет привлечь больше посетителей на сайт. Опция доступна для некоторых категорий предпринимателей (рис. 11).

Рис. 11. Скриншот раздела «Яндекс. Вебмастер», через который можно передать дополнительную информацию.

Если ваш сайт региональный, не забудьте отметить это в «Яндекс. Вебмастер» и «Яндекс. Бизнес». А вот в Google эту информацию следует передавать через Google Business.

Также будет полезно отслеживать показатели эффективности в Google (рис. 12). График показывает, сколько всего кликов и показов было у вашего сайта, а также какой средний CTR и средняя позиция была у семантики¹⁷, по которой Google выводит сайт в результатах поисковой выдачи.

Рис. 12. Пример отчета по эффективности сайта в Google.

Обратите внимание: показатель CTR – относительный, он отражает процент пользователей, которые перешли по рекламной или органической ссылке на сайт, а не точное их число. На графике (рис. 12) можно увидеть, что в марте у сайта произошел резкий рост среднего CTR при неизменном количестве показов и незначительном росте позиции. Причины подобного изменения показателей могут быть разные, например:

• сайт предлагает сезонный товар, и потому активность на нем увеличивается в конкретный период;

• перемены в поведении пользователей, обусловленные маркетинговыми акциями;

• улучшение поискового сниппета;

• отладка параметров оптимизации.

Аналогичный отчет есть и в «Яндекс. Вебмастер» – в разделе «Поисковые запросы» на вкладке «Статистика запросов». Там же, в разделе «Индексирование», есть полезная вкладка «Мониторинг важных страниц». Добавляйте туда страницы, которые приносят вам больше всего трафика. Это позволит своевременно получать уведомления о критических изменениях, связанных с этими страницами, и быстро исправлять их.

Внимательно изучите все разделы «Яндекс. Вебмастер» и Google Search Console. Конечно, это потребует времени. Но правильные настройки всех разделов помогут эффективнее оптимизировать и продвигать сайт в поисковых системах.

Изучите вкладки «Запросы» в разделе «Эффективность» в Google Search Console и «Статистика запросов» в разделе «Поисковые запросы» в «Яндекс. Вебмастер». Эти страницы отражают часть запросов, по которым показывают сайт пользователям. Но главное – они покажут CTR этих запросов, а это крайне полезные данные. Опираясь на них, вы увидите, каким образом можно влиять на показатель кликабельности, чтобы существенно повысить объем поступающего на ваш ресурс трафика.

Метатег robots и HT TP-заголовок лучше рассматривать вместе. Потому что индексированием контента можно управлять на уровне страницы и даже конкретного текста на ней.

За настройку индексирования на уровне страницы отвечает HT TP-заголовок, а также метатег страницы; на уровене текста – html-элемент в коде страницы с атрибутом data-nosnippet.

Метатег robots отвечает за индексацию страницы. Он располагается в head страницы и выглядит следующим образом:

<!DOCTYPE html>

<html><head>

<meta name=”robots” content=”noindex” />

(…)

</head>

<body>(…)</body>

</html>

Вы можете указать вместо «robots» название конкретного поискового робота. Например, запретить индексировать и выводить ваш контент в новостях Google, но показывать его в основной выдаче и т. д.

Атрибут data-nosnippet используется для запрета индексации конкретного фрагмента текста на странице. Например, статьи на сайте могут начинаться с пространных описаний или отвлеченных историй, чтобы постепенно вовлечь читателя в тему. Но поисковики обычно формируют сниппет именно на основе первого абзаца. Если не управлять поисковым роботом, он может отразить в результатах поиска нерелевантную запросу информацию, которая не привлечет внимание к сайту. Либо приведет не ту категорию пользователей, и они быстро покинут сайт.

Кроме того, этот же атрибут можно применять, чтобы в результаты поиска не попадала служебная информация или технические описания, скажем названия рубрик или параметров фильтрации, артикулы для страниц карточек товара и т. д.

Используя код, вы можете сделать введение, как и любой другой фрагмент текста на странице, неиндексируемым. Для этого нужно открыть страницу в формате html и указать data-nosnippet. В тексте это может выглядеть так:

<p>Этот текст может быть показан и проиндексирован

<span data-nosnippet>а эта часть текста будет показана посетителям сайта, но не будет индексироваться роботом</span>.</p>

Здесь важно следить, чтобы код, который вы вставляете на страницу, соответствовал стандарту html и содержал все закрывающие теги.

При этом не следует использовать JavaScript для передачи атрибута data-nosnippet. Поисковый робот может начать работу раньше, чем включится скрипт, и в результате указанный атрибут не учтется.

Тег canonical незаменим при продвижении сайта. Он позволяет удалить дубли страниц, которые попали в индекс поисковой системы.

Представьте, что на вашем сайте есть страницы, которые дублируют друг друга, но при этом у них разные URL-адреса. Например, страница товара, который одновременно находится в двух разделах каталога, будет доступна по двум разным ссылкам, но контент на странице идентичен. В такой ситуации поисковая система посчитает эти две страницы дубликатами, что негативно скажется на ранжировании сайта как в Google, так и в «Яндексе».

Чтобы избавиться от подобных страниц, нужно на одной из них разместить тег rel=”canonical” и указать через него ссылку на основную страницу. Тогда страница, на которой размещен тег, будет называться неканонической.

Существует несколько способов сделать страницу канонической. К наиболее часто используемым относятся:

1. Тег rel=”canonical” <link> на страницах, ссылающихся на нее;

2. HT TP-заголовок rel=”canonical”;

3. Через sitemap (не лучший способ);

4. 301 редирект, он приведет к удалению из индекса неканонической страницы.

Есть и другие способы решения задачи, но отмечу: для начала лучше прибегать к первому или второму способу.

Конечно, это не вся информация, которая входит в тему поисковой оптимизации. Техническая сторона организации SEO весьма обширна, но это все-таки задача для специалиста.

Чтобы немного упростить процессы контроля за ним и подготовкой сайта, я подготовил чек-лист основных технических аспектов. В нем перечислены разделы и параметры, за которыми вы обязательно должны следить при работе с сайтом (Приложение 2).