Технические ошибки вроде: неработающих ссылок, зацикленных редиректов или некорректные файлы robots.txt, затрудняют либо блокируют индексацию страниц, что напрямую отражается на конверсии и продажах. С помощью программы Screaming Frog можно быстро и детально выявить такие недочеты, чтобы вовремя их исправить и улучшить работу сайта.

О Screaming Frog

Screaming Frog — это программа для сканирования сайта глазами поисковых роботов. Она позволяет быстро находить и исправлять ошибки, мешающие продвижению. С его помощью можно:

• выявлять битые ссылки и некорректные редиректы;
• находить дублированные страницы;
• проверять изображения и их теги alt;
• отслеживать отсутствие или ошибки в мета-тегах и заголовках H1;
• обнаруживать пустые или малоинформативные страницы;
• извлекать элементы со страниц для анализа;
• проверять страницы, закрытые в файле robots.txt, и корректность атрибута Canonical.

Screaming Frog позволяет сканировать весь сайт полностью, отдельные каталоги или вручную заданные страницы. Для защиты ресурсов сервера сканирование можно при необходимости приостановить. Результаты удобно экспортировать в CSV или XLSX для анализа и формирования отчетов, на основе которого можно подготовить рекомендации по устраниению технических ошибок.

Далее разберем ключевые стадии технического анализа сайта с помощью Screaming Frog и покажем, как с его помощью системно улучшать SEO вашего ресурса.

Как запустить сканирование сайта с помощью Screaming Frog

Запуск сводится к вводу URL-адреса сайта в соответствующее поле и нажатию кнопки «Старт». 

Однако для точного и полезного анализа стоит заранее настроить несколько параметров.

• robots.txt. Укажите программе какие страницы не нужно обходить, чтобы не тратить время на страницы, которые скрытые от поисковых систем.
• Количество потоков. Этот параметр определяет, сколько запросов к серверу будет отправляться одновременно. Слишком много потоков может перегрузить сервер и замедлить работу сайта или сделать его временно недоступным. Слишком мало — замедлит сканирование.

Чаще всего оптимальное значение 5–10 потоков. Постепенно можно увеличивать, следя за нагрузкой на сайт. Такая настройка позволит проводить сканирование эффективно, быстро выявлять ошибки и при этом не создавать лишней нагрузки на сервер.

Проверьте, могут ли поисковые роботы индексировать важные страницы сайта

После того как сканирование завершится, удостоверьтесь, что страницы, на которых отображается максимум полезной информации, доступны для роботов. Для этого проверьте раздел «Response Codes — Blocked by Robots.txt». В противном случае понадобится отредактировать файл robots.txt на сервере, чтобы разрешить доступ к страницам.

Проверьте директиву noindex. Это мета-тег, который размещен в head секции HTML-кода. Он сообщает роботам, нужно индексировать страницу или нет. Если страница содержит noindex, то не будет проиндексирована Google и, следовательно, не будет видна. Чтобы исправить это, необходимо удалить тег либо заменить на index и follow.

Наличие заполненных тегов title

Title — это элемент SEO, который задает заголовок странице. Он будет виден в выдаче и на вкладке браузера. Отсутствие тега затрудняет понимание, о чем данная страница и негативно влияет на позиции сайта. 

Для проверки тегов в Screaming Frog откройте раздел Page Titles Missing. Каждая страница должна иметь уникальный и информативный title. Оптимальная длина — до 80 символов.

Совет: избегайте чрезмерного использования ключевых слов и ненужных знаков препинания. Перегруженный title выглядит заспамленным и плохо читается, что снижает кликабельность.

Поиск дублей страниц

Дубликаты страниц содержат почти идентичный контент. Поисковые роботы не всегда понимают, какую версию считать основной. Они тратят ресурсы на индексацию одинаковых страниц, вместо того чтобы анализировать важный контент. Если внешние ссылки ведут на разные варианты одной и той же страницы, ссылочный вес распределяется, а не концентрируется, что снижает позиции сайта в целом.

Причины возникновения дубликатов:

1. Разные разделы каталога. Один и тот же товар может быть доступен по разным URL (частая болезнь cms Joomla, встречается у 1с Битрикс)
2. Проблемы с кодировкой URL. Разные варианты написания URL, приводящие на один и тот же ресурс.
3. Дублирование title и description. Даже если тексты на страницах уникальные, одинаковые теги вводят поисковики в заблуждение.

Screaming Frog SEO Spider позволяет быстро просканировать сайт и выявить страницы с повторяющимися title и description, чтобы вы могли оперативно исправить ошибки и улучшить позиции в поисковой выдаче.

Проверка мета-тегов description

Мета-тег description выполняет важную задачу: он привлекает внимание пользователя в поисковой выдаче и мотивирует перейти на сайт. Отсутствие description снижает кликабельность страниц, а повторяющиеся или идентичные тексты могут заставить поисковые системы воспринимать сайт как низкокачественный.

В Screaming Frog существует раздел, посвященный description. Он содержит подразделы Missing (отсутствующие) и Duplicate (дублирующиеся), которые позволяют быстро выявить проблемные страницы.

Рекомендация: перепишите description для каждой страницы, делая их уникальными и релевантными содержанию. Краткий, цепкий и информативный текст до 160 символов с призывом к действию повышает шанс привлечь внимание пользователя и увеличить количество переходов на сайт.

Поиск битых ссылок

Множество неработающих (битых) ссылок на сайте — это сигнал о проблемах. Представьте, что вы приходите в магазин, а на дверях висит табличка «Закрыто». То же самое чувствует пользователь, попадая на страницу с ошибкой. Сайт, где много битых ссылок, воспринимается как заброшенные или некачественные.

В Screaming Frog проблемные ссылки выявляются через раздел Response Codes, особенно подраздел Client Error (4xx). Ошибки 4xx (например, 404 Not Found) означают, что страница недоступна и является битой ссылкой.

После выявления битых ссылок важно понять, где именно они размещены. Вкладка Inlinks показывает все страницы, с которых ведут неработающие ссылки.

Поиск ссылок с 301 и 302 редиректом

Редиректы перенаправляют пользователей и поисковых роботов с одного URL на другой. Их использование — обычная практика, например, при изменении структуры сайта или переноса страниц. Однако чрезмерное количество редиректов может замедлять индексацию и затруднять работу роботов.

В Screaming Frog такие ссылки можно найти в разделе Response Codes, подраздел Redirection (3xx). Здесь отображаются все URL с редиректами 301 (постоянный) и 302 (временный).

Чтобы понять, куда именно перенаправляется пользователь или робот, используйте вкладку Outlinks, где указана конечная точка редиректа.

Совет: оптимизируйте цепочки редиректов, чтобы они были короткими и не создавали лишней нагрузки на сайт. Это ускоряет индексацию и повышает качество работы ресурса для пользователей и поисковых систем.

Анализ заголовков h1

Заголовок H1 выполняет роль «компаса» для поисковых систем и посетителей сайта, лаконично передавая суть страницы. Для SEO H1 критически важен: алгоритмы поисковых систем оценивают релевантность страницы запросам именно по содержимому заголовка.

Рекомендации по H1:

• Каждый H1 должен быть уникальным и соответствовать теме страницы.
• Заголовок должен быть коротким, емким и содержать ключевые слова, связанные с содержанием.
• Избегайте чрезмерного нагромождения ключевых слов — это ухудшает читаемость и воспринимается как спам.
• На одной странице должен быть только один H1. Дополнительные заголовки можно оформлять через H2–H6 для структуры и удобства восприятия.

В Screaming Frog легко выявить страницы без H1. Для этого перейдите в раздел H1 и просмотрите вкладки Missing (отсутствующие) и Duplicate (дублирующиеся).

Совет: исправьте отсутствующие или повторяющиеся H1, создавая уникальные заголовки для каждой страницы. Это улучшит понимание контента поисковыми системами, повысит релевантность и поможет увеличить органический трафик.

Проверка наличия и корректности формирования тега Canonical

Canonical позволяет «собрать» вес ссылок на одну предпочтительную страницу. Проверьте, что canonical присутствует на всех страницах. В canonical указывается URL вместе с протоколом (http/https) и доменным именем.

Поиск пустых страниц

Попадая на пустую страницу, человек быстро ее покидает, а это негативно влияет на поведенческие факторы сайта. Найти такие страницы можно через раздел Crawl Data — Internal — All. Отсортируйте их по количеству слов, чтобы определить, являются ли они релевантными.

Добавьте информацию, чтобы страница отвечала на вопросы пользователей. Если ее невозможно доработать, удалите. Screaming Frog быстро находит пустые страницы.

Keywords

Поисковые системы стали умнее и сами определяют тематику страницы, анализируя ее содержимое. Поэтому Keywords утратил свою ценность для SEO и даже может навредить. Избавьтесь от него с помощью Screaming Frog, чтобы конкуренты не смогли увидеть, по каким словам и фразам вы пытаетесь продвинуться в выдаче.

Познакомьтесь с программой для технического анализа Screaming Frog. Вы просканируете сайт и обнаружите страницы с Keywords. Выберите раздел Meta Keywords и приступайте к работе.

Анализ изображений

Изображения, дающие 200-й код ответа, загружаются без ошибок. Для проверки откройте Internal — Images в Screaming Frog. Старайтесь, чтобы размер картинок не превышал 1.5 мб. Добавьте атрибуты alt, так роботы смогут понять, что изображено на них.

Извлечение элементов со страниц сайта

Выберете данные для извлечения и найдите их на веб-странице:

• название продукта;
• информацию о товаре;
• текущую стоимость;
• URL изображение;
• информацию, есть ли товар в наличии.

XPath (XML Path Language) — это язык запросов, позволяющий находить элементы в HTML или XML-документах. HTML-код страницы представляет собой структуру, и XPath приводит к конкретному элементу. Предположим, что у вас есть интерфейс для настройки парсера, где вы можете указывать, какие данные нужно извлекать и как. Обычно настройка с помощью Screaming Frog следующая:

1. Перейдите во вкладку Configuration -> Custom -> Extraction.
2. Нажмите Add.
3. Выберите тип извлечения (XPath).
4. Вставьте скопированный XPath.
5. Укажите, что нужно извлечь: текст, HTML, атрибут и т.д. (в данном случае Extract Text).
6. Запустите программу для анализа Screaming Frog. Она сканирует сайт и извлекает данные, соответствующие указанному XPath.

HTML-структура может измениться при обновлении сайта. Тогда XPath перестанет работать. Регулярно проверяйте и обновляете его.

Экспорт и анализ данных Screaming Frog

Screaming Frog собирает огромный объем информации о страницах вашего сайта: битые ссылки, редиректы, дубли, мета-теги, заголовки, изображения и многое другое. Для вебмастера и бизнеса важно не только выявлять ошибки, но и системно анализировать их, чтобы принимать решения для роста бизнеса.

Экспорт данных:

• После завершения сканирования можно выгрузить данные в CSV или XLSX.
• Экспорт позволяет работать с таблицами, фильтровать, сортировать и визуализировать информацию.
• Можно формировать отчеты по категориям: битые ссылки, дубликаты, отсутствующие мета-теги, редиректы и другие ошибки.

Анализ данных:

• Используйте фильтры и сводные таблицы для приоритизации исправлений: сначала устраняйте критические ошибки, влияющие на конверсии и индексацию.
• Отслеживайте изменения сайта со временем: экспортируйте отчеты регулярно и сравнивайте их, чтобы видеть прогресс в SEO.
• Данные можно делегировать команде: разработчикам, маркетологам или копирайтерам, чтобы ускорить исправление ошибок.

Совет: структурированный экспорт и регулярный анализ позволяют держать сайт в технически исправном состоянии, улучшать пользовательский опыт и поддерживать позиции в поисковой выдаче.

Хватит откладывать технический аудит сайта! Закажите бесплатный пробный анализ от наших экспертов и узнайте, какие ошибки мешают вашему продвижению.

Telegram: https://t.me/tolstenkoaa

WhatsApp: https://wa.me/79112996909

TG «Толстенко PRO Маркетинг»: https://t.me/+V6SQiv8gcwoyMmUy

ВК: https://vk.com/tolstenkoaa

Рутуб https://rutube.ru/channel/37807177/

Ютуб https://www.youtube.com/channel/UCP9el99pUCTNIZwc0O_6FlQ/