Screaming Frog Хелпер - Новости программы, статьи      
Технический аудит сайта

Самые сочные функции программы Screaming Frog Seo Spider для сеошника

 1169
11.10.2022 | Время чтения: 19 минут
Facebook
Автор: Мистерия онлайна

Практически все из нас, кто так или иначе сталкивается с seo продвижением, знают о существовании seo программы под названием Screaming Frog Seo Spider. Буржуйская такая софтина с масштабными возможностями. Используя Screaming Frog, в общем-то можно обойтись без использования разных плагинов типа Yoast SEO и т.д., в которых дублируется часть функций нашей программы.

Самые сочные функции программы Screaming Frog Seo Spider для сеошника

Но я думаю, что будет скучно просто писать о том, где скачать и как установить программу Screaming frog seo spider и всякое такое. Когда вы ее скачаете и поставите на свое железо, вы поймете, что там нужно делать. Она хоть и без перевода на русский язык, но элементарные функции там понятно как делать. Вместе с тем в проге есть масса отличнейших функций, про которые можно просто не знать.

Содержание статьи:

1. Screaming frog – базовый анализ сайта

1.1 Как проанализировать весь сайт
1.2 Как проанализировать только одну рубрику/директорию
1.3 Как установить специальные настройки для парсинга субдоменов и субдиректорий
1.4 Если нужен список всех страниц сайта
1.5 Как получить список всех страниц сайта из конкретной директории
1.6 Как анализировать e-commerce сайты, а также другие крупные сайты
1.7 Как собирать данные на старых серверах
1.8 Как анализировать сайт, который требует cookies
1.9 Как анализировать сайт через прокси или с разными user-agent

2. Screaming frog – внутренние ссылки

2.1 Как найти битые внутренние ссылки на страницах сайта
2.2 Как найти битые исходящие ссылки на страницах сайта (либо полностью все исходящие ссылки с сайта)
2.3 Как найти ссылки через редирект
2.4 Как улучшить внутреннюю перелинковку с помощью screaming frog seo spider

3. Screaming frog – контент сайта

3.1 Как с помощью screaming frog найти слабые страницы сайта
3.2 Как получить список изображений-ссылок на конкретной странице
3.3 Как найти изображения с пустым тегом «alt»
3.4 Как найти каждый CSS файл на сайте
3.5 Как найти JavaScript файлы на сайте
3.6 Как найти все jQuery плагины, которые используются на сайте и какие страницы сайта они задействуют
3.7 Как найти, где на сайте встроен flash
3.8 Как найти PDF файлы на сайте
3.9 Как найти страницы, на которых есть кнопки sharing
3.10 Как найти страницы, которые используют iframes
3.11 Как найти страницы, которые содержат встроенное видео или аудио

4. Screaming frog – мета данные и директивы

4.1 Как найти страницы с длинными Title, meta descriptions или URL
4.2 Как найти дублированные Title, meta descriptions или URL
4.3 Как найти дублированный контент, или URL, которые нужно переписать, сделать редирект, либо сделать каноническими
4.4 Как найти все страницы, которые включают мета директивы: nofollow/noindex/noodp/canonical и т.д.
4.5 Как проверить, что robots.txt работает как нужно
4.6 Как найти или проверить разметку Schema или другую микроразметку на сайте

5. Screaming frog – Sitemap

5.1 Как создать XML Sitemap в Screaming frog
5.2 Как проверить уже существующий Sitemap.xml

6. Screaming frog – нахождение отдельных проблем на сайте

6.1 Как проверить отдельные части сайта, которые не индексируются или не ранжируются
6.2 Как найти страницы с медленной загрузкой
6.3 Как найти вредоносный код или спам на сайте

7. Screaming frog — извлечение данных

7.1 Как извлечь мета данные из списка страниц
7.2 Как найти все страницы сайта, содержание определенный код или текст

8. Screaming frog — перезапись url

8.1 Как удалить сессионные id или другие параметры из моих url
8.2 Как переписать url (например, переписать с .com на .ru, или написать все url в нижнем регистре)

9. Screaming frog — исследуем ключевые слова на сайте

9.1 Как узнать наиболее значимые страницы на сайте-конкуренте
9.2 Как узнать текст анкоров, которые используют конкуренты во внутренней перелинковке
9.3 Как узнать, какие meta keywords использует конкурент на сайте для любой страницы

10. Screaming frog — линкбилдинг

10.1 Как анализировать список ссылок ссылочных доноров
10.2 Как найти битые ссылки на сайте-доноре, чтобы получить с него ссылку
10.3 Как проверить мои обратные ссылки и посмотреть тексты анкоров
10.4 Отчет по каждому URL

Поэтому я решил написать статью, в которой мы рассмотрим самые интересные трюки, которые можно делать в программе Screaming frog seo spider.

Я не думаю, что эти лайфхаки для программы Screaming frog seo spider будут утомительными для прочтения, т.к. если вы используете эту программу, то наверняка вам будет интересно большинство из того, что будет описано ниже, ибо владение программой Screaming frog seo spider и умение ее правильно использовать, повторю, заменит вам необходимость покупать кучу разных программ и доступов к платным сервисам, т.к. теперь все это можно будет делать из одного места.

Для справки – что такое screaming frog seo spider

Screaming frog seo spider – это декстопная программа, предназначенная для технического анализа сайта. С ее помощью можно быстро собрать всю необходимую информацию, необходимую для seo оптимизации нашего сайта.

Программа собирает информацию о ссылках, заголовках страниц (Title), редиректах, страницах 404, тегах, кодах статуса, длине атрибутов, тексте анкоров, текстах в тегах «alt» и количестве внутренних ссылок, а также внешних на каждой странице сайта. Быстро просмотреть информацию о канонических ссылках или мета-данные – все это и не только вы можете сделать с помощью программы Screaming frog seo spider.

Итак, ниже я расскажу самые интересные прибамбасы, которые можно делать с помощью Screaming frog seo spider.

#1 Screaming frog – базовый анализ сайта

Как проанализировать весь сайт

По-умолчанию Screaming frog seo spider анализирует только тот домен, который мы вводим в поисковую строку. Поэтому любые поддомены в пределах одного домена будут рассматриваться как внешние ссылки.

Чтобы чекнуть еще и дополнительные субдомены, нужно изменить настройки в меню «Configuration». Идем в это меню и отмечаем чекбокс «Crawl All Subdomains». После этого программа Screaming frog seo spider будет анализировать все ссылки в т.ч. с поддоменов на наш основной домен.

Как проанализировать только одну рубрику/директорию

Бывает так, что нужно проверить только одну какую-то папку на сайте. Чтобы это сделать, просто вводим в поисковую строку адрес нашего сайта и нажимаем Start без внесения каких-либо изменений в настройках. Если по какой-то причине настройки по-умолчанию у вас были изменены, скиньте на конфигурацию по-умолчанию в меню «File».

Если вы хотите начать анализ какой-то отдельной папки, но при этом хотите, чтобы у вас продолжали учитываться поддомены, проверьте, что вы отметили чекбокс «Crawl Outside Of Start Folder» в меню «Configuration» перед вводом вашего URL

Как установить специальные настройки для парсинга субдоменов и субдиректорий

Если вы хотите ограничить анализ вашего сайта отдельными субдоменами или субдиректориями, вам необходимо использовать регулярные выражения, чтобы установить правила для включения и исключения в меню Configuration.

Пример — исключение

Давайте запустим анализ сайта https://max1net.com/ за исключением страниц «about» на каждом поддомене. Вот как это делается

Шаг 1

Шаг 2

Вводим следующее регулярное выражение

Пример – включение

Например, у меня есть сайт с несколькими поддоменами. Каждый поддомен заточен под определенный язык. Допустим, есть поддомен «ru.max1net.com», и я хочу, чтобы программа Screaming frog seo spider просканировала именно этот поддомен. В таком случае мне необходимо указать следующее регулярное выражение

Если нужен список всех страниц сайта

По умолчанию Screaming frog настроен так, что при парсинге сайта он анализирует все изображения, CSS, JavaScript и Flash файлы. Но иногда нужно запустить анализ, чтобы программа проанализировала только HTML. В таком случае нам нужно снять отметку с чекбоксов «Check Images», «Check CSS», «Check JavaScript» и «Check SWF» в меню «Configuration».

Если мы проверим сайт с такими настройками, то по сути получим список всех страниц сайта, которые имеют внутренние ссылки, ссылающиеся на них.

После окончания анализа сайта идем на вкладку «Internal» и фильтруем результаты по «HTML». При желании можно экспортировать полный список в CSV-файл.

Если вы хотите использовать те же самые настройки при каждом сканировании сайта, можно сохранить текущие настройки Screaming frog, чтобы они использовались по умолчанию

Как получить список всех страниц сайта из конкретной директории

В настройках краулера есть также чекбокс «Check Links Outside of Start Folder». Если снять отметку с этого чекбокса и просканировать сайт с отключенными также «Check Images», «Check CSS», «Check JavaScript» и «Check SWF», то можно получить список всех страниц нашей стартовой папки. Cсылки вне нашей директории, которую мы сканируем, не будут анализироваться и выводиться в результатах анализа.

Как анализировать e-commerce сайты, а также другие крупные сайты

Программа Screaming frog сама по себе не предназначена для анализа огромных сайтов и может тормозить. Но есть пару трюков, которые можно сделать, чтобы Screaming frog не тормозил. Во-первых, можно увеличить объем памяти, выделяемой для программы. Во-вторых, можно указать программе анализировать только рубрики/подрубрики или определенные директории с помощью настроек Include/Exclude. В-третьих, можно указать не сканировать изображения, JavaScript, CSS и flash. Если убрать эти опции в меню Configuration, можно сохранить часть памяти, анализируя только HTML.

В последних версиях Screaming frog можно указать программе использовать паузы при использовании больших объемов памяти. Это помогает программе работать без сбоев для последующей возможности сохранить данные или увеличить объем потребляемых ресурсов.

В настоящее время эти настройки в программе Screaming frog установлены по-умолчанию, но если вы собираетесь анализировать большие сайты, то на всякий случай проверьте, что у вас отмечен чекбокс «Pause On High Memory Usage» на вкладке «Advanced» в меню «Configuration».

Как собирать данные на старых серверах

Если вы поставили Screaming frog на дедик со слабыми конфигурационными данными, то для оптимизации работы программы имеет смысл уменьшить количество потоков за секунду. Чтобы изменить скорость сбора данных, выберите «Speed» в меню Configuration и во всплывающем окне укажите максимально допустимое количество потоков

Кроме того, здесь можно установить лимит на количество одновременно запрашиваемых URL в ходе парсинга.

Учтите также еще один нюанс. Если после проведения анализа сайта программой Screaming frog выясняется, что у нас слишком много ошибок сервера, тогда нужно пойти в меню Configuration – Spider – Advanced и увеличить значения «Response Timeout» (таймаут ответа сервера) и «5xx Response Retries»

Как анализировать сайт, который требует cookies

Хотя поисковые боты не принимают cookies, но если вам нужно разрешить cookies, просто отметьте чекбокс «Allow Cookies» в меню «Configuration – Spider» на вкладке «Advanced»

Как анализировать сайт через прокси или с разными user-agent

Чтобы использовать прокси, зайдите в меню Configuration – System – Proxy и введите сведения о ваших прокси

Чтобы выполнять анализ сайта с разными user agent, зайдите в меню Configuration – User-Agent и выберите поискового бота в выпадающих вкладках или сами введите необходимые данные

#2 Screaming frog – внутренние ссылки

Теперь перейдем к анализу внутренних ссылок на сайте. Нам нужна информация обо всех внутренних и внешних ссылках на анализируемый сайт (тексты анкоров, количество внутренних ссылок на каждой странице, директивы ссылок и т.д.).

Если нам не нужно проверять изображения, JavaScript, CSS и flash на сайте, тогда убираем отметки соответствующих чекбоксов в меню Configuration – Spider, чтобы сократить время анализа сайта и количество потребляемой памяти.

Предположим, я хочу посмотреть количество входящих/исходящих внутренних ссылок на сайте. Тогда, находясь на вкладке «Internal», я нажимаю на «Export» и экспортирую в Excel данные.

Полученная в результате экспорта таблица CSV или Excel послужит нам как бы общим ориентиром, чтобы в первую очередь выявить проблемные страницы для последующей их перелинковки. В полученной таблице я ищу столбцы с названиями «Inlinks», «Outlinks», «External outlinks».

Это и есть мои сведения по каждой странице моего сайта (количество внутренних входящих ссылок, количество внутренних исходящих ссылок, количество внешних исходящих ссылок).

Дальше мы, согласно этой методике можем улучшить внутреннюю перелинковку сайта. Для этого в нашем экспортированном файле Excel находим страницы, на которые нет внутренних ссылок («Inlinks»), либо их очень мало, скажем, не более двух. После этого мы перелинковываем найденные страницы сайта по методу, на который я дал выше ссылку.

Как найти битые внутренние ссылки на страницах сайта

Если вам не нужно сканировать изображения, JavaScript, flash или CSS на сайте, просто уберите отметку с соответствующего чекбокса в меню «Configuration», чтобы улучшить быстродействие программы Screaming frog.

Как только Screaming frog закончит сканирование сайта, на вкладке «Internal» необходимо отсортировать результаты по параметру «Status Code». Из полученных результатов можно экспортировать результаты относительно кодов ответа сервера по всему списку проанализированных страниц сайта.

Также можно выбрать любой url-адрес из списка и внизу окна программы мы увидим код ответа сервера, соответствующий данной странице

Здесь же, если кликнуть на вкладку «Inlinks», мы увидим список всех страниц нашего сайта, которые ссылаются на выделенный нами url-адрес. На этой вкладке мы можем для всех url-адресов посмотреть анкоры ссылок, а также директивы, которые использованы для этих ссылок. Эту информацию можно использовать, чтобы исправить ошибки, обновить внутренние ссылки.

Как найти битые исходящие ссылки на страницах сайта (либо полностью все исходящие ссылки с сайта)

В меню «Comfiguration – Spider» на вкладке «Basic» нужно проверить, чтобы был отмечен чекбокс «Check External Links».

После того, как Screaming frog seo spider проанализирует сайт, идем на вкладку «External» в верхней части программы, после чего сортируем полученные результаты по параметру «Status Code». Мы сможем увидеть коды статусов, отличные от 200.

Дальше если выбрать любой url адрес в полученных результатах из числа страниц с ошибками и затем кликнуть на «Inlinks» в нижней части программы, мы увидим список страниц, которые ссылаются на выбранный url. Таким вот образом мы можем найти битые исходящие ссылки внутри сайта.

Чтобы экспортировать все исходящие ссылки, которые ведут на файлы image, внешние JavaScript, внешние CSS, внешние Flash файлы, внешние PDF файлы, используем кнопку «Export», которая расположена здесь же. Если хотите экспортировать только список всех внутренних страниц сайта, необходимо использовать при экспорте значение HTML

Чтобы экспортировать полностью все исходящие ссылки, включая данные по анкорам исходящих ссылок, необходимо делать экспорт через меню в верхней части программы (Bulk Export – All Outlinks). В экспортированном CSV файле необходимо в колонке «Destination» исключить свой домен.

Как найти ссылки через редирект

Чтобы найти ссылки через редирект с помощью Screaming frog seo spider, необходимо запустить анализ сайта, после чего в верхней части программы переключаем на вкладку «Response Codes» и затем фильтруем полученные результаты по параметру «Redirection (3xx)»

Такая сортировка предоставит вам список из всех входящих и исходящих ссылок, выполненных через редирект. Сортируя данные по параметру «Status Code» вы сможете разделить результаты по типу.

Если здесь же кликнуть на «Inlinks», то мы увидим список всех страниц, где используется редирект.

Если мы экспортируем данные прямо со вкладки «Response Codes», то мы увидим только данные, которые отображены в верхнем окне (url-адрес-источник, статус код и куда ведет редирект), т.е. те данные, которые отфильтрованы по параметру «Redirection (3xx)»

Чтобы скачать полный список, включая редиректные ссылки, нужно сделать экспорт через верхнее меню «Bulk Export – Response Codes — Redirection (3xx) In Links». В результате мы получим CSV-файл, в котором будет информация о страницах, на которых содержатся редиректные ссылки. Чтобы отобразить только внутренние редиректы (в пределах нашего сайта), необходимо в CSV-файле отфильтровать столбец «Destination» таким образом, чтобы в нем содержался только наш домен.

Как улучшить внутреннюю перелинковку с помощью screaming frog seo spider

Предположим, мы продвигаемся по некоторым ключевым словам. Предположим, что по ключевому слову «раскрутка сайта». И нам нужно нашу подвигаемую страницу сайта перелинковать с другими страницами нашего сайта. Наши действия:

Идем в меню Configuration – Custom – Search и вводим ключевые слова, по которым мы продвигаемся

Дальше запускаем анализ сайта, а после его завершения идем на вкладку Custom и делаем экспорт полученных url.

А дальше загружаем полученный список url в какой-нибудь чекер, где можно проверить рейтинг наших страниц. После чего удаляем из полученного списка url со слабыми метриками, оставляем с сильными. После этого с этих сильных url ссылаемся на нашу страницу сайта, которую мы продвигаем по запросу «как раскрутить сайт».

#3 Screaming frog – контент сайта

Как с помощью screaming frog найти слабые страницы сайта

Запускаем анализ сайта. После завершения анализа идем на вкладку «Internal», фильтруем содержимое по «HTML», после чего прокручиваем вправо по горизонтали до столбца «Word Count» (количество слов). Дальше сортируем столбец от самого низкого значения к самому высокому, чтобы найти страницы сайта с небольшим количеством контента. Сам столбец можно подтянуть поближе к url влево, чтобы было удобнее анализировать.

Дальше кликаем на Export на вкладке «Internal», если вам больше нравится анализировать данные в CSV файле.

После этого вносим правки в контент

Как получить список изображений-ссылок на конкретной странице

Если вы уже проанализировали весь сайт или поддомены, просто выберите любую страницу в верхнем окне программы и перейдите на вкладку «Image Info» в нижней части программы. На этой вкладке в колонке «To» будут выведены все изображения, которые найдены на этой странице.

Теперь можно в нижнем окне кликнуть на любой url и скопировать его в буфер обмена, либо сразу из программы screaming frog открыть этот урл-адрес в браузере.

Посмотреть изображения для каждой страницы сайта можно также путем анализа отдельно взятого url-сайта. Убедитесь, что предельная глубина анализа сайта установлена на значение «1» в меню Configuration – Spider – Limit Crowl Depth, а затем после анализа отдельной страницы сайта кликните на вкладку «Images» в верхнем окне программы и вы увидите все изображения, которые на ней нашлись. Здесь же, на нижней вкладке, справа от столбца «To» можно посмотреть, что прописано в теге «Alt» для каждой страницы.

Как найти изображения с пустым тегом «alt»

Прежде всего, нужно убедиться в том, что в screaming frog seo spider включена проверка изображений (Configuration – Spider – Basic – Check Images). Дальше запускаем анализ сайта. После того, как он будет завершен, идем на вкладку Images и настраиваем сортировку по параметру «Missing Alt Text» или «Alt Text Over 100 Characters».

Найти url-адрес страницы, на котором размещено любое изображение, можно кликнув на вкладку «Image Info». Адрес страницы-источника будет в колонке «From».

Кроме того, через верхнее меню можно экспортировать все эти данные в CSC/Excel формат (Bulk Export – All Images). А дальше можно отсортировать в экспортированном файле колонку «Alt Text» таким образом, чтобы отобразить пустые строки

https://max1net.com/samye-sochnye-funkcii-programmy-screaming-frog-seo-spider-dlya-seoshnika/#kak-najti-kazhdyj-css-fajl-na-sajte

Как найти каждый CSS файл на сайте

Перед анализом сайта убедитесь, что у вас разрешена проверка CSS файлов (Configuration – Spider – Check CSS). После того, как анализ сайта будет завершен, отфильтруйте все данные на вкладке «Internal» по параметру CSS.

https://max1net.com/samye-sochnye-funkcii-programmy-screaming-frog-seo-spider-dlya-seoshnika/#kak-najti-javascript-fajly-na-sajte

Как найти JavaScript файлы на сайте

Аналогичным способом, указанному выше: перед проверкой сайта убеждаемся в том, что у нас разрешен анализ JavaScript (Configuration – Spider – Check JavaScript). А потом на вкладке «Internal» отфильтровываем данные по параметру «Java Script».

Как найти все jQuery плагины, которые используются на сайте и какие страницы сайта они задействуют

Убеждаемся в том, что у нас разрешен анализ JavaScript (Configuration – Spider – Check JavaScript). После завершения анализа сайта, фильтруем на вкладке «Internal» все данные по параметру «JavaScript», а затем в поисковом окне вводим «jquery». Так мы выведем список всех файлов плагинов. Дальше сортируем все данные в столбце «Address» для более удобного просмотра, а затем смотрим «InLinks» в нижнем окне программы, либо экспортируем данные в CSS/Excel. То, что нам нужно, будет находиться в столбце «From»

Стоит отметить, что не все jQuery это плохо для SEO. Если вы видите, что на сайте используется jQuery, то лучшая здесь практика – это убедиться в том, что контент, который вы хотите, чтобы был проиндексирован, включен в исходный код страницы и выводится при загрузке страницы, а не после нее. Более подробно о применении jQuery можно нагуглить, поэтому останавливаться на этом не буду.

Как найти, где на сайте встроен flash

Для этого необходимо в меню Configuration – Spider отметить чекбокс «Check SWF» перед анализом сайта, а когда он будет выполнен, нужно отфильтровать полученные результаты на вкладке «Internal» по параметру «Flash».

Но учтите, что с помощью данного метода мы можем получить только .SWF файлы. Если флеш закачан через JavaScript, тогда нужно использовать произвольный фильтр (custom filter).

Как найти PDF файлы на сайте

Для этого после окончания сканирования сайта отфильтруйте результаты на вкладке «Internal» по параметру «PDF»

Как найти страницы, на которых есть кнопки sharing

Чтобы найти страницы, которые содержат кнопки социального расшаривания, нужно установить произвольный (custom) фильтр перед началом анализа сайта. Чтобы установить этот фильтр, идем в меню Configuration – Custom – Search. Находясь здесь, в поисковую форму вводим произвольный код поиска формы

Как найти страницы, которые используют iframes

Чтобы найти страницы, которые используют iframes, необходимо установить произвольный (custom) фильтр «<iframe» в форме «Custom Search» по адресу: Configuration – Custom – Search

Как найти страницы, которые содержат встроенное видео или аудио

Чтобы найти страницы, которые содержат встроенные видео или аудио, необходимо установить произвольный фильтр для сниппета или встроенного кода Youtube, либо иного видео-плейера, в зависимости от того, что является источником для видео. Например, это будет полезно когда вы переезжаете с http на https, но на некоторых страницах используется старый код для плейера, подтягивающий информацию через http.

#4 Screaming frog – мета данные и директивы

Как найти страницы с длинными Title, meta descriptions или URL

После того, как сайт будет проанализирован в программе screaming frog seo spider, идем на вкладку «Page Titles» и фильтруем данные по параметру «Over 65 Characters», чтобы увидеть страницы, которые имеют слишком длинные Title. Тоже самое можно сделать и на вкладке «Meta Description» или на вкладке «URI».

Как найти дублированные Title, meta descriptions или URL

После того, как screaming frog проанализирует сайт, идем на вкладку «Page Titles», после чего фильтруем данные по параметру «Duplicate». Аналогичным образом можно фильтровать данные на вкладке «Meta Description» и «URI»

Как найти дублированный контент, или URL, которые нужно переписать, сделать редирект, либо сделать каноническими

Прежде всего, запускаем анализ сайта. После того, как анализ сайта будет выполнен, идем на вкладку «URI» и делаем фильтрацию по параметру «Underscores», «Uppercase» или «Non ASCII Characters», чтобы отобразить URL, которые можно переписать, чтобы привести к более стандартному виду

Кроме того, если зайти на вкладку «Internal» и отфильтровать там данные по параметру «HTML», а дальше прокрутить по горизонтали до столбца «Hash», то можно увидеть уникальный код, так называемый хэш каждой страницы. Если экспортировать данные, то можно использовать условное форматирование в Excel, чтобы выделить повторяющиеся значения в столбце «Hash» и найти таким образом идентичные страницы

Как найти все страницы, которые включают мета директивы: nofollow/noindex/noodp/canonical и т.д.

После того, как сайт будет проанализирован в программе screaming frog, кликаем на вкладку «Directives». Чтобы увидеть тип директивы, просто прокрутите вниз, чтобы увидеть, какие колонки заполнены, или используйте фильтр, чтобы найти следующие теги:

  • canonical
  • canonical self referencing
  • canonicalised
  • no canonical
  • next/prev
  • index
  • noindex
  • follow
  • nofollow
  • none
  • noarchive
  • nosnippet
  • noodp
  • noydir
  • noimageindex
  • notranslate
  • unavailable_after
  • refresh

Как проверить, что robots.txt работает как нужно

По умолчанию, screaming frog seo spider работает так, что он анализирует сайт с учетом настроек, выполненных в файле robots.txt. В приоритетном порядке он будет следовать директивам, выполненным специально для Screaming Frog user agent.

Если специальные директивы для Screaming Frog user agent отсутствуют, тогда программа будет следовать директивам, установленным для Googlebot. Если не будет установлено специальных директив для Googlebot, тогда программа будет следовать глобальным настройкам директив для всех типов user agent.

Поисковый бот Screaming Frog будет следовать только одной настройке директив, поэтому если есть правила, которые установлены специально для Screaming Frog, то программа будет следовать только этим правилам, а не правилам для Googlebot или глобальным настройкам.

Если вы хотите блокировать определенную часть сайта от поискового бота Screaming Frog, используйте специальные директивы в robots.txt с указанием user agent «Screaming Frog SEO Spider». Если вы хотите, чтобы программа игнорировала robots.txt, тогда просто выберите эту опцию в меню «Configuration – Robots.txt»

Как найти или проверить разметку Schema или другую микроразметку на сайте

Чтобы найти страницы сайта, которые содержат микроразметку Schema или любую другую микроразметку, нужно заполнить произвольные фильтры (custom filters). Для этого идем в меню Configuration – Custom – Search и вводим здесь данные, которые мы ищем.

Чтобы найти каждую страницу, которая содержит микроразметку Schema, просто добавляем следующий код в произвольный фильтр: «itemtype=http://schema.org».

Чтобы найти специфический тип микроразметки, необходимо быть более точным. Например, можно использовать такой произвольный фильтр: «span itemprop=”ratingValue”». Тогда мы сможем отобразить все страницы, которые содержат микроразметку Schema для рейтинга.

Можно ввести до 10 различных фильтров. И когда программа закончит анализ сайта, перейдите на вкладку «Custom» в верхнем окне программы, чтобы отобразить все страницы, соответствующие параметрам, заданным в фильтре Custom. Если вы использовали более чем один фильтр, тогда можно отфильтровать данные применительно к каждому отдельно взятому фильтру

#5 Screaming frog – Sitemap

Как создать XML Sitemap в Screaming frog

После того, как программа завершит анализ сайта, кликните на меню «Sitemaps» и далее нажмите на «Create XML Sitemap».

Будет создан файл Sitemap.xml. Дальше открываем данный файл с помощью Excel. При открытии нужно будет выбрать способ открытия XML. Выбираем «XML-таблица». Появляется всплывающее сообщение «Указанный источник XML не ссылается на схему. Excel создаст схему на основе данных, полученных из этого источника XML». Нажимаем здесь «ОК».

Теперь карта сайта у нас в виде Excel таблицы, и мы можем внести корректировки в существующие настройки. Например, изменить частоту обновления для каждой страницы, приоритет для каждой страницы или другие значения

Убедитесь также, что в этой карте сайте содержатся только канонические урлы каждой страницы сайта без каких-либо дублирующих факторов. После внесения изменений просто сохраните файл как XML файл. Теперь у вас готовый sitemap.xml, настроенный исключительно под нас.

Как проверить уже существующий Sitemap.xml

Прежде всего, необходимо сделать копию существующего Sitemap.xml и сохранить к себе на компьютер. Дальше идем в программу Screaming frog, заходим в меню «Mode», выбираем «List»

А после этого нажимаем на кнопку «Upload» и выбираем «From a file». Далее выбираем наш файл sitemap.xml на компьютере и нажимаем ОК. После того, как программа закончит анализ, вы сможете найти в полученных данных любые редиректы, ошибки 404, дублированные URL и еще много чего полезного на вкладке «Internal».

#6 Screaming frog – нахождение отдельных проблем на сайте

Как проверить отдельные части сайта, которые не индексируются или не ранжируются

Интересно, почему некоторые страницы не индексируются? Тогда прежде всего проверьте в файле robots.txt, чтобы там не был указан запрет на их индексацию, а также посмотрите, чтобы для страницы не был указан атрибут noindex. Дальше нужно убедиться, что поисковый паук screaming frog заходит на интересующие нас страницы, проверяя внутреннюю перелинковку.

После того, как программа завершит анализ сайта, экспортируйте список внутренних страниц сайта в CSV или Excel на вкладке «Internal», используя фильтр «HTML».

Дальше открываем экспортированный CSV/Excel файл. На первом листе в Excel у нас будут экспортированные данные, а нам нужно создать еще один лист. Создаем его и вставляем в него url-адреса тех страниц нашего сайта, на которых есть проблемы. Дальше используем функцию ВПР (VLOOKUP), чтобы узнать, есть ли url-адреса, введенные на втором листе в списке проанализированных url программой screaming frog.

Подробней о том, что за функция ВПР, вы можете посмотреть в видео ниже, а также нагуглить при желании соответствующую информацию

Подробней о том, что за функция ВПР, вы можете посмотреть в видео ниже

Как найти страницы с медленной загрузкой

Запускаем анализ сайта с помощью screaming frog seo spider, дожидаемся завершения анализа. После этого идем на вкладку «Response Codes» и делаем сортировку по параметру «Response Time» от самого большого значения к самому маленькому. Так мы сможем увидеть самые медленные страницы нашего сайта

Как найти вредоносный код или спам на сайте

Прежде всего необходимо определить присутствие этих внедрений, т.е. то, что они фактически присутствуют на сайте. Нам нужны фрагменты кода этих программ. Дальше идем в меню «Configuration – Custom — Search», и вводим в соответствующее поле фрагмент кода вредоносной программы, которую мы ищем

Далее запускаем анализ сайта и после его завершения переходим на вкладку «Custom» в верхнем окне программы. Здесь будут выведены все страницы, которые содержат введенный нами фрагмент кода. Если вы ввели несколько custom фильтров, то после завершения анализ сайта на вкладке «Custom» необходимо будет отфильтровать данные для каждого из фильтров.

#7 Screaming frog — извлечение данных

Как извлечь мета данные из списка страниц

Предположим, вы собрали список url-страниц вашего сайта, но вам нужно получить больше информации по ним. Тогда нужно зайти в меню «Mode» и установить значение на «List». Дальше необходимо загрузить ваш список url-страниц в формате .txt или .csv. Дальше необходимо запустить анализ сайта и после того, как он будет выполнен, вы сможете посмотреть статус-коды для каждой страницы, исходящие ссылки, количество слов, а также мета-данные для каждой страницы сайта.

Как найти все страницы сайта, содержание определенный код или текст

Прежде всего, необходимо знать, какой именно код или текст вы ищете. Дальше необходимо зайти в меню «Configuration – Custom — Search» и ввести часть кода или текста, который вы ищете. Например, я хочу найти все страницы, которые содержат код «id="vkontakte"».

Дальше запускаем анализ сайта, а после его завершения идем на вкладку «Custom» в верхнем окне программы Screaming frog и здесь мы увидим все страницы, которые содержат указанный код.

#8 Screaming frog — перезапись url

Как удалить сессионные id или другие параметры из моих url

Чтобы почистить url-ы от сессионных id или других параметров, просто запускаем анализ сайта с параметрами по-умолчанию. После завершения анализа сайта переходим на вкладку «URI» и фильтруем данные по параметру «Parameters».

Если будут найдены страницы с параметрами, то удалить эти параметры можно следующим образом. Идем в меню «Configuration – URL Rewriting» и затем на вкладке «Remove Parameters» кликаем на кнопку «Add», чтобы добавить параметры, которые бы вы хотели удалить из URL-адресов. Например, id, ref, source и т.д. После этого нажимаем ОК. После этого нужно будет еще раз запустить проверку сайта с этими настройками, для того, чтобы перезаписать URL-адреса.

Как переписать url (например, переписать с .com на .ru, или написать все url в нижнем регистре)

Чтобы переписать любой url на лету, который программа проанализировала, нужно выбрать «URL Rewriting» в меню «Configuration», а затем на вкладке «Regex Replace» нажать на «Add» и добавить регулярное выражение для того, что вы хотите заменить. Вот такие варианты регулярных выражений можно использовать:

Замена всех url с http на https:

  • Regex: http
  • Замена: https

Меняем все url вида mysite.com на mysite.ru:

  • Regex: .com
  • Замена: .ru

Удаляем все ненужные параметры:

  • Regex: \?.*
  • Замена на:

Удаляем .www из названия домена путем оставления пустого значения в поле replace:

  • Regex: www.
  • Замена на:

Этот список можно продолжать. Все зависит от ваших целей

Посмотреть изменения, которые произойдут после внесения этих параметров, можно предварительно на вкладке «Test».

Если вы хотите установить правило, по которому все url будут в нижнем регистре, просто отметьте чекбокс «Lowercase discovered URLs» на вкладке «Options». Это исключит любое дублирование с заглавными буквами при сканировании сайта.

И не забывайте, что для того чтобы указанные вами параметры были задействованы и вступили в силу, нужно повторно просканировать сайт в программе Screaming frog.

#9 Screaming frog — исследуем ключевые слова на сайте

Как узнать наиболее значимые страницы на сайте-конкуренте

В целом практика такова, что владелец любого сайта старается продвигаться ссылками и нагонять трафик на самые ценные страницы за счет внутренних ссылок на эти важные страницы. Поэтому наша задача – найти такие страницы у конкурента, затем отсортировать их на вкладке «Internal» по параметру «Inlinks» от самого большого значения до самого маленького. И тогда мы увидим, на какие страницы сайта больше всего внутренних ссылок

Также если анализировать сайты компаний, у которых обычно есть блог, то часто со страниц блога они ссылаются на самые важные страницы своего сайта. Блог, как правило, располагается в отдельной директории. И чтобы найти такие ссылки из блога, нужно убрать отметку с чекбокса «Check links outside of Start Folder» в меню «Configuration – Spider и еще раз просканируйте сайт.

После этого необходимо зайти на вкладку «External» и отфильтровать результаты, вводя в поисковую форму главный домен.

Как узнать текст анкоров, которые используют конкуренты во внутренней перелинковке

Прежде всего, запускаем анализ сайта-конкурента в Screaming frog, ждем его завершения. Потом идем в меню «Bulk Export» и выбираем «All Anchor Text», чтобы экспортировать CSV или Excel файл, который будет содержать все тексты анкоров, которые использованы на сайте. Там же мы сможем посмотреть, на каких страницах ссылки с этими анкорами стоят и куда они ведут.

Как узнать, какие meta keywords использует конкурент на сайте для любой страницы

Запускаем в Screaming frog анализ сайта-конкурента и ждем его завершения. После завершения анализа идем на вкладку «Meta Keywords» и смотрим все ключевые слова, которые прописаны в meta keywords для каждой страницы сайта.

Дальше сортируем колонку «Meta Keyword 1» в алфавитном порядке и разделяем пустые ячейки, или просто экспортируем весь полученный лист в CSV или Excel.

#10 Screaming frog — линкбилдинг

Как анализировать список ссылок ссылочных доноров

Если вы собрали список ссылочных доноров, либо у вас уже изначально он есть, и вы хотите проверить эти ссылки, вы можете загрузить эти ссылки в программу screaming frog и проверить в режиме «List», чтобы собрать больше информации об этих страницах.

После окончания анализа списка ссылок, зайдите на вкладку «Response Codes» и просмотрите типы ссылок, тексты анкоров и директивы nofollow на вкладке «Out Links» в нижнем окне программы. Это подкинет много идей о том, что это за сайты. Чтобы просмотреть информацию на вкладке «Out Links», убедитесь, что интересующий вас url, выделен в верхнем окне программы.

Разумеется, вам понадобится использовать фильтр, чтобы вывести информацию только по тому сайту, который вам нужен, либо наоборот – убрать из выведенного списка тот сайт, информацию по которому не нужно выводить.

Также можно экспортировать полный список внешних ссылок через меню «Bulk Export — All OutLinks». Это не только даст вам полный список внешних ссылок с анализируемого сайта, но также покажет список внутренних ссылок на определенные страницы из вашего списка.

Где взять список ссылок для анализа? Если речь идет об анализе всех внешних ссылок с нашего сайта, то скачать такой список можно, например, в Google Webmaster Tools (теперь он называется Search Console) на вкладке «Поисковый трафик – Ссылки на ваш сайт».

Кроме упомянутого выше Google Webmaster Tools внешние ссылки, если это сайт конкурента, можно взять в сервисах Majestic или Ahrefs. Ahrefs стал платный и если нужно сделать выгрузки из него, обращайтесь ко мне. За символическую плату могу сделать выгрузку из этого сервиса (только уточняйте).

Как найти битые ссылки на сайте-доноре, чтобы получить с него ссылку

У нас в рунете такое не очень прокатывает, но в буржунете это является одним из способов линкбилдинга. Смысл такой. Анализируем в программе Screaming frog какой-нибудь сайт по тематике, смежной с нашим сайтом. Находим на этом сайте битые ссылки. После этого пишем владельцу этого сайта, типа у вас вот тут битая ссылка и, быть может, вы рассмотрите вариант разместить вместо этой битой ссылки ссылку на мой сайт?

Ну и предложить какой-нибудь интересный пост со своего сайта. Возможно, если массово выполнять эту работу, кто-то все-таки откликнется и у нас будет возможность получить бесплатные ссылки.

Как проверить мои обратные ссылки и посмотреть тексты анкоров

Прежде всего, необходимо получить файл с url-списком, где размещены внешние ссылки на наш сайт. Такой список можно получить в Google Webmaster Tools (Search Console) на вкладке «Поисковый трафик – Ссылки на ваш сайт».

Дальше необходимо в интерфейсе программы Screaming frog перейти в режим «List». Дальше загружаем наш список и запускаем анализ в программе Screaming frog. Затем, после завершения анализа, экспортируем данные через меню «Bulk Export — All OutLinks». Теперь у нас есть CSV/Excel файл с url-адресами, с которых проставлены ссылки на наш сайт, включая анкоры ссылок, alt-теги. Полученные данные в колонке «Destination» можно фильтровать, чтобы получить информацию о том, есть ли ссылка на наш сайт, и если есть, то с каким анкором и текстом alt (если это изображение).

Отчет по каждому URL

По каждому url адресу, который отображен в Screaming frog, можно получить детальную информацию, если кликнуть правой клавишей мыши по этому адресу. Информация следующая:

  • Открыть выбранный url в браузере
  • Повторно просканировать выбранный url или удалить его из результатов анализа
  • Экспортировать информацию о выбранном url: внутренние ссылки, исходящие ссылки, информацию об изображениях
  • Проверить индексацию выбранного url в Google, Bing или Yahoo
  • Проверить обратные ссылки на страницу в сервисах Majestic, Open Site Explorer или Ahrefs
  • Посмотреть кэшированную версию выбранной страницы
  • Посмотреть старые версии страницы
  • Чекнуть HTML код выбранной страницы в валидаторе W3C
  • Посмотреть другие домены на выбранном IP
  • Открыть и посмотреть содержимое robots.txt

Заключение

Screaming Frog Seo Spider – мощная программа. Разумеется, она платная и тем более, что лицензия на нее покупается лишь на год. Тем не менее, как и говорил в самом начале, можно купить одну программу Screaming Frog Seo Spider и отпадет необходимость в использовании разных плагинов для сайта, например, для поиска битых ссылок или советчиков по внутренней перелинковке, либо не будет необходимости использовать платные сервисы для создания Sitemap.xml. Список можно продолжать.

Вариантов ее использования – огромное множество. Как только люди не изгаляются в поиске решений с помощью Screaming Frog Seo Spider. И то, о чем я написал сегодня в статье – это далеко не полный перечень возможностей этого мощного комбайна под названием Screaming Frog Seo Spider.

Оцените статью
5/5
1



<< Назад