Настройка Screaming Frog SEO Spider для сканирования сайтов
Инструкция по настройке Лягушки (Screaming Frog) для сканирования сайтов. Активируем и настраиваем программу для работы в ручном и из файла готовой конфигурации в пару кликов.
Делюсь одной из частей регламента для сотрудников, которая посвящена работе с программой Screaming Frog.
Всем привет. Меня зовут Толстенко Александр. Я частный специалист по продвижению сайтов в Яндексе и Google.
Работаю в сфере создания и продвижения сайтов с 2009 года (уже более 15 лет).
Настраиваем параметры программы Screaming Frog SEO Spider
Запускам программу и сразу вводим ключ активации:
Важно! Программа должна быть активирована, чтобы просканировать весь сайт, а не только первые 500 страниц.
Далее, переходим к одному из методов настройке самой программы.
1. Загрузка настроек из готового файла конфигурации
Чтобы не разбираться в деталях настройки программы, загружаем скачанную конфигурацию на ПК и импортируем настройки, которые подойдут в 90% случаев для сканирования практически всех сайтов.
Готовая конфигурация для скачивания на ПК
Инструкция по импорту
1.1. Открываем меню: File → Configuration → Load.
1.2. Импортируем скаченный файл выше.
1.3. Сохраняем загруженные настройки по умолчанию (будут применены при каждом открытии программы).
1.4. Проверяем, где будут храниться данные сканирования в ОЗУ или на жестком (System → Storage Mode) (могло снести при импорте).
1.5. Проверить сколько у вас установилось оперативной памяти для сканирования (могло снести при импорте).
Разработчики заявляют, что для хранения базы данных 4 ГБ ОЗУ позволят вам сканировать 2-3 миллиона URL-адресов, 8 ГБ ОЗУ позволят сканировать до 5 миллионов URL-адресов и 16 ГБ для 10 миллионов. Но, все это - приблизительные значения, так как зависит от типа сайта.
Рекомендуемое значение программой будет указано в скобках (пример на скриншоте ниже в скобках: 14 GB maximum allowed). Задать самостоятельно можно будет в окошке (у себя указал 10 GB).
Я отдаю ~60% от общего объема, чтобы не зависал компьютер. Пример на скрине. После указанных значений, нажимаем ОК.
1.3. Сохраняем загруженные настройки по умолчанию (будут применены при каждом открытии программы).
1.5. Перезагружаем программу, запускаем парсинг нужного сайта.
Проверка задачи (самопроверка)
- Скачали файл конфигурации программы и импортировали его.
- Проверили на всякий случай п. 1.4 и 1.5., если импорт снес, установили свои значения.
- Сохранили импортированные настройки, чтобы каждый раз не настраивать.
- Перезагрузили программу, запустили парсинг нужного сайта.
2. Ручная настройка (если нужно настроить под себя)
2.1. Запускам программу и открываем настройки: Configuration.
2.2. Выбираем где хранить данные в ОЗУ или на жестком (System → Storage Mode).
2.3. Выбираем место, где будут храниться данные сканирования.
Выбираем:
1) Database Store.
2) Указать путь, где будут на жестком диске храниться данные парсинга (при желании).
3) Нажать кнопку: Ок, для сохранения изменений.
2.4. Увеличиваем оперативную память для сканирования, чтобы не тупила программа
В зависимости от объема оперативной памяти на вашем компьютере (у меня 16 GB), вы можете задать значение самостоятельно. Чем больше объем, тем меньше будет тупить программа. Рекомендуемое значение программой, будет указано в скобках (пример на скрине ниже в скобках: 14GB maximum allowed). Задать самостоятельно можно будет в окошке (у себя указал 10 GB).
Я отдаю ~60% от общего объема, чтобы не зависал компьютер. Пример как у меня на скрине. После указанных значений, нажимаем ОК.
2.5. Сохраняем сделанные настройки конфигурации, чтобы открывались по умолчанию
2.6. Перезагружаем программу, она готова к работе
2.7. Переходим к сканированию сайта
Важно! Если у вас очень большой проект (больше полумиллиона страниц), можно отключить ненужные параметры для сканирования. Пример настроек на скриншотах ниже. Поигравшись с настройками самостоятельно, можно просканировать весь сайт.
Проверка задачи (самопроверка)
- Программа настроена для сканирования сайтов.
- Сохранили настройки, чтобы каждый раз не настраивать программу.
- Перезагрузили программу, запустили парсинг нужного сайта.
Оригинал статьи взят с сайта Marketing Digital
Другие статьи: