Как спарсить цены конкурентов при помощи Screaming Frog

Зачем нужен парсинг?

Перед нами стоит задача парсинга. Не все подозревают, насколько можно упростить конкурентный анализ, если у нас есть доступ к ценам или отдельным атрибутам товара наших конкурентов. Тогда мы можем их выгрузить в пару кликов и сопоставлять, работать с общей динамикой по ценообразованию. Для этих целей мы можем использовать парсинг сайта.

Что такое парсинг сайта?

Парсинг (Parsing) – это принятое в информатике определение синтаксического анализа, созданная математическая модель сравнения описанная одним из языков программирования. Например, PHP, Perl, Ruby, Python. Изучение Python — стало лучшей альтернативой для работы с такими данными в e-commerce проектах.

Итак, у вас появилась задача для парсинга цен у конкурентов, например, для сравнения с вашим сайтом. В этом нам поможет Screaming Frog.

Для этого мы будем использовать вкладку Configuration - Custom - Extraction.

Мы будем использовать вкладку Configuration - Custom - Extraction

Способы парсинга благодаря Screaming Frog

В этой вкладке мы можем парсить текущую страницу при помощи:

1. CSSPath — css селектора элемента или класса;
2. XPath — используя xpath элемента;
3. Regex (регулярного выражения).

мы можем парсить текущую страницу при помощи

Как парсить элементы на конкретном сайте?

Чтобы спарсить нужный элемент — заходим на источник (для примера буду использовать сайт dreamshoes и этот URL https://dreamshoes.in.ua/krossovki-nike-presto-pocket-knife-dm-black-blue-pink)

1. Наводим на цену и нажимаем правой кнопкой посмотреть код элемента:

Справа появится консоль, где в коде отобразится нужный элемент, и нам нужно будет выбрать его xpath или css селектор, чтобы добавить в наш screaming frog.

2. Буду использовать xpath, поэтому кликаем на него левой кнопкой и переходим в Screaming Frog — Extraction и выбираем Xpath, вставляем скопированный нами xpath элемента, т.е. цены:

3. Нам нужна цена без HTML кода: выбираем “Extract Inner Text”, затем нажимаем “OK”.

Чтобы увидеть результат — перейдите во вкладку “Custom” и выберите “Extraction”.

4. Мы видим, что в поле “Extraction 1 1” будет 900 грн, цена нужного нам товара.

При парсинге всего сайта это будет выглядеть вот так:

Для выгрузки отчета нажмите “Export”:

После чистки столбцов у нас будет файл с мета-данными, заголовками и ценами на товар:

Итог:

Мы научились выгружать необходимые нам данные по сайту в виде цены. Теперь вы можете делать так с любыми данными о товаре. Подобный метод легкодоступен и может быть полезен интернет-маркетологами, SEO-специалистам, отделу продаж и т.п.

Но всегда помните, что самое важное — уметь пользоваться данными и информацией, не тонуть в многочисленных таблицах и файлах.

Оригинал статьи взят с сайта Hillel

Другие статьи:

• Парсим контент конкурента программой Screaming Frog
• Примеры XPath в Screaming Frog SEO Spider
• Технический аудит сайта при помощи Screaming Frog SEO Spider