Парсер настроенный вручную не сохраняет фото

Ответить
technello
Сообщения: 14
Зарегистрирован: 13 июн 2019 01:58

29 июн 2019 00:06

Здравствуйте, настроил парсер сайта вручную и на вкладке "тестирование результатов" парсер получает список урлов на фотографии товаров, а вот при автопоиске - фото не отображаются.

Скриншот результата тестирования:
http://prntscr.com/o837dw

Скриншот результата поиска:
http://prntscr.com/o837za
technello
Сообщения: 14
Зарегистрирован: 13 июн 2019 01:58

01 июл 2019 10:54

Заметил, что на сайте донора, элементы img, которые я использую для парсинга фото, генерируются с помощью jscript во время загрузки страницы. До загрузки страницы. все фото находятся в атрибуте items объекта <kt-gallery>:

Код: Выделить всё

<ktr-gallery
    items='[{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-1.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-1.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-1.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-1.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-1.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-1.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-1.jpg","key":0},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-2.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-2.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-2.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-2.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-2.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-2.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-2.jpg","key":1},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-3.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-3.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-3.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-3.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-3.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-3.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-3.jpg","key":2},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-4.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-4.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-4.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-4.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-4.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-4.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-4.jpg","key":3},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-5.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-5.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-5.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-5.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-5.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-5.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-5.jpg","key":4},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-6.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-6.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-6.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-6.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-6.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-6.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-6.jpg","key":5},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-7.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-7.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-7.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-7.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-7.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-7.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-7.jpg","key":6},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-8.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-8.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-8.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-8.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-8.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-8.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-8.jpg","key":7},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-9.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-9.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-9.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-9.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-9.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-9.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-9.jpg","key":8},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-10.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-10.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-10.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-10.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-10.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-10.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-10.jpg","key":9},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-11.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-11.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-11.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-11.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-11.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-11.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-11.jpg","key":10},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/MONLS34J550WQUXEN-12.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/MONLS34J550WQUXEN-12.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/MONLS34J550WQUXEN-12.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-12.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-12.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/MONLS34J550WQUXEN-12.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/MONLS34J550WQUXEN-12.jpg","key":11}]'
    base-img-url="'//front.komputronik.pl/pl-komputronik/img/'"
>
Собственно, вопрос в том - плагин "прогружает" страницу с выполнением jscript, или нет?

Проверил парсинг на datacol, вот такая регулярка работает без проблем:
RegEx для большого фото:

Код: Выделить всё

zoom_url":"([^<>]*?)","key
с заменой "\/" на "/"

Попробовал вставить ее в jumper - не сработало
Аватара пользователя
TechAdmin
Администратор
Сообщения: 3890
Зарегистрирован: 27 авг 2008 14:30

01 июл 2019 19:16

Собственно, вопрос в том - плагин "прогружает" страницу с выполнением jscript, или нет?
Здравствуйте.
Нет, JS не выполняется.
Для получения ссылок на фото используйте селектор

Код: Выделить всё

div.gallery-thumbs li img::attr(src)
И замену для получения больших фото
2019-07-01_19-19-16.jpg
2019-07-01_19-19-16.jpg (38.18 КБ) 145 просмотров
С уважением, поддержка ElbuzGroup.
technello
Сообщения: 14
Зарегистрирован: 13 июн 2019 01:58

02 июл 2019 11:49

неработает, я изначально пытался извлечь ссылки на фото предложеным Вами вариантом. но проблема в том, что элемента DOM с таким селектором не существует до выполнения js на странице. То-есть, данная галерея с изображениями генерируется с помощью JS.
До выполнения JS список всех изображений находиться атрибуте item элемента ktr-gallery (html тэг):
Пример ktr-gallery:

Код: Выделить всё

<ktr-gallery
    items='[{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-1.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-1.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-1.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-1.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-1.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-1.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-1.jpg","key":0},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-2.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-2.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-2.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-2.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-2.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-2.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-2.jpg","key":1},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-3.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-3.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-3.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-3.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-3.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-3.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-3.jpg","key":2},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-4.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-4.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-4.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-4.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-4.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-4.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-4.jpg","key":3},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-5.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-5.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-5.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-5.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-5.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-5.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-5.jpg","key":4},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-6.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-6.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-6.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-6.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-6.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-6.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-6.jpg","key":5},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-7.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-7.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-7.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-7.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-7.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-7.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-7.jpg","key":6},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-8.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-8.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-8.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-8.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-8.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-8.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-8.jpg","key":7},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-9.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-9.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-9.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-9.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-9.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-9.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-9.jpg","key":8},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15DEL3567-4480_PL-10.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15DEL3567-4480_PL-10.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15DEL3567-4480_PL-10.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-10.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-10.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15DEL3567-4480_PL-10.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15DEL3567-4480_PL-10.jpg","key":9}]'
    base-img-url="'//front.komputronik.pl/pl-komputronik/img/'"
>
Примечание: я попытался сделать по аналогии с парсером DataCol, а именно , применил регулярку RegEx:

Код: Выделить всё

zoom_url":"([^<>]*?)","key
также,применил замену "\/" на "/", и она чудесно работает в DataCol, но, к сожалению, не сработала в Jumper.
Примеров в документации по извлечению изображений с последовательностей я не нашел.

Вопрос: как извлечь нужные последовательности, которые содержат ссылки из атрибута item?
Ответить

Вернуться в «Техническая поддержка»