Парсер не видит ссылки на товары и изображения

Ответить
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

21 авг 2019 10:40

Добрый день

Настраиваю парсер для сайта edustrong.ru

1. Не подгружаются ссылки на товары со страницы категории
price1.jpg
price1.jpg (68.02 КБ) 3344 просмотра
price2.jpg
price2.jpg (126.01 КБ) 3344 просмотра
На доноре работает ангуляр и меняет классы элементов. В парсере ставил и классы исходного html и добавленные ангуляром - не работает. Парсер достает любые ссылки кроме ссылок на товары.

2. В карточке товара не работает получение картинок. Классы стоят, но в тестировании фото не находит
price3.jpg
price3.jpg (37.16 КБ) 3344 просмотра
price4.jpg
price4.jpg (292.23 КБ) 3344 просмотра
Аватара пользователя
TechAdmin
Администратор
Сообщения: 4286
Зарегистрирован: 27 авг 2008 14:30

21 авг 2019 12:26

Здравствуйте.
К сожалению в коде html нет ссылок, они загружаются динамически через доп. запрос, например по адресу
https://edustrong.ru/5940.json
Поэтому не получится настроить парсер для этого сайта.
С уважением, поддержка ElbuzGroup.
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

21 авг 2019 12:46

В html коде есть ссылки, они заменяются динамическими данными уже после загрузки страницы, пример:
price5.jpg
price5.jpg (185.46 КБ) 3338 просмотров
Аватара пользователя
TechAdmin
Администратор
Сообщения: 4286
Зарегистрирован: 27 авг 2008 14:30

21 авг 2019 14:48

Парсер получает содержимое страницы сразу после того как веб сервер вернул ответ с кодом 200, в этот момент нет ссылок в коде html, далее начинает работать ангуляр, он получает по http объект JSON, значения которого раскидывает по html тегам.
С уважением, поддержка ElbuzGroup.
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

21 авг 2019 15:29

Ссылки точно есть, в devtools отключаю загрузку json и скриптов, вижу таблицу:
price6.jpg
price6.jpg (114.49 КБ) 3325 просмотров
Дергаю страницу через curl https://edustrong.ru/5940_Kabinet_psihologa
price7.jpg
price7.jpg (200.39 КБ) 3325 просмотров
Ангуляр потом убирает этот блок и ставит свой
Аватара пользователя
TechAdmin
Администратор
Сообщения: 4286
Зарегистрирован: 27 авг 2008 14:30

21 авг 2019 17:31

Вы правы ссылки есть, но почему то при тестировании из фрейма html идёт без ссылок, в приложении файл html, который получен из фрейма.
При этом товары закачиваются с сайта по вашим настройкам
2019-08-21_17-34-22.jpg
2019-08-21_17-34-22.jpg (88.14 КБ) 3318 просмотров
Вложения
j-iframe.zip
(7.75 КБ) 110 скачиваний
С уважением, поддержка ElbuzGroup.
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

22 авг 2019 09:03

Запускаю получение товаров - не находит товаров вообще
2019-08-22_08-58-20.png
2019-08-22_08-58-20.png (9.57 КБ) 3313 просмотров
При этом в тестировании получения списка категорий через раз вываливается ошибка
2019-08-22_09-00-23.png
2019-08-22_09-00-23.png (26.3 КБ) 3313 просмотров

А в том файле в html на месте контента находятся шаблоны ангуляра
price9.jpg
price9.jpg (61.53 КБ) 3313 просмотров
Аватара пользователя
TechAdmin
Администратор
Сообщения: 4286
Зарегистрирован: 27 авг 2008 14:30

22 авг 2019 15:00

Странно, нажали кнопку Загрузить, данные начали загружаться. Попробуйте отключить сторонние расширения в браузере.
2019-08-22_15-03-30.jpg
2019-08-22_15-03-30.jpg (30.86 КБ) 3307 просмотров
2019-08-22_15-05-06.jpg
2019-08-22_15-05-06.jpg (185.58 КБ) 3307 просмотров
С уважением, поддержка ElbuzGroup.
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

22 авг 2019 21:29

Отключил расширения - все заработало, товары загружаются. Благодарю!
Ответить

Вернуться в «Техническая поддержка»