Парсер не видит ссылки на товары и изображения

Ответить
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

21 авг 2019 10:40

Добрый день

Настраиваю парсер для сайта edustrong.ru

1. Не подгружаются ссылки на товары со страницы категории
price1.jpg
price1.jpg (68.02 КБ) 195 просмотров
price2.jpg
price2.jpg (126.01 КБ) 195 просмотров
На доноре работает ангуляр и меняет классы элементов. В парсере ставил и классы исходного html и добавленные ангуляром - не работает. Парсер достает любые ссылки кроме ссылок на товары.

2. В карточке товара не работает получение картинок. Классы стоят, но в тестировании фото не находит
price3.jpg
price3.jpg (37.16 КБ) 195 просмотров
price4.jpg
price4.jpg (292.23 КБ) 195 просмотров
Аватара пользователя
TechAdmin
Администратор
Сообщения: 3890
Зарегистрирован: 27 авг 2008 14:30

21 авг 2019 12:26

Здравствуйте.
К сожалению в коде html нет ссылок, они загружаются динамически через доп. запрос, например по адресу
https://edustrong.ru/5940.json
Поэтому не получится настроить парсер для этого сайта.
С уважением, поддержка ElbuzGroup.
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

21 авг 2019 12:46

В html коде есть ссылки, они заменяются динамическими данными уже после загрузки страницы, пример:
price5.jpg
price5.jpg (185.46 КБ) 189 просмотров
Аватара пользователя
TechAdmin
Администратор
Сообщения: 3890
Зарегистрирован: 27 авг 2008 14:30

21 авг 2019 14:48

Парсер получает содержимое страницы сразу после того как веб сервер вернул ответ с кодом 200, в этот момент нет ссылок в коде html, далее начинает работать ангуляр, он получает по http объект JSON, значения которого раскидывает по html тегам.
С уважением, поддержка ElbuzGroup.
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

21 авг 2019 15:29

Ссылки точно есть, в devtools отключаю загрузку json и скриптов, вижу таблицу:
price6.jpg
price6.jpg (114.49 КБ) 176 просмотров
Дергаю страницу через curl https://edustrong.ru/5940_Kabinet_psihologa
price7.jpg
price7.jpg (200.39 КБ) 176 просмотров
Ангуляр потом убирает этот блок и ставит свой
Аватара пользователя
TechAdmin
Администратор
Сообщения: 3890
Зарегистрирован: 27 авг 2008 14:30

21 авг 2019 17:31

Вы правы ссылки есть, но почему то при тестировании из фрейма html идёт без ссылок, в приложении файл html, который получен из фрейма.
При этом товары закачиваются с сайта по вашим настройкам
2019-08-21_17-34-22.jpg
2019-08-21_17-34-22.jpg (88.14 КБ) 169 просмотров
Вложения
j-iframe.zip
(7.75 КБ) 7 скачиваний
С уважением, поддержка ElbuzGroup.
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

22 авг 2019 09:03

Запускаю получение товаров - не находит товаров вообще
2019-08-22_08-58-20.png
2019-08-22_08-58-20.png (9.57 КБ) 164 просмотра
При этом в тестировании получения списка категорий через раз вываливается ошибка
2019-08-22_09-00-23.png
2019-08-22_09-00-23.png (26.3 КБ) 164 просмотра

А в том файле в html на месте контента находятся шаблоны ангуляра
price9.jpg
price9.jpg (61.53 КБ) 164 просмотра
Аватара пользователя
TechAdmin
Администратор
Сообщения: 3890
Зарегистрирован: 27 авг 2008 14:30

22 авг 2019 15:00

Странно, нажали кнопку Загрузить, данные начали загружаться. Попробуйте отключить сторонние расширения в браузере.
2019-08-22_15-03-30.jpg
2019-08-22_15-03-30.jpg (30.86 КБ) 158 просмотров
2019-08-22_15-05-06.jpg
2019-08-22_15-05-06.jpg (185.58 КБ) 158 просмотров
С уважением, поддержка ElbuzGroup.
zerxx
Сообщения: 17
Зарегистрирован: 31 май 2015 12:31

22 авг 2019 21:29

Отключил расширения - все заработало, товары загружаются. Благодарю!
Ответить

Вернуться в «Техническая поддержка»