Страница 1 из 1

Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 10:40
zerxx
Добрый день

Настраиваю парсер для сайта edustrong.ru

1. Не подгружаются ссылки на товары со страницы категории
price1.jpg
price1.jpg (68.02 КБ) 3358 просмотров
price2.jpg
price2.jpg (126.01 КБ) 3358 просмотров
На доноре работает ангуляр и меняет классы элементов. В парсере ставил и классы исходного html и добавленные ангуляром - не работает. Парсер достает любые ссылки кроме ссылок на товары.

2. В карточке товара не работает получение картинок. Классы стоят, но в тестировании фото не находит
price3.jpg
price3.jpg (37.16 КБ) 3358 просмотров
price4.jpg
price4.jpg (292.23 КБ) 3358 просмотров

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 12:26
TechAdmin
Здравствуйте.
К сожалению в коде html нет ссылок, они загружаются динамически через доп. запрос, например по адресу
https://edustrong.ru/5940.json
Поэтому не получится настроить парсер для этого сайта.

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 12:46
zerxx
В html коде есть ссылки, они заменяются динамическими данными уже после загрузки страницы, пример:
price5.jpg
price5.jpg (185.46 КБ) 3352 просмотра

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 14:48
TechAdmin
Парсер получает содержимое страницы сразу после того как веб сервер вернул ответ с кодом 200, в этот момент нет ссылок в коде html, далее начинает работать ангуляр, он получает по http объект JSON, значения которого раскидывает по html тегам.

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 15:29
zerxx
Ссылки точно есть, в devtools отключаю загрузку json и скриптов, вижу таблицу:
price6.jpg
price6.jpg (114.49 КБ) 3339 просмотров
Дергаю страницу через curl https://edustrong.ru/5940_Kabinet_psihologa
price7.jpg
price7.jpg (200.39 КБ) 3339 просмотров
Ангуляр потом убирает этот блок и ставит свой

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 17:31
TechAdmin
Вы правы ссылки есть, но почему то при тестировании из фрейма html идёт без ссылок, в приложении файл html, который получен из фрейма.
При этом товары закачиваются с сайта по вашим настройкам
2019-08-21_17-34-22.jpg
2019-08-21_17-34-22.jpg (88.14 КБ) 3332 просмотра

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 22 авг 2019 09:03
zerxx
Запускаю получение товаров - не находит товаров вообще
2019-08-22_08-58-20.png
2019-08-22_08-58-20.png (9.57 КБ) 3327 просмотров
При этом в тестировании получения списка категорий через раз вываливается ошибка
2019-08-22_09-00-23.png
2019-08-22_09-00-23.png (26.3 КБ) 3327 просмотров

А в том файле в html на месте контента находятся шаблоны ангуляра
price9.jpg
price9.jpg (61.53 КБ) 3327 просмотров

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 22 авг 2019 15:00
TechAdmin
Странно, нажали кнопку Загрузить, данные начали загружаться. Попробуйте отключить сторонние расширения в браузере.
2019-08-22_15-03-30.jpg
2019-08-22_15-03-30.jpg (30.86 КБ) 3321 просмотр
2019-08-22_15-05-06.jpg
2019-08-22_15-05-06.jpg (185.58 КБ) 3321 просмотр

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 22 авг 2019 21:29
zerxx
Отключил расширения - все заработало, товары загружаются. Благодарю!