Страница 1 из 1

Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 10:40
zerxx
Добрый день

Настраиваю парсер для сайта edustrong.ru

1. Не подгружаются ссылки на товары со страницы категории
price1.jpg
price1.jpg (68.02 КБ) 4075 просмотров
price2.jpg
price2.jpg (126.01 КБ) 4075 просмотров
На доноре работает ангуляр и меняет классы элементов. В парсере ставил и классы исходного html и добавленные ангуляром - не работает. Парсер достает любые ссылки кроме ссылок на товары.

2. В карточке товара не работает получение картинок. Классы стоят, но в тестировании фото не находит
price3.jpg
price3.jpg (37.16 КБ) 4075 просмотров
price4.jpg
price4.jpg (292.23 КБ) 4075 просмотров

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 12:26
TechAdmin
Здравствуйте.
К сожалению в коде html нет ссылок, они загружаются динамически через доп. запрос, например по адресу
https://edustrong.ru/5940.json
Поэтому не получится настроить парсер для этого сайта.

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 12:46
zerxx
В html коде есть ссылки, они заменяются динамическими данными уже после загрузки страницы, пример:
price5.jpg
price5.jpg (185.46 КБ) 4069 просмотров

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 14:48
TechAdmin
Парсер получает содержимое страницы сразу после того как веб сервер вернул ответ с кодом 200, в этот момент нет ссылок в коде html, далее начинает работать ангуляр, он получает по http объект JSON, значения которого раскидывает по html тегам.

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 15:29
zerxx
Ссылки точно есть, в devtools отключаю загрузку json и скриптов, вижу таблицу:
price6.jpg
price6.jpg (114.49 КБ) 4056 просмотров
Дергаю страницу через curl https://edustrong.ru/5940_Kabinet_psihologa
price7.jpg
price7.jpg (200.39 КБ) 4056 просмотров
Ангуляр потом убирает этот блок и ставит свой

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 21 авг 2019 17:31
TechAdmin
Вы правы ссылки есть, но почему то при тестировании из фрейма html идёт без ссылок, в приложении файл html, который получен из фрейма.
При этом товары закачиваются с сайта по вашим настройкам
2019-08-21_17-34-22.jpg
2019-08-21_17-34-22.jpg (88.14 КБ) 4049 просмотров

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 22 авг 2019 09:03
zerxx
Запускаю получение товаров - не находит товаров вообще
2019-08-22_08-58-20.png
2019-08-22_08-58-20.png (9.57 КБ) 4044 просмотра
При этом в тестировании получения списка категорий через раз вываливается ошибка
2019-08-22_09-00-23.png
2019-08-22_09-00-23.png (26.3 КБ) 4044 просмотра

А в том файле в html на месте контента находятся шаблоны ангуляра
price9.jpg
price9.jpg (61.53 КБ) 4044 просмотра

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 22 авг 2019 15:00
TechAdmin
Странно, нажали кнопку Загрузить, данные начали загружаться. Попробуйте отключить сторонние расширения в браузере.
2019-08-22_15-03-30.jpg
2019-08-22_15-03-30.jpg (30.86 КБ) 4038 просмотров
2019-08-22_15-05-06.jpg
2019-08-22_15-05-06.jpg (185.58 КБ) 4038 просмотров

Re: Парсер не видит ссылки на товары и изображения

Добавлено: 22 авг 2019 21:29
zerxx
Отключил расширения - все заработало, товары загружаются. Благодарю!