Страница 1 из 1
Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 10:40
zerxx
Добрый день
Настраиваю парсер для сайта edustrong.ru
1. Не подгружаются ссылки на товары со страницы категории
- price1.jpg (68.02 КБ) 3358 просмотров
- price2.jpg (126.01 КБ) 3358 просмотров
На доноре работает ангуляр и меняет классы элементов. В парсере ставил и классы исходного html и добавленные ангуляром - не работает. Парсер достает любые ссылки кроме ссылок на товары.
2. В карточке товара не работает получение картинок. Классы стоят, но в тестировании фото не находит
- price3.jpg (37.16 КБ) 3358 просмотров
- price4.jpg (292.23 КБ) 3358 просмотров
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 12:26
TechAdmin
Здравствуйте.
К сожалению в коде html нет ссылок, они загружаются динамически через доп. запрос, например по адресу
https://edustrong.ru/5940.json
Поэтому не получится настроить парсер для этого сайта.
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 12:46
zerxx
В html коде есть ссылки, они заменяются динамическими данными уже после загрузки страницы, пример:
- price5.jpg (185.46 КБ) 3352 просмотра
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 14:48
TechAdmin
Парсер получает содержимое страницы сразу после того как веб сервер вернул ответ с кодом 200, в этот момент нет ссылок в коде html, далее начинает работать ангуляр, он получает по http объект JSON, значения которого раскидывает по html тегам.
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 15:29
zerxx
Ссылки точно есть, в devtools отключаю загрузку json и скриптов, вижу таблицу:
- price6.jpg (114.49 КБ) 3339 просмотров
Дергаю страницу через curl
https://edustrong.ru/5940_Kabinet_psihologa
- price7.jpg (200.39 КБ) 3339 просмотров
Ангуляр потом убирает этот блок и ставит свой
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 17:31
TechAdmin
Вы правы ссылки есть, но почему то при тестировании из фрейма html идёт без ссылок, в приложении файл html, который получен из фрейма.
При этом товары закачиваются с сайта по вашим настройкам
- 2019-08-21_17-34-22.jpg (88.14 КБ) 3332 просмотра
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 22 авг 2019 09:03
zerxx
Запускаю получение товаров - не находит товаров вообще
- 2019-08-22_08-58-20.png (9.57 КБ) 3327 просмотров
При этом в тестировании получения списка категорий через раз вываливается ошибка
- 2019-08-22_09-00-23.png (26.3 КБ) 3327 просмотров
А в том файле в html на месте контента находятся шаблоны ангуляра
- price9.jpg (61.53 КБ) 3327 просмотров
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 22 авг 2019 15:00
TechAdmin
Странно, нажали кнопку Загрузить, данные начали загружаться. Попробуйте отключить сторонние расширения в браузере.
- 2019-08-22_15-03-30.jpg (30.86 КБ) 3321 просмотр
- 2019-08-22_15-05-06.jpg (185.58 КБ) 3321 просмотр
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 22 авг 2019 21:29
zerxx
Отключил расширения - все заработало, товары загружаются. Благодарю!