Страница 1 из 1
Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 10:40
zerxx
Добрый день
Настраиваю парсер для сайта edustrong.ru
1. Не подгружаются ссылки на товары со страницы категории

- price1.jpg (68.02 КБ) 4075 просмотров

- price2.jpg (126.01 КБ) 4075 просмотров
На доноре работает ангуляр и меняет классы элементов. В парсере ставил и классы исходного html и добавленные ангуляром - не работает. Парсер достает любые ссылки кроме ссылок на товары.
2. В карточке товара не работает получение картинок. Классы стоят, но в тестировании фото не находит

- price3.jpg (37.16 КБ) 4075 просмотров

- price4.jpg (292.23 КБ) 4075 просмотров
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 12:26
TechAdmin
Здравствуйте.
К сожалению в коде html нет ссылок, они загружаются динамически через доп. запрос, например по адресу
https://edustrong.ru/5940.json
Поэтому не получится настроить парсер для этого сайта.
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 12:46
zerxx
В html коде есть ссылки, они заменяются динамическими данными уже после загрузки страницы, пример:

- price5.jpg (185.46 КБ) 4069 просмотров
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 14:48
TechAdmin
Парсер получает содержимое страницы сразу после того как веб сервер вернул ответ с кодом 200, в этот момент нет ссылок в коде html, далее начинает работать ангуляр, он получает по http объект JSON, значения которого раскидывает по html тегам.
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 15:29
zerxx
Ссылки точно есть, в devtools отключаю загрузку json и скриптов, вижу таблицу:

- price6.jpg (114.49 КБ) 4056 просмотров
Дергаю страницу через curl
https://edustrong.ru/5940_Kabinet_psihologa

- price7.jpg (200.39 КБ) 4056 просмотров
Ангуляр потом убирает этот блок и ставит свой
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 21 авг 2019 17:31
TechAdmin
Вы правы ссылки есть, но почему то при тестировании из фрейма html идёт без ссылок, в приложении файл html, который получен из фрейма.
При этом товары закачиваются с сайта по вашим настройкам

- 2019-08-21_17-34-22.jpg (88.14 КБ) 4049 просмотров
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 22 авг 2019 09:03
zerxx
Запускаю получение товаров - не находит товаров вообще

- 2019-08-22_08-58-20.png (9.57 КБ) 4044 просмотра
При этом в тестировании получения списка категорий через раз вываливается ошибка

- 2019-08-22_09-00-23.png (26.3 КБ) 4044 просмотра
А в том файле в html на месте контента находятся шаблоны ангуляра

- price9.jpg (61.53 КБ) 4044 просмотра
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 22 авг 2019 15:00
TechAdmin
Странно, нажали кнопку Загрузить, данные начали загружаться. Попробуйте отключить сторонние расширения в браузере.

- 2019-08-22_15-03-30.jpg (30.86 КБ) 4038 просмотров

- 2019-08-22_15-05-06.jpg (185.58 КБ) 4038 просмотров
Re: Парсер не видит ссылки на товары и изображения
Добавлено: 22 авг 2019 21:29
zerxx
Отключил расширения - все заработало, товары загружаются. Благодарю!