Страница 1 из 1
Деньги взяли, а проект парсера отдали нерабочий
Добавлено: 15 июл 2019 11:25
technello
Здраствуйте, я заказал проект парсера для komputronik.pl, оплатил 50 дол., а мне отдали нерабочий проект. В чем заключается проблема:
1. Если ставить автопоиск описаний, то даже если я выделил для поиска 5 товаров, искать может оооочень долго. Все дело в том, что в настройке был указан сбор ссылок с страниц пагинации. Поскольку результатов на доноре может быть больше 100, то для одного товара собирались все ссылки с пагинаций. Решил проблему самостоятельно, урезав результат поиска до 3 и убрав пагинацию из забора ссылок.
2. Неработающие фото результатов поиска. Специально снял видео и отправил Вам на емейл. Фото в большинстве случаем не парсит. В некоторых результатах они есть, но только в некоторых. Проверял на категории "ноутбуки", которая для меня есть приоритетной.
3. Если автопоиск хотя бы создает видимость работы, то ручной поиск для даного сайта вообще не работает, тоесть найти товар на доноре можно, но ничего не парсится - ни фото, ни описание, ни характеристики.
Написал на Ваш емейл, в ответ молчание уже не сколько дней.
Проект может быть запущен только после поиска описаний, до этого - джампер для меня лично абсолютно не нужный продукт. Как можно если не компенсировать, то хотя бы остановить снятие денег каждый день с баланса до нормального запуска проекта? Честно, мне не очень интересно финансировать отлов багов в новой платформе.
Re: Деньги взяли, а проект парсера отдали нерабочий
Добавлено: 15 июл 2019 12:42
support
Здраствуйте.
Товары, которые вы указали в видео, вы удалили в базовом каталоге.
Вам ответили 11 июля 2019 г., 20:27:40 (Thu, 11 Jul 2019 20:27:40 +0300) и в письме вас попросили прислать пример товара, по которому не загружается фотографии, так как у нас этот парсер работает без ошибок.
Но вы так и не прислали пример, ждём от вам пример товара для проверки фото, в момент вашего обращения проверить парсер не удлалось на вашей базе по причине отсутствия товаров, поэтому сразу написали вам.
Re: Деньги взяли, а проект парсера отдали нерабочий
Добавлено: 15 июл 2019 13:00
technello
к примеру, взяты любые товары из категории "ноутбуки". В новом видео использовал следующие товары:
285272
285271
285273
285274
285275
285276
Как видно на видео, результат 50% на 50%
Если проблема у меня, тогда что мне сделать? использовал VPN - результат такой же, другой пк? та же ситуация. Есть какие то системные требования? версия браузера, или ОС. Нужна ли оптимизация ПО дополнительная?
Видео с примером -
https://www.youtube.com/watch?v=PBbD1HIfpFI
Re: Деньги взяли, а проект парсера отдали нерабочий
Добавлено: 15 июл 2019 20:35
TechAdmin
1. Если ставить автопоиск описаний, то даже если я выделил для поиска 5 товаров, искать может оооочень долго.
Если искать по артикулу товара, тогда сайт выводит большое кол-во результатов, потому как такой модели товара может более 33 (разная комплектация памятью и т.д.)
Например модель 3581-4923 от DELL
https://www.komputronik.pl/search/categ ... =3581-4923
Сейчас у вас стоит ограничение на 3 товара из поиска, но нужных вам товаров может не быть в списке
- 2019-07-15_20-34-04.jpg (25.36 КБ) 2849 просмотров
2. Неработающие фото результатов поиска.
Сайт не всегда отдаёт код страницы полностью, поэтому нужных данных на этапе парсинга для некоторых товаров нет. Кое-что доработали для вас, попробуйте сейчас (на меньшем кол-ве товаров для теста).
3. Если автопоиск хотя бы создает видимость работы, то ручной поиск для даного сайта вообще не работает
Парсеры под заказ настраиваются только для автоматического поиска, на данный момент нет возможности для настройки ручного режима.
Re: Деньги взяли, а проект парсера отдали нерабочий
Добавлено: 16 июл 2019 10:19
technello
Зачем ждать полной загрузки всех js и их исполнения? в коде есть контейнер, который содержит ссылки на все изображения, без изполнения js. Именно так сейчас у меня работает DataCol - парсит в 6 потоков и ни одной проблемы без прокси и вэпээнов
Как я уже не однократно писал, что парсить нужно контейнер ktr-gallery и делать выборку ссылок на фото по регулярке:
Код: Выделить всё
<ktr-gallery
items='[{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15ACNHGXCEP016_12-1.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15ACNHGXCEP016_12-1.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15ACNHGXCEP016_12-1.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-1.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-1.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-1.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-1.jpg","key":0},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15ACNHGXCEP016_12-2.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15ACNHGXCEP016_12-2.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15ACNHGXCEP016_12-2.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-2.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-2.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-2.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-2.jpg","key":1},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15ACNHGXCEP016_12-3.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15ACNHGXCEP016_12-3.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15ACNHGXCEP016_12-3.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-3.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-3.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-3.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-3.jpg","key":2},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15ACNHGXCEP016_12-4.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15ACNHGXCEP016_12-4.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15ACNHGXCEP016_12-4.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-4.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-4.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-4.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-4.jpg","key":3}]'
base-img-url="'//front.komputronik.pl/pl-komputronik/img/'"
>
Пример регулярного выражения для выборки ссылок - zoom_url":"([^<>]*?)","key
Это значительно ускорит сам парсинг, так и сделает его более стабильным
Еще одно, у меня товары от данного интернет магазина составляют 80%, поэтому, артикулы совпадают практически всегда. Более того, у товара есть внутренний артикул контрагента. Зачем я это говорю? Затем, если искать по 100% совпавшему артикулу контагента, поиск не выдает множество результатов, а зразу переходит на карточку конкретного товара - это надо учесть
Re: Деньги взяли, а проект парсера отдали нерабочий
Добавлено: 16 июл 2019 12:27
TechAdmin
В html коде получаемого с сайта нет ktr-gallery. В приложении файл page_uni_get_product_card.zip в нём код сайта.
Re: Деньги взяли, а проект парсера отдали нерабочий
Добавлено: 22 июл 2019 12:45
technello
TechAdmin писал(а): ↑16 июл 2019 12:27
В html коде получаемого с сайта нет ktr-gallery. В приложении файл page_uni_get_product_card.zip в нём код сайта.
я не знаю как Вы получаете ответ сайта, но там есть ktr-gallery. Возможно, Вы получаете ответ и выполняются js-скрипты, которые из данного атрибута уже и делают галерею?
вот скрин с исходником страницы:
- Без імені.png (207.99 КБ) 2796 просмотров