Деньги взяли, а проект парсера отдали нерабочий

Ответить
technello
Сообщения: 14
Зарегистрирован: 13 июн 2019 01:58

15 июл 2019 11:25

Здраствуйте, я заказал проект парсера для komputronik.pl, оплатил 50 дол., а мне отдали нерабочий проект. В чем заключается проблема:
1. Если ставить автопоиск описаний, то даже если я выделил для поиска 5 товаров, искать может оооочень долго. Все дело в том, что в настройке был указан сбор ссылок с страниц пагинации. Поскольку результатов на доноре может быть больше 100, то для одного товара собирались все ссылки с пагинаций. Решил проблему самостоятельно, урезав результат поиска до 3 и убрав пагинацию из забора ссылок.
2. Неработающие фото результатов поиска. Специально снял видео и отправил Вам на емейл. Фото в большинстве случаем не парсит. В некоторых результатах они есть, но только в некоторых. Проверял на категории "ноутбуки", которая для меня есть приоритетной.
3. Если автопоиск хотя бы создает видимость работы, то ручной поиск для даного сайта вообще не работает, тоесть найти товар на доноре можно, но ничего не парсится - ни фото, ни описание, ни характеристики.

Написал на Ваш емейл, в ответ молчание уже не сколько дней.
Проект может быть запущен только после поиска описаний, до этого - джампер для меня лично абсолютно не нужный продукт. Как можно если не компенсировать, то хотя бы остановить снятие денег каждый день с баланса до нормального запуска проекта? Честно, мне не очень интересно финансировать отлов багов в новой платформе.
Аватара пользователя
support
Сообщения: 10553
Зарегистрирован: 09 ноя 2008 21:37

15 июл 2019 12:42

Здраствуйте.
Товары, которые вы указали в видео, вы удалили в базовом каталоге.
Вам ответили 11 июля 2019 г., 20:27:40 (Thu, 11 Jul 2019 20:27:40 +0300) и в письме вас попросили прислать пример товара, по которому не загружается фотографии, так как у нас этот парсер работает без ошибок.
Но вы так и не прислали пример, ждём от вам пример товара для проверки фото, в момент вашего обращения проверить парсер не удлалось на вашей базе по причине отсутствия товаров, поэтому сразу написали вам.
C уважением, поддержка ElbuzGroup.
Документация E-Trade Jumper
technello
Сообщения: 14
Зарегистрирован: 13 июн 2019 01:58

15 июл 2019 13:00

к примеру, взяты любые товары из категории "ноутбуки". В новом видео использовал следующие товары:
285272
285271
285273
285274
285275
285276

Как видно на видео, результат 50% на 50%

Если проблема у меня, тогда что мне сделать? использовал VPN - результат такой же, другой пк? та же ситуация. Есть какие то системные требования? версия браузера, или ОС. Нужна ли оптимизация ПО дополнительная?

Видео с примером - https://www.youtube.com/watch?v=PBbD1HIfpFI
Аватара пользователя
TechAdmin
Администратор
Сообщения: 4286
Зарегистрирован: 27 авг 2008 14:30

15 июл 2019 20:35

1. Если ставить автопоиск описаний, то даже если я выделил для поиска 5 товаров, искать может оооочень долго.
Если искать по артикулу товара, тогда сайт выводит большое кол-во результатов, потому как такой модели товара может более 33 (разная комплектация памятью и т.д.)
Например модель 3581-4923 от DELL
https://www.komputronik.pl/search/categ ... =3581-4923
Сейчас у вас стоит ограничение на 3 товара из поиска, но нужных вам товаров может не быть в списке
2019-07-15_20-34-04.jpg
2019-07-15_20-34-04.jpg (25.36 КБ) 2781 просмотр
2. Неработающие фото результатов поиска.
Сайт не всегда отдаёт код страницы полностью, поэтому нужных данных на этапе парсинга для некоторых товаров нет. Кое-что доработали для вас, попробуйте сейчас (на меньшем кол-ве товаров для теста).
3. Если автопоиск хотя бы создает видимость работы, то ручной поиск для даного сайта вообще не работает
Парсеры под заказ настраиваются только для автоматического поиска, на данный момент нет возможности для настройки ручного режима.
С уважением, поддержка ElbuzGroup.
technello
Сообщения: 14
Зарегистрирован: 13 июн 2019 01:58

16 июл 2019 10:19

Зачем ждать полной загрузки всех js и их исполнения? в коде есть контейнер, который содержит ссылки на все изображения, без изполнения js. Именно так сейчас у меня работает DataCol - парсит в 6 потоков и ни одной проблемы без прокси и вэпээнов
Как я уже не однократно писал, что парсить нужно контейнер ktr-gallery и делать выборку ссылок на фото по регулярке:

Код: Выделить всё

<ktr-gallery
    items='[{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15ACNHGXCEP016_12-1.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15ACNHGXCEP016_12-1.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15ACNHGXCEP016_12-1.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-1.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-1.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-1.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-1.jpg","key":0},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15ACNHGXCEP016_12-2.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15ACNHGXCEP016_12-2.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15ACNHGXCEP016_12-2.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-2.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-2.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-2.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-2.jpg","key":1},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15ACNHGXCEP016_12-3.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15ACNHGXCEP016_12-3.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15ACNHGXCEP016_12-3.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-3.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-3.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-3.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-3.jpg","key":2},{"small":"\/\/static.komputronik.pl\/product-picture\/4\/LTI15ACNHGXCEP016_12-4.jpg","medium":"\/\/static.komputronik.pl\/product-picture\/5\/LTI15ACNHGXCEP016_12-4.jpg","mediumSmall":"\/\/static.komputronik.pl\/product-picture\/10\/LTI15ACNHGXCEP016_12-4.jpg","big":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-4.jpg","extraBig":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-4.jpg","is_picture":true,"url":"\/\/static.komputronik.pl\/product-picture\/6\/LTI15ACNHGXCEP016_12-4.jpg","zoom_url":"\/\/static.komputronik.pl\/product-picture\/11\/LTI15ACNHGXCEP016_12-4.jpg","key":3}]'
    base-img-url="'//front.komputronik.pl/pl-komputronik/img/'"
>
Пример регулярного выражения для выборки ссылок - zoom_url":"([^<>]*?)","key

Это значительно ускорит сам парсинг, так и сделает его более стабильным

Еще одно, у меня товары от данного интернет магазина составляют 80%, поэтому, артикулы совпадают практически всегда. Более того, у товара есть внутренний артикул контрагента. Зачем я это говорю? Затем, если искать по 100% совпавшему артикулу контагента, поиск не выдает множество результатов, а зразу переходит на карточку конкретного товара - это надо учесть
Аватара пользователя
TechAdmin
Администратор
Сообщения: 4286
Зарегистрирован: 27 авг 2008 14:30

16 июл 2019 12:27

В html коде получаемого с сайта нет ktr-gallery. В приложении файл page_uni_get_product_card.zip в нём код сайта.
Вложения
page_uni_get_product_card.zip
(40.58 КБ) 115 скачиваний
С уважением, поддержка ElbuzGroup.
technello
Сообщения: 14
Зарегистрирован: 13 июн 2019 01:58

22 июл 2019 12:45

TechAdmin писал(а):
16 июл 2019 12:27
В html коде получаемого с сайта нет ktr-gallery. В приложении файл page_uni_get_product_card.zip в нём код сайта.
я не знаю как Вы получаете ответ сайта, но там есть ktr-gallery. Возможно, Вы получаете ответ и выполняются js-скрипты, которые из данного атрибута уже и делают галерею?

вот скрин с исходником страницы:
Без імені.png
Без імені.png (207.99 КБ) 2728 просмотров
Ответить

Вернуться в «Техническая поддержка»