Не сохраняются фотографии при парсинге Мерлиона

Velibekov · 10 янв 2016 00:27

Суть проблемы в том, что после парсинга, когда программа показывает результат, фотографии есть, а после того, как нажимаем "сохранить", они пропадают.
Ниже подробнее.

Итак, парсим Мерлион по коду поставщика

: QIP Shot - Screen 484.png (69.21 КБ) 8448 просмотров

После этого, смотрим результат и видим, что везде есть фотки

: QIP Shot - Screen 485.png (156.02 КБ) 8448 просмотров

Сохраняем.
Программа нам сообщает о том, что из 19 пропарсенных товаров, для 9 найдены описания

: QIP Shot - Screen 486.png (53.56 КБ) 8448 просмотров

А теперь смотрим спарсенные товары в CC и видим....
А видим мы, что фотографии нет, хотя стоит отметка в "Фото №1"

: QIP Shot - Screen 487.png (130.02 КБ) 8448 просмотров

Будучи юзером, который уже 3 года пользуется етрейдом, пробую исправить ситуацию

: QIP Shot - Screen 488.png (43.22 КБ) 8448 просмотров

Не получив решения проблемы, вычищаю ссылки

: QIP Shot - Screen 489.png (76.76 КБ) 8448 просмотров

Velibekov · 10 янв 2016 00:41

И вижу результат: проблема с 7 фотками

: QIP Shot - Screen 490.png (91.09 КБ) 8447 просмотров

И после вычищения ссылок, вижу актуальную информацию о наличии фотографий в описаниях

: QIP Shot - Screen 491.png (44.42 КБ) 8447 просмотров

В прошлом, проблема была и я некоторое время назад заплатил 40$ за техподдержку.
В итоге, после длительного мучения и анализа, мне посоветовали пользоваться сторонними DNS серверами (совершенно не понимаю, какая разница?).
И с тех пор мне приходится пользоваться костылем, в виде приложения Net Set Man, которое при любом интернет коннекте прикручивает прописанные мной ДНСы

: QIP Shot - Screen 492.png (54.23 КБ) 8447 просмотров

Однако, сейчас и ДНСы уже не помогают.
До недавнего времени, в качестве первичного стоял Яндексовый, в качестве вторичного Гугловый - из 10 карточек товаров только в одной оставались фотки.
Когда прописал оба ДНСа Гугловых - в карточке сохраняется из 10 фоток примерно 2-3-4.

С конфигурацией системы все хорошо

: QIP Shot - Screen 493.png (16.31 КБ) 8447 просмотров

: QIP Shot - Screen 494.png (2.28 КБ) 8447 просмотров

Что делать?

Velibekov · 10 янв 2016 00:50

Контроль учетных записей - отключен. Более того, программа установлена на диск "D" и на том же диске сама БД, то есть не на системном.
И все равно, пробовал запускать через правую кнопку - от имени администратора (ну, мало ли чего) - без толку.
В качестве антивиря стоит Касперский, которого выгружал полностью - без толку: CC фотографии скачивает, показывает их, но не сохраняет на диске.

И это проблема вечная: с прошлого раза, когда возникла такая проблема и платил техподдержке, винда заменена:
Windows 7 ->
Windows 8 -> Upgrade Windows 8.1 -> Upgrade Windows 10
Windows 7 ......
Да и в аппаратном плане, на ноутбуке только дисплей остался прежним, а, все остальное: процессор, материнка, ОЗУ, хард - все заменено.

Velibekov · 10 янв 2016 06:36

Парсю, очень маленькую группу товаров, штук 20.
Из них на 10 он находит описания и фотки.
Жму на "сохранить".
На 2-х товарах сохраняются фотки, не остальных 8 нет.

Может ли подобное происходить, скажем, от того, что при переустановке Windows сам етрейд не переустанавливался?

11 янв 2016 10:12

закачкой фото занимается сторонняя программа aria2c
нужно открыть командную строку и запустить
"c:\Program Files (x86)\E-Trade Content Creator\Downloader\aria2c.exe"

Velibekov · 11 янв 2016 21:43

e-special писал(а):закачкой фото занимается сторонняя программа aria2c
нужно открыть командную строку и запустить
"c:\Program Files (x86)\E-Trade Content Creator\Downloader\aria2c.exe"

Запустил парсинг Мерлиона.
Как обычно, ярлыки картинок есть, а самих картинок нет.

: QIP Shot - Screen 501.png (131.35 КБ) 8437 просмотров

Сделал как вы сказали, запустил aria2c, он выдал такое окно

: QIP Shot - Screen 500.png (28.24 КБ) 8437 просмотров

Но картинки при этом не добавились.
Как быть в данной ситуации?

12 янв 2016 09:50

Прикрепите пару ссылок на оригинал из базы знаний товаров для проблемных товаров.

: ссылка на оригинал.png (58.57 КБ) 8434 просмотра

Velibekov · 12 янв 2016 23:00

e-special писал(а):Прикрепите пару ссылок на оригинал из базы знаний товаров для проблемных товаров.

В базе знаний нет никаких ссылок

: QIP Shot - Screen 512.png (134.56 КБ) 8430 просмотров

13 янв 2016 10:06

Проверили, проблема в сервере Мерлион - он не отдает фото. На их сервере стоит ограничение на кол-во подключений и он ограничивает скачивание.
Поможет только многоразовое нажатие на кнопку скачать фото файлы которых нет на диске. Вот краткое видео которое показывает, что фото качаются выборочно после многократного нажатия на кнопку получения фото.
http://take.ms/cGjvn

Vic913 · 13 янв 2016 10:35

e-special писал(а):Проверили, проблема в сервере Мерлион - он не отдает фото. На их сервере стоит ограничение на кол-во подключений и он ограничивает скачивание.
Поможет только многоразовое нажатие на кнопку скачать фото файлы которых нет на диске. Вот краткое видео которое показывает, что фото качаются выборочно после многократного нажатия на кнопку получения фото.
http://take.ms/cGjvn

Можно функционал кнопки "скачать фото файлы которых нет на диске" доработать, что бы не приходилось нажимать ее много раз?
формирование списка ссылок
закачка
формирование списка ссылок
закачка
пока не закачает все?
Судя по всему, такой функционал будет очень востребован!!