Страница 1 из 2
Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 10 янв 2016 00:27
Velibekov
Суть проблемы в том, что после парсинга, когда программа показывает результат, фотографии есть, а после того, как нажимаем "сохранить", они пропадают.
Ниже подробнее.
Итак, парсим Мерлион по коду поставщика

- QIP Shot - Screen 484.png (69.21 КБ) 9255 просмотров
После этого, смотрим результат и видим, что везде есть фотки

- QIP Shot - Screen 485.png (156.02 КБ) 9255 просмотров
Сохраняем.
Программа нам сообщает о том, что из 19 пропарсенных товаров, для 9 найдены описания

- QIP Shot - Screen 486.png (53.56 КБ) 9255 просмотров
А теперь смотрим спарсенные товары в CC и видим....
А видим мы, что фотографии нет, хотя стоит отметка в "Фото №1"

- QIP Shot - Screen 487.png (130.02 КБ) 9255 просмотров
Будучи юзером, который уже 3 года пользуется етрейдом, пробую исправить ситуацию

- QIP Shot - Screen 488.png (43.22 КБ) 9255 просмотров
Не получив решения проблемы, вычищаю ссылки

- QIP Shot - Screen 489.png (76.76 КБ) 9255 просмотров
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 10 янв 2016 00:41
Velibekov
И вижу результат: проблема с 7 фотками

- QIP Shot - Screen 490.png (91.09 КБ) 9254 просмотра
И после вычищения ссылок, вижу актуальную информацию о наличии фотографий в описаниях

- QIP Shot - Screen 491.png (44.42 КБ) 9254 просмотра
В прошлом, проблема была и я некоторое время назад заплатил 40$ за техподдержку.
В итоге, после длительного мучения и анализа, мне посоветовали пользоваться сторонними DNS серверами (совершенно не понимаю, какая разница?).
И с тех пор мне приходится пользоваться костылем, в виде приложения Net Set Man, которое при любом интернет коннекте прикручивает прописанные мной ДНСы

- QIP Shot - Screen 492.png (54.23 КБ) 9254 просмотра
Однако, сейчас и ДНСы уже не помогают.
До недавнего времени, в качестве первичного стоял Яндексовый, в качестве вторичного Гугловый - из 10 карточек товаров только в одной оставались фотки.
Когда прописал оба ДНСа Гугловых - в карточке сохраняется из 10 фоток примерно 2-3-4.
С конфигурацией системы все хорошо

- QIP Shot - Screen 493.png (16.31 КБ) 9254 просмотра

- QIP Shot - Screen 494.png (2.28 КБ) 9254 просмотра
Что делать?
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 10 янв 2016 00:50
Velibekov
Контроль учетных записей - отключен. Более того, программа установлена на диск "D" и на том же диске сама БД, то есть не на системном.
И все равно, пробовал запускать через правую кнопку - от имени администратора (ну, мало ли чего) - без толку.
В качестве антивиря стоит Касперский, которого выгружал полностью - без толку: CC фотографии скачивает, показывает их, но не сохраняет на диске.
И это проблема вечная: с прошлого раза, когда возникла такая проблема и платил техподдержке, винда заменена:
Windows 7 ->
Windows 8 -> Upgrade Windows 8.1 -> Upgrade Windows 10
Windows 7 ......
Да и в аппаратном плане, на ноутбуке только дисплей остался прежним, а, все остальное: процессор, материнка, ОЗУ, хард - все заменено.
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 10 янв 2016 06:36
Velibekov
Парсю, очень маленькую группу товаров, штук 20.
Из них на 10 он находит описания и фотки.
Жму на "сохранить".
На 2-х товарах сохраняются фотки, не остальных 8 нет.
Может ли подобное происходить, скажем, от того, что при переустановке Windows сам етрейд не переустанавливался?
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 11 янв 2016 10:12
support
закачкой фото занимается сторонняя программа aria2c
нужно открыть командную строку и запустить
"c:\Program Files (x86)\E-Trade Content Creator\Downloader\aria2c.exe"
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 11 янв 2016 21:43
Velibekov
e-special писал(а):закачкой фото занимается сторонняя программа aria2c
нужно открыть командную строку и запустить
"c:\Program Files (x86)\E-Trade Content Creator\Downloader\aria2c.exe"
Запустил парсинг Мерлиона.
Как обычно, ярлыки картинок есть, а самих картинок нет.

- QIP Shot - Screen 501.png (131.35 КБ) 9244 просмотра
Сделал как вы сказали, запустил aria2c, он выдал такое окно

- QIP Shot - Screen 500.png (28.24 КБ) 9244 просмотра
Но картинки при этом не добавились.
Как быть в данной ситуации?
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 12 янв 2016 09:50
support
Прикрепите пару ссылок на оригинал из базы знаний товаров для проблемных товаров.

- ссылка на оригинал.png (58.57 КБ) 9241 просмотр
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 12 янв 2016 23:00
Velibekov
e-special писал(а):Прикрепите пару ссылок на оригинал из базы знаний товаров для проблемных товаров.
В базе знаний нет никаких ссылок

- QIP Shot - Screen 512.png (134.56 КБ) 9237 просмотров
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 13 янв 2016 10:06
support
Проверили, проблема в сервере Мерлион - он не отдает фото. На их сервере стоит ограничение на кол-во подключений и он ограничивает скачивание.
Поможет только многоразовое нажатие на кнопку скачать фото файлы которых нет на диске. Вот краткое видео которое показывает, что фото качаются выборочно после многократного нажатия на кнопку получения фото.
http://take.ms/cGjvn
Re: Не сохраняются фотографии при парсинге Мерлиона
Добавлено: 13 янв 2016 10:35
Vic913
e-special писал(а):Проверили, проблема в сервере Мерлион - он не отдает фото. На их сервере стоит ограничение на кол-во подключений и он ограничивает скачивание.
Поможет только многоразовое нажатие на кнопку скачать фото файлы которых нет на диске. Вот краткое видео которое показывает, что фото качаются выборочно после многократного нажатия на кнопку получения фото.
http://take.ms/cGjvn
Можно функционал кнопки "скачать фото файлы которых нет на диске" доработать, что бы не приходилось нажимать ее много раз?
формирование списка ссылок
закачка
формирование списка ссылок
закачка
пока не закачает все?
Судя по всему, такой функционал будет очень востребован!!