Конфигурация железа или 170 тыщ товара в день

Помощь пользователям в работе с программой E-Trade PriceList Importer
Ixenon
Сообщения: 743
Зарегистрирован: 19 ноя 2011 09:03

Разницу можно увидеть если подключить к системе SSD диск и расположить на нем:
1. папку с базой
2. папку временных файлов WINDOWS текущего пользователя, которрый будет работать в этой базе.В этой папке ПЛИ сохраняет временные файлы при работе.

либо, как вариант, создать в оперативной памяти виртуальный диск, на который поместить 2 вышеупомянутых пункта. Правда при перенесении временной папки могут возникнуть всякие непредвиденные неприятности, при загрузке.
лично я эксперементировал с этим рам диском. Если интересно, то могу на почту архив с доками и самим рамдиском кинуть. Прога бесплатная, работает как на 32 так и на 64 битных системах. Прога отличная, правда после отключения электричества, пару раз решил больше в оперативке баз данных никаких не держать :) на батарейки денег тогда не было. быстродействие моей базы меня пока не напрягает, так что работаю без рам-диска.
Денис писал(а):У знакомой с Windows 2008 RS 2 и антивирусом оФФИС сКАН и 25 тыщ товаров открывается за 20 секунды
Конфигурация то какая у компа знакомой?
Денис
Сообщения: 182
Зарегистрирован: 19 авг 2012 12:40

Ixenon писал(а):Конфигурация то какая у компа знакомой?
Конфигурацию врят ли скажет, т.к. она девушка и не шарит, хоть и ей объясняешь куда надо зайти))
Денис
Сообщения: 182
Зарегистрирован: 19 авг 2012 12:40

Заметил еще такую странность.
После перезагрузки компа, ПЛИ открывает БД 4 минуты 30 секунд. Сразу закрываешь ПЛИ и открываешь заново и тогда отрывается за 3 минуты и 46 секунд. Хотя на демо версии эта же БД открывала за 2 минуты 58 секунд.

Сделал пару тестов прайса с 16 тысячами товаров (в файле 3 вкладки), которые импортируются на сервере 35 минут
Только теперь импорт идет на ноуте с включеным антивиром, характеристики ноута выше по теме:
Нажатие кнопки импорт и появление "Журнала операций" - 18 сек
Открытие прайса - 10 минут 58 секунд
Импорт данных - 1 мин 10 секунд
Поиск категорий - 1 сек
Проверка на новых производителей - 5 минут 10 секнд
Распределение товаров согласно правил импорта - 1 минута 15 секунд
Автозамена наименований x2 - 19 сек
Поиск производителя - 12 сек
Добавляем\Удаляем\Обновляем - 1 мин 38 сек
Сравнение СТУС СТИПП x 3 - 49 сек
Создается список товаров из прайса - 32 секунды
Итого вышло в программе: 23 минуты и 22 секунды. По секундомеру 23 минуты и 21 секунда. =)

Удалось сократить время импорта на 11,5 минуты.
На сервере открытие прайса занимало - 20 минут, щас 10 мин. 58 сек
Проверка на новых производителей - 7-8 минут, щас 5 мин. 10 сек

Загрузка:
ЦП - 22- 24 % (8 потоков)
Физ. память - 70%
Но заметил такую странность, почему-то частота проца прыгает с 2,3 Мгц до 798 на открытие прайса и импорта данных на секунду, потом возвращается к 2,3 Мгц
Замеры ноута
Безымянный.jpg
Безымянный.jpg (151.39 КБ) 4462 просмотра
Замеры сервера
server.jpg
server.jpg (87.68 КБ) 4445 просмотров
Теперь надо будет попробовать развернуть на сервере Windows 7 и там протестировать импорт. Для себя на данный момент делаю выводы, что ПЛИ работает на Windows 7 лучше чем на Windows 2008 RS 2. Еще возможная причина это материнка на самом сервере.
P.S спасибо разработчикам за предоставление лицензии на время тестирования.
Денис
Сообщения: 182
Зарегистрирован: 19 авг 2012 12:40

Продолжаю тестировать ПЛИ на разных системах и железе.
Подняли на сервере Windows 7 Professional
Intel Xeon E5345 2,33 Гц 2 процессора 4 ядер
ОЗУ 4Гб
HDD Sata 100Гб
Антивирус не установлен
Первое открытие базы - 31 минута и 32 секунды
Многопоточность показывает-4
База версии 2.1.503
Не могу понять, установка ПЛИ заняла 30 секунд, а вот открытие БД 30 минут. Что-то IT-отдел не подкрутил видимо.
Будем теперь ждать понедельника для новых замеров
Ixenon
Сообщения: 743
Зарегистрирован: 19 ноя 2011 09:03

Денис писал(а):Что-то IT-отдел не подкрутил видимо.
видимо что то из этой темы :)
Ixenon писал(а):Разницу можно увидеть если подключить к системе SSD диск и расположить на нем:
1. папку с базой
2. папку временных файлов WINDOWS текущего пользователя, которрый будет работать в этой базе.В этой папке ПЛИ сохраняет временные файлы при работе
Аватара пользователя
support
Сообщения: 10563
Зарегистрирован: 09 ноя 2008 21:37

Так же скорость обработки можно увеличить если использовать SSD и установить на SSD не только программу и БД программы, но и программу MS Excel.
C уважением, поддержка ElbuzGroup.
Документация E-Trade Jumper
Денис
Сообщения: 182
Зарегистрирован: 19 авг 2012 12:40

Нашел возможную проблему работы нового сервера и как раз она заключается в диске:
Результаты переидексации БД на ноуте:
http://screencast.com/t/JgF7zpO5
Результаты переидексации БД на сервере:
http://screencast.com/t/wKhq4Jofe

Причем при старте, на сервере идет только запись, а не все вместе и причем скорость такая
http://screencast.com/t/YWSsgFYjx
А но ноуте, вот такая:
http://screencast.com/t/yCFeuiYb0dj

Стоит RAID 10
Денис
Сообщения: 182
Зарегистрирован: 19 авг 2012 12:40

Может где писалось, но вот еще одни результаты:
На моем ноуте стоит 1 процессор с 4 ядрами
и когда ПЛИ запускается или делает обработку, то использует все 4 ядра

На виртуальной машине стоит 4 процессора с 1 ядром
и когда ПЛИ запускается или делает обработку, она использует только 1 процессор и следовательно 1-о ядро (2,3 Мгц), т.е. загружает только 25% ЦП.
Оставили только 1 процессор и загрузка была 100%.
Количество ядер в виртуальной машине нельзя увеличить, только можно увеличить кол-во процессоров.

Хоть и в настройках многопоточности стоит 4 процессора, видимо работает только один.
Возможно, что многопоточность заточена пока на кол-во ядер, а не кол-во процессоров.

На данный момент постройка кластера не возможна.
Либо покупать кейс с i-7 на борту, SSD диски и много памяти)

Хотелось бы услышать мнение разработчиков, будут ли какие-то доработки по многопоточности?
Денис
Сообщения: 182
Зарегистрирован: 19 авг 2012 12:40

Было принято решение собрать кейс для работы 3-х человек:
Жесткий диск SSD Kingston Now V 300, 240 GB
Процессор Intel Сore i7-3820, oemz s-2011
память Silicon Power , DDR3, 2х4GB 2400MHz Итого 32Gb
Материнская плата ASUS P9X79 LE/­SI s-2011 (DDR 2400) 8-dimm
Блок питания ATX, HuntKey 700W
Охлаждение процессора DeepCool Theta 31 PWM

Надеюсь мне этого хватит хоть на ближайшие 6 месяцев, авось и многопоточность заработает лучше и можно будет сделать кластер =)
Ixenon
Сообщения: 743
Зарегистрирован: 19 ноя 2011 09:03

трехканальная vs двухканальная
а тут поподробнее с выводами
В итоге получается, что есть вероятность, что данное приложение будет работать быстрее в системе с трехканальной памятью :-)
Ответить

Вернуться в «Техническая поддержка программы E-Trade PriceList Importer»