Конфигурация железа или 170 тыщ товара в день

Денис · 05 июл 2013 08:48

Здравствуйте,
В ближайшее время мы планирует расширять ассортимент и будет большое кол-во товара импортироваться каждый день примерно 120-140 тыщ. Потянет ли ПЛИ такое кол-во товара? Сейчас мы тестируемся пока на одном поставщике у которого всего 16 тыщ позиций в прайсе. Таких поставщиков с таким кол-вом товара будет около 20-22 и 40 поставщиков меньше 3 тыщ. Итого примерно 60-62 поставщика в день с 140-170 тысячами товара.
Сейчас импорт у нас занимает около 40-60 минут. Правил импорта больше 500 штук. Во время импорта, самый долгий этап получается "Поиск производителя" около 20 минут, хотя в прайсе есть отдельным столбцом производители и поле "Производитель" нацелено как раз на этот столбец.
Скрин настроек

: Безымянный.jpg (238.27 КБ) 5409 просмотров

ПЛИ работает на виртуальной машине со следующей конфигурацией:
ПЛИ: Network
ОС: Windows 2008 R2 64x
ОЗУ: 4Гб + 4Гб динамической подкачки (Есть возможность увеличить подкачку ОЗУ до 16 Гб)
Процессор: 4 виртуальных процессора Intel Xenon E5606 с частотой 2,13 Гц
Жесткий диск: 500Гб
Работают 2 человека и загрузка при этом ОЗУ 2,5 Гб.
В настройках ПЛИ многопоточность стоит 4 и не стоит галочка "логическое"
В настройках быстродействия Windows стоит игнорирования ПЛИ и СС

Может ПЛИ плохо оптимизировано под Window 2008 RS 2 и лучше использовать Windows 7?
Что можете посоветовать со своей стороны по этому поводу и такому кол-ву товара в день?

С Уважением, Денис

Ixenon · 05 июл 2013 09:56

Есть предположение, что самое слабое место у Вас - жесткий диск, а вернее быстродействие системы ввода/вывода информации с него.
Когда то я работал на нашем корпоративном сервере, где тоже стояла виртуальная машина win2008serv, с оперативкой и процессором никаких проблем не было, а вот с быстродействием системы чтения/записи на жесткий диск беда. купили отдельный ноутбук - скорость импорта прайс-листов выросла раза в 2. Если бы купили стационарный комп, то вероятно можно было бы еще процентов 50 получить прироста за счет установки более мощного процессора и более быстрого жесткого диска. На ноутбуке стоит жесткий диск со скоростью вращения шпинделя 7200, думаю если бы взять с 15000 было бы однозначно быстрее. С SSD не срослось, но, например у разработчиков неплохо работает, о чем где то тут(на следующей странице топика есть подробности по конфигурации) они как то упомянули в описании своей конфигурации компьютера.

По поводу поиска производителя. Если производитель у Вас в прайс-листе в отдельном столбце, который Вы указали в настройках импорта данного прайс-листа, то попробуйте в дополнительных настройках для прайс-листа, отключить 3 галочки:
Наименование
Категория СТУС
Категория из прайс-листа
https://elbuz.com/ETradeDocs/PLI/additi ... e-list.htm

Денис · 05 июл 2013 13:39

Ixenon писал(а): попробуйте в дополнительных настройках для прайс-листа, отключить 3 галочки:

Это поднастройка отключена была всегда

У нас стоият жеские по 15К оборотами каждый, всего 6 виндов и используется RAID

Денис · 05 июл 2013 13:45

Ixenon писал(а): о чем где то тут(на следующей странице топика есть подробности по конфигурации) они как то упомянули в описании своей конфигурации компьютера.

Спасибо за ссыль. Будет теперь о чем разговаривать с IT отделом

Ixenon, что советуешь? купить топовый кейс? или остаться на серваке и ожидать, что многоядерность доделают?

Ixenon · 05 июл 2013 13:46

Денис писал(а):Сейчас импорт у нас занимает около 40-60 минут. Правил импорта больше 500 штук.

Это относится к вышеупомянутому прайсу с 16к товаров?

Денис · 05 июл 2013 13:50

Ixenon писал(а):
Денис писал(а):Сейчас импорт у нас занимает около 40-60 минут. Правил импорта больше 500 штук.
Это относится к вышеупомянутому прайсу с 16к товаров?

Да, именно к нему

Ixenon · 05 июл 2013 14:02

Денис писал(а):
Ixenon писал(а):
Денис писал(а):Сейчас импорт у нас занимает около 40-60 минут. Правил импорта больше 500 штук.
Это относится к вышеупомянутому прайсу с 16к товаров?
Да, именно к нему

Довольно подозрительно, что у Вас так долго происходит импорт. Разобраться в этом Вам вероятно только разработчики могут помочь.

Денис писал(а):У нас стоият жеские по 15К оборотами каждый, всего 6 виндов и используется RAID

Есть такая вероятность, что можно протестировать быстродействие. Правда я точно не уверен, т.к. не доводилось вникать как работает виртуальная машина с отдельными жесткими дисками. Об этом наверно Вы так же можете проконсультироваться с Вашими IT-специалитами. Суть в том, чтобы подключить отдельно жесткий диск SSD например. На этом диске нужно расположить системную папку для хранения временных файлов для пользователя, который будет работать в ПЛИ и саму базу. Если виртуально установленная винда с этим отдельным винтом будет работать как обычная(не виртуальная) винда с обычным винтом, то быстродействие может увеличиться.

Денис · 05 июл 2013 14:04

Вот скрин CPU-Z во время импорта

: CPU.jpg (77.31 КБ) 5393 просмотра

Ixenon · 05 июл 2013 14:31

Денис писал(а):
Ixenon писал(а):Ixenon, что советуешь? купить топовый кейс? или остаться на серваке и ожидать, что многоядерность доделают?

Я думаю, что для такой не малой работы, да еще и в случае, когда работает не один человек в программе, более эффективным будет приобретение отдельного компа под это дело. Но это только мое мнение, т.е. если бы у меня были такой объем, то я бы точно попросил под это дело отдельный стационарный мощный комп с 2мя дисками на 15к RAID-0 для максимального быстродействия и 2 винта в RAID-1 для того, чтобы каждодневно на них происходило автоматическое резервное копирование всей необходимой информации находящейся на первой паре дисков объединенных в RAID-0

Octav · 06 июл 2013 14:39

Денис писал(а):Здравствуйте,
В ближайшее время мы планирует расширять ассортимент и будет большое кол-во товара импортироваться каждый день примерно 120-140 тыщ. Потянет ли ПЛИ такое кол-во товара?

Тянет, проверено. Сейчас в СТИППе более 140.000 товаров