Не PLI а слошная "обработка данных"

[support]

прайс в формате (.xlsx), 98тыщ. строк, время импорта 50-60 мин.

Можете выслать прайс для замера скорости импорта?

Отправлено Вам на почту.

Получили. В прайс-листе 97 957 товаров.
Операция импорта в пустую БД без правил импорта в категорию Я-Корзина составила 17 минут 30 секунд. Это если перевести в секунды 1 050 секунд. Делим это значение на количество товарных позиций в прайс-листе и получаем результат 0,01 секунда уходит на обработку одного товара. У Вас процесс идет в три раза больше, следовательно на обработку одного товара программа тратит 0,03 секунды, при этом в это время анализируется, наценивается, сравнивается, заменяется и прочее, прочее, прочее... Разве это много времени? Понятное дело, что хотелось бы быстрее, но на самом деле результат очень высокий.

[MirTN]

Всё в жизни относительно, для кого-то, это и час ожидания импорта поставщика с 100 тыщ. товаров нормально или придел мечтания + дальнейшая пакетная обработка, около 5-8 мин. т.е. если грубо считать, час на изменения ассортимента на сайте, а если необходимо например три раза в день поменять наличие и цены?
Но суть то проблемы не в этом, мы с Вами сейчас сравнили Ваши результаты и нашей конфигурацией №1(Core2Duo E6550, 2.33Mhz, 3 гб ОЗУ DDR2), примерная разница, у Вас в три раза быстрее идет импорт.
Есть относительно "свежее" железо, конфигурация №2 (скриншоты я Вам выслал на почту), а именно CPU i5 3210m, 2.5Mhz, 4 гб ОЗУ DD3), пакетная обработка в СТУС 27227, СТИПП 108196 занимает - 55 минут!
Не дождавшись импорта прайса с 98 тыщ строк. Был выключен после 4 часов ожидания...

Часть переписки из письма:
http://www.overclockers.ru/lab/50738.html о технологии энергосбережения и при неиспользовании процессора
http://ark.intel.com/ru/products/67355/ ... 0-GHz-rPGA описание самого процессора.
Максимальная тактовая частота с технологией Turbo Boost 3.1 GHz

Программа у Вас, очень хорошая, гибкая НО она совсем не "заточена" для работы с современными процессорами, которые использую автоматическое повышение частоты, при нагрузке или понижение при простое.
ps Работу с Pli железо считает простоем..

[support]

Программа у Вас, очень хорошая, гибкая НО она совсем не "заточена" для работы с несколькими ядрами современных процессоров (хотя двух процессорные системы появились, не вчера).

Вы абсолютно правы, но на то есть свои причины, как пример ограничения языка программирования, на котором написана программа.

[TechAdmin]

На пустой базе, с использованием конфигурации Intel Core i7 3770K Ivy Bridge 3500 МГц / DDR3 8Гб был получен такой результат импорта этого прайса:

speed_test0.png (5.07 КБ) 5282 просмотра

Импорт из прайса всех данных в количестве 98363 строк занял 1мин. 10сек, остальное время потребовалось на обработку этих данных.
Наиболее долгий процесс занял поиск соответствий производителей товаров - 5:50мин. Поэтому необходимо добавить
новых производителей в справочник производителей, это ускорит в разы импорт данных из этого прайса.
После добавления в справочник производителей был получен такой результат:

speed_test.png (5.16 КБ) 5282 просмотра

[Octav]

А вообще есть ли перспективы на увеличение производительности программы?

[MirTN]

На пустой базе, с использованием конфигурации Intel Core i7 3770K Ivy Bridge 3500 МГц / DDR3 8Гб был получен такой результат импорта этого прайса:

speed_test0.png

Импорт из прайса всех данных в количестве 98363 строк занял 1мин. 10сек, остальное время потребовалось на обработку этих данных.
Наиболее долгий процесс занял поиск соответствий производителей товаров - 5:50мин. Поэтому необходимо добавить
новых производителей в справочник производителей, это ускорит в разы импорт данных из этого прайса.
После добавления в справочник производителей был получен такой результат:

speed_test.png

Частота процессора в CPU-Z, при импорте какова?

[Ixenon]

На пустой базе, с использованием конфигурации Intel Core i7 3770K Ivy Bridge 3500 МГц / DDR3 8Гб был получен такой результат импорта этого прайса:

Для представления более реалистичной картины подскажите пожалуйста следующее:
1. какая конкретно материнская плата используется в системе
2. какая именно память DDR3 8Гб используется в системе
3. какой именно жесткий диск используется в системе

[MirTN]

На пустой базе, с использованием конфигурации Intel Core i7 3770K Ivy Bridge 3500 МГц / DDR3 8Гб был получен такой результат импорта этого прайса:

speed_test0.png

Для представления более реалистичной картины подскажите пожалуйста следующее:
1. какая конкретно материнская плата используется в системе
2. какая именно память DDR3 8Гб используется в системе
3. какой именно жесткий диск используется в системе

Основная проблема с процессорами, которые имеют технологии EIST и C1E.
Q: Что такое EIST ?
A: EIST или Enhanced Intel SpeedStep - технология энергосбережения, снижающая множитель процессора в простое

Q: Что такое C1E ?
A: Технология работает в паре с EIST снижает напряжение Vcore в простое.
Проблема не с жестким диском (чтение/Запись) и не с типом и количеством оперативной памяти, а в том что процессор считает, что для работы pli достаточно и минимальной частоты процессора (1.2 Ghz) и процессор работает на минимальной частоте.
Воможно в БИОС материнской платы изначально отключено энергосбережение и понижение частоты.
Отключить функцию энергосбережения и понижения частоты можно изощренным способом на процессорах AMD, используюя специальный софт. Как это сделать на процессорах intel - не знаю. Да и не хотелось бы эксперементировать в данном направлении. А вот заставить программу нагружать процессор по полной было бы замечательно

[Ixenon]

Основная проблема с процессорами на sandy bridge.

Они вообще то разные бывают.
Вот почитайте. http://ru.wikipedia.org/wiki/Sandy_Bridge
У Вас Какая именно версия процессора?

[Octav]

Хочу услышать мнение по поводу такого процессора http://market.yandex.ru/model-spec.xml? ... &hid=91019
если разогнать его до 4.4ГГц ???

на мой взгляд самый оптимальный вариант..(мало ядер высокая частота) ИМХО