Не PLI а слошная "обработка данных"

[massqwest]

При импорте.
Загрузка на CPU в обоих случаях отсутствует.

Подтверждаю.Тоже делал такие замеры.Да и вообще тема актуальна.

Подскажите пожалуйста, у Вас так же загрузка CPU минимальна или отсутствует при работе Pli, какой CPU?

CPU минимально, выше 15-20% не поднималось при импорте прайс-листа, замеры делал правда с месяц назад.Была даже тема где этот вопрос поднимал, правда не как основной а параллельно.
Импорт прайс-листа в данный момент меня устраивает, 4-5 мин на 20 000 позиций.
А вот переход по категориям это просто ужас( в принципе в связи с эти и был вопрос) чуточку лучше стало когда ssd диск поставил.

характеристики:
Название процессора: Intel(R) Core(TM) i5 CPU M 460 @ 2.53GHz
Установлено памяти: 8 044,54 MB

Раз уж про скорость работы и вообще желаемую оптимизацию, хотелось бы добавить еще пять копеек.
При выгрузке данных на сайт, при конечном результате 2,8mb (размер 2х таблиц), загружает в mysql 60mb.
Что очень нехорошо, пришлось делать экспорт в локальную бд, а потом уже своим скриптом обновление(добавление) на сайт.
Вот скрин.

[TechAdmin]

Раз уж про скорость работы и вообще желаемую оптимизацию, хотелось бы добавить еще пять копеек.
При выгрузке данных на сайт, при конечном результате 2,8mb (размер 2х таблиц), загружает в mysql 60mb.

Вы делаете не корректное сравнение размеров данных, т.к. из ПЛИ выгружается максимально возможное количество информации для обновления сайта, будь то PHPShop или нечто иное, данные хранятся во временных таблицах, которые имеют универсальную структуру для всех движков, эти временные таблицы автоматически удаляются из БД сайта после обновления сайта. Более того, количество полей во временных таблицах (их структура) отличается от всех движков сайтов, включая ваш PHPShop, соответственно размер хранения данных в таблицах будет другой, нежели на приведенном на вашем скриншоте. Размер 60мб, для хранения временных таблиц в момент обновления сайта для вас является критичным? Если база находится на флоппи диске, то ответ скорей всего "да".

Что очень нехорошо, пришлось делать экспорт в локальную бд, а потом уже своим скриптом обновление(добавление) на сайт.

Выгружайте данные из ПЛИ в файл в формате CSV с теми полями, которые вам необходимы, тем самым полностью контролируя объём выгружаемых/загружаемых данных, затем своим скриптом производите обновление сайта, вас никто не заставляет использовать "туннель".

[massqwest]

Раз уж про скорость работы и вообще желаемую оптимизацию, хотелось бы добавить еще пять копеек.
При выгрузке данных на сайт, при конечном результате 2,8mb (размер 2х таблиц), загружает в mysql 60mb.

Вы делаете не корректное сравнение размеров данных, т.к. из ПЛИ выгружается максимально возможное количество информации для обновления сайта, будь то PHPShop или нечто иное, данные хранятся во временных таблицах, которые имеют универсальную структуру для всех движков, эти временные таблицы автоматически удаляются из БД сайта после обновления сайта. Более того, количество полей во временных таблицах (их структура) отличается от всех движков сайтов, включая ваш PHPShop, соответственно размер хранения данных в таблицах будет другой, нежели на приведенном на вашем скриншоте. Размер 60мб, для хранения временных таблиц в момент обновления сайта для вас является критичным? Если база находится на флоппи диске, то ответ скорей всего "да".

Что очень нехорошо, пришлось делать экспорт в локальную бд, а потом уже своим скриптом обновление(добавление) на сайт.

Выгружайте данные из ПЛИ в файл в формате CSV с теми полями, которые вам необходимы, тем самым полностью контролируя объём выгружаемых/загружаемых данных, затем своим скриптом производите обновление сайта, вас никто не заставляет использовать "туннель".

Тут дело не совсем в объеме, а в том что на хостинге таймаут 60сек. Такой объем скрипт не успевает импортировать за раз. В результате здравствуй VPS который не очень то и нужен, либо делаем свой скрипт для обновления сайта.И вот это уже критично! т.к. планировалось что с этим будет прекрасно справляться программа.
Я уже в каком то топики поднимал этот вопрос, решение на самом деле простое, импорт по частям.
И да извиняюсь что не до конца развил в предыдущем посте мысль.

[TechAdmin]

Как видно на вашем скриншоте, наиболее большой объём данных идёт по дополнительным столбцам в учётной системе, поэтому как вариант, можно доработать программу, чтобы сделать выбор для шаблона экспорта, какие данные выгружать, например если у вас нет необходимости обновлять информацию на сайте из доп. столбцов, тогда можно эту информацию не выгружать на сайт. Так же рассмотрим ваше предложение по импорту по частям. Как давно вы обновляли версию модуля "туннель"? Примерно неделю назад вышла новая версия модуля, в которой ускорена процедура обновления сайта.

[massqwest]

Как видно на вашем скриншоте, наиболее большой объём данных идёт по дополнительным столбцам в учётной системе, поэтому как вариант, можно доработать программу, чтобы сделать выбор для шаблона экспорта, какие данные выгружать, например если у вас нет необходимости обновлять информацию на сайте из доп. столбцов, тогда можно эту информацию не выгружать на сайт. Так же рассмотрим ваше предложение по импорту по частям. Как давно вы обновляли версию модуля "туннель"? Примерно неделю назад вышла новая версия модуля, в которой ускорена процедура обновления сайта.

Туннель давно, месяца 2-3 назад обновлял т.к. сейчас "бантик" работает. Доп столбцы нужно обновлять. У меня они нужны именно покупателям а не нам.
А по поводу загрузки по частям, это уже во многих проектах используется когда нужно информацию на сайт выгружать, т.к. объем данных может быть произвольный.
Даже в бантике на php использую разбивку что бы точно быть уверенным что данные импортируются.

[Octav]

Потестировал еще новую версию ПЛИ, записал время выполнения для некоторых операций. Тесты делал на прайсе Мерлиона (с моими настройками) с выключенным HT и включенным:

HT выключен:
несоответствие lat - 11сек
првила автозамены глобальные - 39сек
правила автозамены для текущего прайса - 2мин 45сек
поиск производителя - 15сек
поиск артикула из СТУС в наименовании - 3мин 57сек
общее время - 11мин 60сек

HT включен:
несоответствие lat - 28сек
првила автозамены глобальные - 37сек
правила автозамены для текущего прайса - 2мин 35сек
поиск производителя - 54сек
поиск артикула из СТУС в наименовании - 5мин 25сек
общее время - 17мин 08сек

Вывод: По сравнению со старой версией ПЛИ прирост появился, но при включении HT скорость падает (т.е. скорость возросла только на физических ядрах). Может быть проблема с поддержкой HT ?

Так же хотелось узнать, делал кто-нибудь замеры на системах с несколькими процессорами?

[TechAdmin]

На каком процессоре производились замеры?
При отключении HT возможно необходимо задать меньшее количество потоков доступных для программы

setup_multi_thread1.png (107.24 КБ) 4689 просмотров

[Octav]

Опачки, а про эту кнопочку я не знал... Попробую поиграть с ней..

Замеры делались на i5-2410M (2 физических ядра)

[Octav]

http://floomby.ru/s1/fa49VM
Не пойму почему пишет что кол-во физических ядер - 1? Какие параметры надо выставлять ?

[TechAdmin]

Данное сообщение о доступности ядер является информационным, поэтому если задать в поле "Кол-во потоков" нужное число, тогда при работе программы будет использоваться именно оно.
Это такое сообщение появляется когда отключен HT? Вы HT выключаете в BIOS? А для какой цели вообще необходимы тесты с отключённым HT, есть информация что так работает быстрее?