Обсуждение и советы: создание интернет-магазинов - решения, процессы, прайсинг

уже более полугода очень мучает одна проблема, которая только усугубляется. Несколько раз списывался по почте, но ничего не вышло. Может помощь других участников на форуме, сможет разгадать загадку.
Проблема возникла после обновления версии туннеля на сайте и заключается в ошибке во время выгрузки туннеля PLI, под кодом 1429. Начинаем выгружать сайт, проходит 15 минут - ошибка, и сайт не обновлен. Чтоб не особо мучатся, откатил версию до более старой (E-Trade Http Tunnel v1.7.) - так и работал долгое время. СС же нормально работает с более новой версией, и последней. По почте мне рекомендовали просто уменьшать параметр $row_id_per_steep= , уменьшал даже до 100, ни какой реакции. При этом говорят что последняя версия более лучшая и быстрее работает.
Сейчас перенес сервер в новое место, где совсем другое железо, другой провайдер, другой роутер, и решил проверить - то же самое. Выгружается только на версии 1.7.
Конфигурация. - в обоих случаях к серверу напрямую от провайдера идет оптика, скорость интернета стабильные 100 мбит. Сервер подключен через роутер.
На хостинге нет никаких ограничений, ни на размер файла, ни на выделенную память. Количество активных товаров - 21000. Движок WA 305 лицензия.
Пинги между сервером и хостингом стабильные 18-20 мс, ttl-57
Вот и вопрос.. Чего не хватает? Скриншот ошибки, и настроек туннеля прилагаю.

Скорость интернета не влияет на ошибку. Влияют настройки хостинга на котором находится сайт. Обрететесь в к хостингу для увлечения времени, которое выделяется для выполнения скрипта.
Так же можете выслать нам БД для проверки.

архив выслал.

Переписка по почте увы ничего не решает.
Проблема с выгрузкой стоит очень остро - зачем нужен пли, если на сайт выгрузится не может.
Сегодня все очень тщательно проверил, замерил. Тестировал на последней версии туннеля
Если выбрать только одну категорию, где даже около 1000 товаров - выгружается все очень быстро, менее 5 секунд.
Если выгружать вторую категорию, где уже около 2000 товаров, выгрузка идет не как подсказывает математика - 10 секунд, около минуты.
Если обе - то уже около 5 минут
Если добавить еще пару 1000 товаров, то более 15 минут.
Но мне надо выгружать более 30 000 товаров. Последняя версия этого никогда успешно делать не может.
Коекак справляется старая версия, но и с ней уже часто бывают ошибки по тайм-ауту. А как же добавлять новые товары?
Возможно проблема в обратной проверке - если товара нет в прайс листе - то его обнулить, или деактивировать.
Почему время выгрузки увеличивается так резко от количества товаров?

Я смирюсь и к такому решению - выгружать каждую категорию отдельно, благо есть пакетный экспорт. Но из-за такой выгрузки остаются только в наличии товары, которые в последней выгрузке. (Это понятно почему, но в настройках туннеля нельзя отключить опцию - обратной проверки).
Реальная проблема, неужели незаинтересованны чтоб ее решить?

Это индивидуальная проблема.
В обязанности технической поддержки не входит настройка серверов клиента.

Вам ответили, что проблема на Вашей стороне, на стороне настроек некорректных вашего сервера.
Предварительно был проведен анализ и проверка Вашего сервера, по данным, которые Вы предоставили.
Если у Вас нет опыта настроек сервера, перейдите на обычный хостинг, который могут настроить работники хостинговой компании.

Еще раз, добрый день.

Вот ответ администратора нашего хостинга:
"Данный сайт использует стандартный виртуальный хостинг со всеми вытекающими. Мы пошли со своей стороны на некоторые уступки и выделили больше ресурсов. Выгрузка проходит без ошибок, но очень долго, все равно. Мы смотрели ваше видео с выгрузкой базы за 3 минуты. Все очень здорово, только Вы не учли один момент: Вы используете монопольный доступ к базе, у нас, Слава Богу, десятки сайтов, и тысячи запросов на этот же сервер ежесекундно, более того пока обновляется БД данного сайта, Вы же прекрасно понимаете, что его никто не выключает для доступа с наружи. И он вынужден обрабатывать запросы на чтение тех таблиц которые обновляются в процессе выгрузки. Но я не об этом хотел спросить.

В заголовке файла etrade_http_tunnel.php (Я так понимаю, что именно он отвечает за туннель) написано следующее:
This script allows you to manage database server even if the corresponding port is blocked or remote access to database server is not allowed.
В связи с чем есть вполне резонный вопрос: У нас есть прямой доступ к стандартному 3306 порту сервера БД mysql. Многие наши клиенты успешно используют прямой доступ. Зачем в таком случае вообще нужен туннель?

This script allows you to manage database server even if the corresponding port is blocked or remote access to database server is not allowed.

На данный момент в ПЛИ и СС нет возможности работать напрямую с MySQL по 3306 порту, это планировалось сделать, но скорость обновления сайта через "туннель" достаточно велика, поэтому такая потребность отпала, более того, подавляющее большинство хостингов (90%) запрещает использование прямого доступа к БД сайта, поэтому данная возможность будет мало востребована и смысла её использования нет, потому как использование "туннеля" по скорости достаточно приемлема для обновления сайта, поэтому не планируется доработка ПЛИ и СС для работы напрямую с MySQL по 3306 порту. На видео был показан процесс обновления сайта на базе WebAsyst ShopScript, показана выгрузка каталога товаров с количеством ~30000, весь процесс занял ~3минуты, из них непосредственно на работу с сервером БД MySQL было затрачено ~1:30мин, остальное время это выгрузка категорий и товаров из ПЛИ во временный файл для обновления сайта. Всего полторы минуты на обновление БД сайта...

"Данный сайт использует стандартный виртуальный хостинг со всеми вытекающими. Мы пошли со своей стороны на некоторые уступки и выделили больше ресурсов. Выгрузка проходит без ошибок, но очень долго, все равно. Мы смотрели ваше видео с выгрузкой базы за 3 минуты. Все очень здорово, только Вы не учли один момент: Вы используете монопольный доступ к базе, у нас, Слава Богу, десятки сайтов, и тысячи запросов на этот же сервер ежесекундно, более того пока обновляется БД данного сайта, Вы же прекрасно понимаете, что его никто не выключает для доступа с наружи. И он вынужден обрабатывать запросы на чтение тех таблиц которые обновляются в процессе выгрузки.

Это ответ вам tkachenkoser, почему так всё долго происходит, у вас обычный "виртуальный хостинг со всеми вытекающими"... Нет смысла выделять вам больше ресурсов, если на одном хостинг сервере, кроме вашего сайта есть еще "десятки сайтов, и тысячи запросов на этот же сервер ежесекундно".

Перешел на выделенный сервер. Взял Xeon 4 ядерный, 3 гб оперативы. Скорость сайта не особо изменилась, а вот выгрузка теперь около минуты. Сначала даже не верил, думал ошибка. Было час, стало в 60 раз меньше.
Работает как предыдущая, так и последняя версия туннеля. Как обычно техподдержка сработала на отлично!

Прошу рекомендаций по повышению скорости экспорта через туннель... мы экспортируем на денвере, экспорт занимает около 20 минут, товаров от 15 до 20 тысяч, конфиг машины след.:
Проц - core i5 3570K (не разгоняли),
озу - 8 гб,
жесткий - sata3 WD5003AZEX,
мать - GIGABYTE GA-Z77MX-D3H
win 2008r2
CMS - Ocstore 1.5.5.1

Хотелось бы уменьшить время экспорта до 5-7 минут хотя бы, соответсвенно вопрос - Что, где "подкрутить"?

поотключайте загрузку /обновление полей, которые не используете, и не надо обновлять каждый день
Выгрузка зависит больше от хостинга, чем от вашей конфигурации.