E-Trade HTTP Tunnel - отправка инф-ции на хостинг "пакетами"

[Miloslavskij]

Добрый день
Подскажите, как возможно реализовать чтоб, модуль интеграции E-Trade HTTP Tunnel делал тайм-аут между отправкой каждой порции товаров(к примеру по 1500 товаров) на хостинг по 5-10 секунд... а не отправлял всё разом.
То есть предварительно разбить весь объем информации на части, и отправлять частями, а не вручную,

... ну или как вариант чтоб Tunnel во время своей работы просто делал "передышку"

P.S. - не влазим в параметры хостинга, на другой переходить не хотим и менять хостера тоже не рассматривается.
Спасибо

[Miloslavskij]

Речь идет об этой ошибке, описанной в мануале:
---
Ошибка экспорта данных 504 Gateway Time-out (502 Bad Gateway)
2011-12-26_1636 nginx_Gateway_error
Данная ошибка означает что php скрипт (бэкенд nginx) слишком долго ждал ответ от веб сервера и скрипт завершился раньше, чем был получен ответ.
Для работы некоторых скриптов требуется увеличение времени ожидания и выполнения, это касается работы туннеля E-Trade, если выгружается большой объём данных на сайт.

Увеличение времени ожидания nginx при проксировании:
для изменения времени ожидания в конфиг nginx надо добавить следующие параметры (лучше вставлять в контекст location):

proxy_send_timeout 60; # время ожидания при передаче запроса
proxy_read_timeout 60; # время ожидания при чтении ответа

Время указывается в секундах, по-умолчанию 60, т.е. 1 минута.
Но нужно быть готовым, что не каждый хостер пойдёт на это, т.к. увеличение лимитов = увеличение расхода ресурсов.
---
Хостер не хочет идти ну уступки...

[support]

От нас что требуется?

[Miloslavskij]

Ок, видимо как то не так объяснил...

У нас 20т товаров, которые надо выгрузить на сайт через туннель, но на данный момент удается выгружать лишь по 2-3 тысячи товаров за "подход", иначе возникает ошибка, описанная выше.
От сюда следует, что если разбить выгрузку в 20т товаров, на 10 выгрузок по 2-3 тысячи товаров, то всё будет работать без проблем.

От Вас требуется помощь в реализации данного решения, в виде оптимизации кода туннеля.
---
Судя потому, что пишут касательно этой ошибки, могу предположить, что магазину не хватает выделенной хостингом оперативной памяти для обработки такого большого кол-ва товаров, тогда получается, что требуется, чтоб код туннеля давал инфу на сайт порциями, с тайм-аутом, дабы магазин не перегружал оперативную память, далее туннель, удостоверившись, что магазин обработал информацию, снова выдал порцию новой информации.

Было бы здорово, если в коде было возможно в ручную устанавливать кол-во оперативной памяти доступной на хостинге.

[support]

Такой возможности нет.

[Miloslavskij]

Мне показалось, или в этой теме с большим энтузиазмом решали проблему:

viewtopic.php?f=14&t=6420&p=15543&hilit=502#p15543

Ошибка та же, решение, судя по последнему сообщению - ЕСТЬ , и не на стороне хостинга, а в Вашем обновлении... не для всех получается?
Можно развернутые ответы?
Какой возможности нет?
В чем причина отсутствия возможности?

[Miloslavskij]

Вот аналогичная проблема,
так же осталась без решения:
viewtopic.php?f=6&t=5856&p=12709&hilit=504+%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B0#p12709

Решение проблемы от massqwest :
"В phpshop тоже была аналогичная проблема при выгрузке из 1с большого кол-во товара. так они сделали просто - разбивка файла импорта на определенное кол-во строк в каждом файле(сам можешь указывать сколько строк), тут проблема тайм-аута. На хостинге стоит 60 сек и большой файл не может загрузиться(тупо не успевает) а отнюдь не каждый хостинг разрешает расширение тайм-аута. т.е. если я хочу загружать больше 10 000 позиций то мне нужен vps покупать только потому что программа не позволяет... хотя как реализована эта возможность в сторонних программах я Вам показал."

[support]

Ошибка 504 не относится к ПО серии E-Trade. Варианты решения описаны в документации. Разбивать файл при экспорте нет возможности.

[MasterCo]

Поискав немного о аналогичной проблеме на форуме, вывел для себя следующее:

Техподдержка не будет решать нашу проблему, а хостинг-провайдер темболее.
Делаете следующее. Создаете в разделе "экспорт данных" то количество шаблонов "Выгрузка на сайт с использованием туннеля E-Trade HTTP" которые будут выгружать нужные категории с товарами, избегая выгрузки одним файлом и перегрузки хостинга.

В моем случае пришлось создать 4 шаблона и сделал им порядковый номер 1, 2, 3, 4

Теперь выгрузка происходит поочередно