Добрый день
Подскажите, как возможно реализовать чтоб, модуль интеграции E-Trade HTTP Tunnel делал тайм-аут между отправкой каждой порции товаров(к примеру по 1500 товаров) на хостинг по 5-10 секунд... а не отправлял всё разом.
То есть предварительно разбить весь объем информации на части, и отправлять частями, а не вручную,
... ну или как вариант чтоб Tunnel во время своей работы просто делал "передышку"
P.S. - не влазим в параметры хостинга, на другой переходить не хотим и менять хостера тоже не рассматривается.
Спасибо
E-Trade HTTP Tunnel - отправка инф-ции на хостинг "пакетами"
-
Miloslavskij
- Сообщения: 43
- Зарегистрирован: 04 июл 2013 12:22
Речь идет об этой ошибке, описанной в мануале:
---
Ошибка экспорта данных 504 Gateway Time-out (502 Bad Gateway)
2011-12-26_1636 nginx_Gateway_error
Данная ошибка означает что php скрипт (бэкенд nginx) слишком долго ждал ответ от веб сервера и скрипт завершился раньше, чем был получен ответ.
Для работы некоторых скриптов требуется увеличение времени ожидания и выполнения, это касается работы туннеля E-Trade, если выгружается большой объём данных на сайт.
Увеличение времени ожидания nginx при проксировании:
для изменения времени ожидания в конфиг nginx надо добавить следующие параметры (лучше вставлять в контекст location):
proxy_send_timeout 60; # время ожидания при передаче запроса
proxy_read_timeout 60; # время ожидания при чтении ответа
Время указывается в секундах, по-умолчанию 60, т.е. 1 минута.
Но нужно быть готовым, что не каждый хостер пойдёт на это, т.к. увеличение лимитов = увеличение расхода ресурсов.
---
Хостер не хочет идти ну уступки...
---
Ошибка экспорта данных 504 Gateway Time-out (502 Bad Gateway)
2011-12-26_1636 nginx_Gateway_error
Данная ошибка означает что php скрипт (бэкенд nginx) слишком долго ждал ответ от веб сервера и скрипт завершился раньше, чем был получен ответ.
Для работы некоторых скриптов требуется увеличение времени ожидания и выполнения, это касается работы туннеля E-Trade, если выгружается большой объём данных на сайт.
Увеличение времени ожидания nginx при проксировании:
для изменения времени ожидания в конфиг nginx надо добавить следующие параметры (лучше вставлять в контекст location):
proxy_send_timeout 60; # время ожидания при передаче запроса
proxy_read_timeout 60; # время ожидания при чтении ответа
Время указывается в секундах, по-умолчанию 60, т.е. 1 минута.
Но нужно быть готовым, что не каждый хостер пойдёт на это, т.к. увеличение лимитов = увеличение расхода ресурсов.
---
Хостер не хочет идти ну уступки...
От нас что требуется?
C уважением, поддержка ElbuzGroup.
Документация E-Trade Jumper
Документация E-Trade Jumper
-
Miloslavskij
- Сообщения: 43
- Зарегистрирован: 04 июл 2013 12:22
Ок, видимо как то не так объяснил...
У нас 20т товаров, которые надо выгрузить на сайт через туннель, но на данный момент удается выгружать лишь по 2-3 тысячи товаров за "подход", иначе возникает ошибка, описанная выше.
От сюда следует, что если разбить выгрузку в 20т товаров, на 10 выгрузок по 2-3 тысячи товаров, то всё будет работать без проблем.
От Вас требуется помощь в реализации данного решения, в виде оптимизации кода туннеля.
---
Судя потому, что пишут касательно этой ошибки, могу предположить, что магазину не хватает выделенной хостингом оперативной памяти для обработки такого большого кол-ва товаров, тогда получается, что требуется, чтоб код туннеля давал инфу на сайт порциями, с тайм-аутом, дабы магазин не перегружал оперативную память, далее туннель, удостоверившись, что магазин обработал информацию, снова выдал порцию новой информации.
Было бы здорово, если в коде было возможно в ручную устанавливать кол-во оперативной памяти доступной на хостинге.
У нас 20т товаров, которые надо выгрузить на сайт через туннель, но на данный момент удается выгружать лишь по 2-3 тысячи товаров за "подход", иначе возникает ошибка, описанная выше.
От сюда следует, что если разбить выгрузку в 20т товаров, на 10 выгрузок по 2-3 тысячи товаров, то всё будет работать без проблем.
От Вас требуется помощь в реализации данного решения, в виде оптимизации кода туннеля.
---
Судя потому, что пишут касательно этой ошибки, могу предположить, что магазину не хватает выделенной хостингом оперативной памяти для обработки такого большого кол-ва товаров, тогда получается, что требуется, чтоб код туннеля давал инфу на сайт порциями, с тайм-аутом, дабы магазин не перегружал оперативную память, далее туннель, удостоверившись, что магазин обработал информацию, снова выдал порцию новой информации.
Было бы здорово, если в коде было возможно в ручную устанавливать кол-во оперативной памяти доступной на хостинге.
Такой возможности нет.
C уважением, поддержка ElbuzGroup.
Документация E-Trade Jumper
Документация E-Trade Jumper
-
Miloslavskij
- Сообщения: 43
- Зарегистрирован: 04 июл 2013 12:22
Мне показалось, или в этой теме с большим энтузиазмом решали проблему:
http://forum.elbuz.com/viewtopic.php?f= ... 502#p15543
Ошибка та же, решение, судя по последнему сообщению - ЕСТЬ
, и не на стороне хостинга, а в Вашем обновлении... не для всех получается?
Можно развернутые ответы?
Какой возможности нет?
В чем причина отсутствия возможности?
http://forum.elbuz.com/viewtopic.php?f= ... 502#p15543
Ошибка та же, решение, судя по последнему сообщению - ЕСТЬ
, и не на стороне хостинга, а в Вашем обновлении... не для всех получается? Можно развернутые ответы?
Какой возможности нет?
В чем причина отсутствия возможности?
-
Miloslavskij
- Сообщения: 43
- Зарегистрирован: 04 июл 2013 12:22
Вот аналогичная проблема,
так же осталась без решения:
http://forum.elbuz.com/viewtopic.php?f= ... %B0#p12709
Решение проблемы от massqwest :
"В phpshop тоже была аналогичная проблема при выгрузке из 1с большого кол-во товара. так они сделали просто - разбивка файла импорта на определенное кол-во строк в каждом файле(сам можешь указывать сколько строк), тут проблема тайм-аута. На хостинге стоит 60 сек и большой файл не может загрузиться(тупо не успевает) а отнюдь не каждый хостинг разрешает расширение тайм-аута. т.е. если я хочу загружать больше 10 000 позиций то мне нужен vps покупать только потому что программа не позволяет... хотя как реализована эта возможность в сторонних программах я Вам показал."
так же осталась без решения:
http://forum.elbuz.com/viewtopic.php?f= ... %B0#p12709
Решение проблемы от massqwest :
"В phpshop тоже была аналогичная проблема при выгрузке из 1с большого кол-во товара. так они сделали просто - разбивка файла импорта на определенное кол-во строк в каждом файле(сам можешь указывать сколько строк), тут проблема тайм-аута. На хостинге стоит 60 сек и большой файл не может загрузиться(тупо не успевает) а отнюдь не каждый хостинг разрешает расширение тайм-аута. т.е. если я хочу загружать больше 10 000 позиций то мне нужен vps покупать только потому что программа не позволяет... хотя как реализована эта возможность в сторонних программах я Вам показал."
Ошибка 504 не относится к ПО серии E-Trade. Варианты решения описаны в документации. Разбивать файл при экспорте нет возможности.
C уважением, поддержка ElbuzGroup.
Документация E-Trade Jumper
Документация E-Trade Jumper
Поискав немного о аналогичной проблеме на форуме, вывел для себя следующее:
Техподдержка не будет решать нашу проблему, а хостинг-провайдер темболее.
Делаете следующее. Создаете в разделе "экспорт данных" то количество шаблонов "Выгрузка на сайт с использованием туннеля E-Trade HTTP" которые будут выгружать нужные категории с товарами, избегая выгрузки одним файлом и перегрузки хостинга.
В моем случае пришлось создать 4 шаблона и сделал им порядковый номер 1, 2, 3, 4
Теперь выгрузка происходит поочередно
Техподдержка не будет решать нашу проблему, а хостинг-провайдер темболее.
Делаете следующее. Создаете в разделе "экспорт данных" то количество шаблонов "Выгрузка на сайт с использованием туннеля E-Trade HTTP" которые будут выгружать нужные категории с товарами, избегая выгрузки одним файлом и перегрузки хостинга.
В моем случае пришлось создать 4 шаблона и сделал им порядковый номер 1, 2, 3, 4
Теперь выгрузка происходит поочередно