Denkof
-
Posts
34 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Denkof
-
Ясно, спасибо за ответ. Получается штатными средствами модуля от дублей не избавиться. Соответственно нужен какой-то дополнительный обработчик, который умеет проверять фото на дубли. Я вышел из ситуации следующим образом: сначала заливаю товары, но без фоток, Затем загружаю фотки каким-нибудь другим сервисом. Например, csv price - я хз какие у него там алгоритмы, но загружает по 1 фотке при любом количестве повторов и дубли не создает. Или собираю все что нужно Connetnt Downloader а потом физически гружу на сервер. Кому нужно подробнее - пишите в лс., расскажу детальнее, чтобы не флудить тут.
-
Да, нужно именно этого достичь. Жаль. Хм, странно, как же перезаписываются файлы у некоторых пользователей? Или это скорее баг а не какая-то конструкция обработки данных?
-
Подскажите пожалуйста. Никак не могу решить проблему. Ищу по ветке, вроде и инфа есть относительно этого вопроса, и инструкцию уже который раз перечитываю, не а решения не нахожу. Постановка вопроса: парсер разбирает хмл файл, граница для картинки = тег имеж с хмл файла. Парсер скачивает фотки на сервер, и (как и у всех) куча фоток с одинаковым названием. Вопрос: как перезаписывать фотки с одинаковым названием? Т.е. в ветке есть сообщения польователей, которые пишут что у них, как раз, перезаписываются фотки с одинаковым названием, и они пытаются от этого избавиться. А мне как раз этого нужно достигнуть. Но как? В одном из постов автор модуля пишет, что есть два файла 1.png и 1.png - одинаковые фото или нет - в моем случае фото одинаковые, т.е дубли, т.е. должны быть перезаписаны один поверх другого сколько бы такой повтор не встречался. Как перезаписывать загружаемые изображения с одинаковым названием? Ткните меня носом пожалуйста, не вижу как решить и все.
-
Добрый день. При сохранении ссылки в поле "ссылки на товары" - половина ссылки обрезается. Что и приводит к невозможности загрузить код страници при парсинге. Перелистал тему, нашел пару умоминаний о том, что база обрезает ссылки а не модуль. Длинна ссылки к сохранению в моем случае 504 символа. Подскажите пожалуйста как поправить? Если изменить в базе ограничение на длину символов, то в какой таблице и каком поле? Спасибо.
-
Добрый день. Подскажите пожалуйста, знающие люди такое: пользую в UniXML при генирации фида, описание товара генерируется из полей p.name, pd.description, .... и еще нужно прикрутить к описанию на лету текстовые инструкции и кусок кода с видеообзором, но эти данные лежат совсем в другой таблице (oc_oct_extra_tabs). Можно ли, и как подгрузить средствами модуля, в описание при его генерации определенное поле из другой таблицы? В темене не нашел, если пропустил - ткните меня носом пожалуйста -
Пока писал - сам нашел Спасибо. Вопрос снят. Кому интересно как удалить: заходим в "структура и системные настройки", затем жмем в верхней част окна "удалить фид"
-
Подскажите как удалить фид? Перятянуть в корзину - перетягивается. А удалить вовсе как?
-
Как решили проблему? У меня сейчас та же проблема.
-
Посмотрел, увеличил время запроса до 60 сек. Ситуация прежняя загрузить весь код не удалось. В то же время вижу в логах Что при увеличеном времени выполнения запроса загрузилось больше данных чем до этого. было "397451 out of -1 bytes received" стало "2234884 out of -1 bytes received" Судя по количеству загруженых байт за эти 60 сек. загружается до 30 МБ данных, а у меня файл 55МБ т.е. теретически мне нужно увеличить время запроса до 120 секунд и тогда процес должен завершиться успешно, так?
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Спасибо. Читаю, пробую.
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Здравствуйте. Подскажите пожалуйста как исправить ошибку "Operation timed out after 15004 milliseconds with 355460 out of -1 bytes received" Ошибка возникает при использовании Обработчика xml. ------------------ Есть xml файл, который я пытаюсь обработчиком разделить на товары для дальнейшего парсинга. 1. Если в оработчике xml загрузить код этого же файла и нажать "предпросмотр" - то в предпросмотре все работает корректно и код страницы корректно разделяется на товары. 2. Если в обработчике нажать "пуск" то процесс обработки запускается и спустя 15 секунд выводится сообщения "Парсинг окончен, файл успешно поделен на товары" но ссылки на сами товары не появляются в списке ссылок, а во вкладке "логи" регистрируется вышеуказанная ошибка. Я так понимаю это происходит потому, что я пытаюсь распарсить слишком большой фай и модулю не хватает времени на обработку. В то же время если попробовать распарсить любой дургой файл поменьше размером, то все отрабатывается корректно (файл делится на товары, создаюттся ссылки и помещаются в очередь сканирвоания) Подскажите как такую проблему исправить?
-
Спасибо всем, кто откликнулся на мой вопрос и помогал в решении задачи. Решение все же нашлось, во всяком случае пока что работает. Решил отписаться о решении, может кому-то будет полезно. Задача стояла парсить текущие цены с донора и лить их в базу другого магазина с наценкой. Сайт для сбора цены требовал авторизацию. Проблема заключалась в том, что используя авторизацию методом POST, модуль авторизовался только 12 часов после чего авторизация слетала. Пока пытался решить задачу выяснилось такое: - при смене браузера или сбросе кеша менялось значение rsa_data в заголовках запроса - при каждой новой авторизации менялись куки - авторизация методом POST срабатывала, лишь тогда, когда в разделе "настройка запросов" были добавлены куки. - автоматическая авторизация работала только 12 часов. - с какой-то периодичностью менялось значение ssid Проблем была решена следующим образом: отследил время активной сессии, для этого залогинился в браузере и оставим открытую вкладу периодически поглядывая разлогинело меня или нет. Спустя 12 часов браузер написал "время сессии завершено из-за отсутствия активности ...." и еще чего-то там. Т.е. меня разлогинело потому что браузер "не проявил активности". Соответственно нужно было всего лишь проявить активность. Т.к. задача моего проекта заключается в актуализации цены - я сменил частоту обновления и добавил задачу в планировщик с периодическим запуском через 8 часов. т.е. с таким интервалом, что бы сессия никогда не истекла и всегда оставалась активной. Не знаю на сколько рабочий вариант и долго ли проживет такое решение, но пока что 5 дней полет нормальный.
- 13,430 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Кстати, если скопировть с любого браузера куки и подставить их в модуль, тогда модуль успешно проходит авторизацию, но опять же только 12 часов, по истечению этого времени авторизация слетает. Но в куках нет rsa_data.
-
При попытке загрузить код страницы авторизации, говорит что не найден обработчик, если я правильно, делаю.
-
Если разлогиниться и снова залогиниться, даже с повторным вводом пароля - данные rsa остаются идентичны. Но если сбросить кеш или зайти с другого браузера или в режиме инкогнито, то данные уже другие.
-
Я переписывал и все данные также. Из запроса, копирую урл, по которому отправляется запрос, все данные также прееношу, указываю ссылку и текст для проверки, и выполняю авторизацию. Выводится сообщение что запрос отправлен, но проверка авторизации завершается неудачно, "проверочное слово не найдено". Загружаю код страницы после отправки запроса на авторизацию и в коде тоже вижу что не авторизовался.
-
Спасибо за подсказки. Непрерырвные логи включил. Ко всем данным добавился один запрос, который содержит данные похожие на данные авторизации. Среди них "USER_LOGIN" и "__RSA_DATA". может ли быть паролем этот параметр "__RSA_DATA"? Т.к. остальные параметры не содержать данных похожих на пароль. Другие данные, которые присутствуют в запросе совсем не похожи на данные для авторизации.. На вкладке "авторизация" в поле "Данные для авторизации" записываю данные через разделитель "&" как указано в инструкции, имена параметров указываю "USER_LOGIN" и "__RSA_DATA" и через равно указываю данные, которые отображает фаерфокс. Но все равно авторизация не успешна. Подскажите пожалуйста правильно ли я определил данные для авторизации и нужно ли использовать для авторизации другие параметры, которые присутствуют в запросе?
-
Спасибо, пробую. Про спойлер - ок, Благодраю, посмотрю как это делать, а то
-
Скрин настрек автоматической авторизации
-
-
Добрый день. Подскажите пожалуйста как решить проблему: Проект настроен на парсинг сайта, который требует авторизацию. Делаю как сказано в инструкции: Авторизуюсь на сайте-доноре, иду "инструменты разработчика", копирую куки, вставляю на вкладке запросы в раздел "исользовать свои заголовки", сохраняю. После чего, парсер авторизуется и успешно выполняет все свои функции, но так происходит только 12 часов. По истечению 12 часов парсер перестает авторизоваться. На сколько я понимаю, истекает время активного подключения или сессии а значит предполагаю, что нужно настроить автоматическую авторизацию. Читаю инструкцию к модулю, пробую метод авторизации htpasswd: смотрю в фаерфоксе на каккой странице происходит авторизация, копирую ссылку, далее в настройках модуля, в разделе "авторизация" указываю ссылку на страницу авторизации и в разделе "Данные для авторизации" указываю даныне с разделителем ":", указываю проверочное слово, выполняю запрос, и затем проверку. Но авторизоваться не получается. "Проверочное слово не найдено" и по коду загружаемой страници тоже видно что парсер не авторизовался. Методом "POST запроса" тоже не удается авторизоваться, т.к. не получается в фаерфоксе выявить запрос, в котором браузер передает данные на сервер для авторизации. Я имею ввиду что среди всез данных, которые отображаются в разлеле "network" вижу только один запрос, в котором не просматривается никаких данных похожих на логин или пароль, и ответ на такой запрос приходит пустым. Подскажите пожалуйста что я делаю не так, или как добится автоматической авторизации? Не знаю на сколько будут информативны скрины, но все же прикрепил для наглядности:
-
Спасибо! Подключил доработанный скрипт + добавил конвертацию по валюте и наценку. Вроде бы отрабатывается как надо. Тестирую.
-
Я и использую ваше готовое решение, но делаю это как-то коряво. Пересоздал заново границы, правила поиска/замены. Теперь работает. Обновляется цена. Но теперь получается что, модулем на курс не разделить и наценку не добавить раз код выполняется после правил поиска/замены?
-
Д Спасибо. Поменял "перед" на "после" проводя тесты и прикрепил не тот скрин. Да, на скрине действительно указано "после парсинга в ИМ" но фактически данные не декодируются и при настройке "перед парсингом в им" Такой вывод напрашивается из-за того что не удается увидеть результат обработки. Причина, как я догадываюсь, в том, что, если данные и декодируются (например получаем "237 грн"), то пишутся эти данные в "price", а поле это может содержать только числа, если я не ошибаюсь, по этому и принимается значение "0" . Далее, т.к. при предпросмотре не видно результата обработки скрипта, я пытаюсь спарсить данные в csv, что бы, понять какие данные мы получаем на выходе. Привожу скрипт к виду <?php $script_data['script_gran'][9] = base64_decode($script_data['script_gran'][9]); ?> по аналогии в инструкции к модулю. Выполняю парсинг в csv, и в файле csv вижу данные в base64 Жаль, я далек от програмирования, но все же хотелось бы разобраться и добиться чистой цены при парсинге как в ИМ так и в csv. Буду признателен за любые комментарии и подсказки для чайников
-
При парсинге в csv тоже возвращает не раскодированные данные, при этом в логах пишет что сатрт скрипта есть и следом за ним выполняется новый запрос. А завершена работа скрипта или остановлена - не указано. Пример: 2021-11-30 15:32:02| Парсинг : УСПЕШНЫЙ ЗАПРОС | Код ответа [200] Ссылка | http://autoboss.ua/private/catalog/detail/70013/ 2021-11-30 15:32:02| -> [SCRIPT] Старт выполнения скрипта [/var/www/www-root/data/www/dekoravto.com/admin/simplepars/scripts/dekod_for_csv.php] Подскажите пожалуйста что я делаю не так.
