BustedFuse Опубліковано: 12 січня 2022 Share Опубліковано: 12 січня 2022 1 час назад, Rassol2 сказал: Внимательнее смотрите на настройки. Скрыть контент Да, я там специально не ставил Обновлять. Думал, что при первом парсинге создадутся сопутствующие товары, и чтобы далее парсер не грузить - обновление не ставил. Видимо, не так вашу инструкцию понял. Сейчас попробую. Надіслати Поділитися на інших сайтах More sharing options...
kostya242 Опубліковано: 12 січня 2022 Share Опубліковано: 12 січня 2022 Напомните, пожалуйста, если стоит основная задача хотя бы раз в неделю парсить свежие цены у донора и чтобы делать это быстро, как лучше поступить? 1) Сначала настраиваем парсинг в кэш 2) После парсинга в кэш Действие - Обновлять и использовать кэш? В таком случае кэш все равно будет кэшироваться раз в неделю для получения актуальных цен у донора, просто потом можно парсить цены в 5 потоков? Спойлер Надіслати Поділитися на інших сайтах More sharing options...
partshez Опубліковано: 12 січня 2022 Share Опубліковано: 12 січня 2022 (змінено) 20 минут назад, kostya242 сказал: Напомните, пожалуйста, если стоит основная задача хотя бы раз в неделю парсить свежие цены у донора и чтобы делать это быстро, как лучше поступить? 1) Сначала настраиваем парсинг в кэш 2) После парсинга в кэш Действие - Обновлять и использовать кэш? В таком случае кэш все равно будет кэшироваться раз в неделю для получения актуальных цен у донора, просто потом можно парсить цены в 5 потоков? Показать контент Я делаю так. Парсинг в 1 поток с паузой 5-10 без создания кеша Кеш использую только в момент отладки парсинга, чтобы не долбить донора лишний раз Змінено 12 січня 2022 користувачем partshez 1 Надіслати Поділитися на інших сайтах More sharing options...
kostya242 Опубліковано: 12 січня 2022 Share Опубліковано: 12 січня 2022 20 минут назад, partshez сказал: Я делаю так. Парсинг в 1 поток с паузой 5-10 без создания кеша Ох и длительное это время получится на парсинг, если товаров больше 10к+ Надіслати Поділитися на інших сайтах More sharing options...
partshez Опубліковано: 12 січня 2022 Share Опубліковано: 12 січня 2022 5 минут назад, kostya242 сказал: Ох и длительное это время получится на парсинг, если товаров больше 10к+ Попытайтесь найти ссылку на выгрузку xml (связаться с админом, угостить пивом ). Тогда можно будет в 5 потоков 1 Надіслати Поділитися на інших сайтах More sharing options...
NoName_13 Опубліковано: 13 січня 2022 Share Опубліковано: 13 січня 2022 Здравствуйте. Есть донор. Парсинг через выгрузку xml. Все настроено удобно, красиво, работает идеально. Вопрос: как выгрузить не все товары с xml, а по 20 товаров в каждую конечную категорию и по возростанию цены (самые дешевые) ? Я понимаю, что это скрипт, скорее всего... может есть готовый Спасибо за подсказку/наводку/помощь. Надіслати Поділитися на інших сайтах More sharing options...
DmitriyH Опубліковано: 13 січня 2022 Share Опубліковано: 13 січня 2022 Доброго времени ув. сообщество. Подскажите, может кто сталкивался. Есть донор на котором доступ к описанию и цене товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного результата не принет (млдуль не проходит регистрацию на сайте доноре). При обращении к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Так вот, крик о помощи заключается в том, что мне бы выяснить точно в чем причина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же причина в сайте доноре? И есть ли пути решения? Буду благодарен любой помощи. Надіслати Поділитися на інших сайтах More sharing options...
partshez Опубліковано: 13 січня 2022 Share Опубліковано: 13 січня 2022 1 минуту назад, DmitriyH сказал: Доброго времени ув. сообщество. Подскажите, может кто сталкивался. Есть донор на котором доступ к описанию и цене товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного результата не принет (млдуль не проходит регистрацию на сайте доноре). При обращении к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Так вот, крик о помощи заключается в том, что мне бы выяснить точно в чем причина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же причина в сайте доноре? И есть ли пути решения? Буду благодарен любой помощи. Пишите в личку 1 Надіслати Поділитися на інших сайтах More sharing options...
Rassol2 Опубліковано: 13 січня 2022 Автор Share Опубліковано: 13 січня 2022 3 часа назад, NoName_13 сказал: Здравствуйте. Есть донор. Парсинг через выгрузку xml. Все настроено удобно, красиво, работает идеально. Вопрос: как выгрузить не все товары с xml, а по 20 товаров в каждую конечную категорию и по возростанию цены (самые дешевые) ? Я понимаю, что это скрипт, скорее всего... может есть готовый Спасибо за подсказку/наводку/помощь. Здравствуйте. оставьте ссылки только на 20 товаров в каждой из категории и нужными ценами. Встроенного механизма для решения такой задачи нет. Надіслати Поділитися на інших сайтах More sharing options... DmitriyH Опубліковано: 13 січня 2022 Share Опубліковано: 13 січня 2022 1 час назад, DmitriyH сказал: Доброго времени ув. сообщество. Подскажите, может кто сталкивался. Есть донор на котором доступ к описанию и цене товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного результата не принет (млдуль не проходит регистрацию на сайте доноре). При обращении к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Так вот, крик о помощи заключается в том, что мне бы выяснить точно в чем причина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же причина в сайте доноре? И есть ли пути решения? Буду благодарен любой помощи. Вопрос остается открытым. Буду признателен любой помощи в решении данной задачи. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) Подскажите пожалуйста, что я делаю не так. Хочу спарсить XML, чтобы ссылки с доменом 21vek.by попали в поле ссылки на товар, но никак не получается. Вот XML кусок если просто парсить этот файл, без каких либо настроек, то он выдает только это:https://21vek.partners/bufer/bufferid.html Змінено 14 січня 2022 користувачем egortide Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 28 минут назад, egortide сказал: Подскажите пожалуйста, что я делаю не так. Хочу спарсить XML, чтобы ссылки с доменом 21vek.by попали в поле ссылки на товар, но никак не получается. Вот XML кусок если просто парсить этот файл, без каких либо настроек, то он выдает только это:https://21vek.partners/bufer/bufferid.html Ну а как можно что то спарсить без каких либо настроек ? В вашем случаи вы сделали настройки и указали границу парсинга с названием в поле имя, и именно это и получили. Не совсем корректный вопрос, опишите подробнее ваш ожидаемый результат, что именно вы хотите сделать и что у вас есть на входе. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 1 час назад, Rassol2 сказал: Ну а как можно что то спарсить без каких либо настроек ? В вашем случаи вы сделали настройки и указали границу парсинга с названием в поле имя, и именно это и получили. Не совсем корректный вопрос, опишите подробнее ваш ожидаемый результат, что именно вы хотите сделать и что у вас есть на входе. В файле XML, который на скрине, все окей. там так и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга: <name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name> но при этом в тэге url он находит ссылку. <url>https://21vek.partners/bufer/serios123.html</url> и выдает только это Змінено 14 січня 2022 користувачем egortide Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 57 минут назад, egortide сказал: В файле XML, который на скрине, все окей. там так и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга: <name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name> но при этом в тэге url он находит ссылку. <url>https://21vek.partners/bufer/serios123.html</url> и выдает только это а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта. Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла. Модуль собирает ссылки в стандарте с страниц 1) html где ссылки в теге <a> 2) sitemap где ссылки в теге <link> 3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url> Но вот с тега <name> это что то новенькое. Если готовы править файлы модуля я вам подскажу что изменить. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 3 минуты назад, Rassol2 сказал: а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта. Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла. Модуль собирает ссылки в стандарте с страниц 1) html где ссылки в теге <a> 2) sitemap где ссылки в теге <link> 3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url> Но вот с тега <name> это что то новенькое. Если готовы править файлы модуля я вам подскажу что изменить. Готов, что править?) Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 Только что, egortide сказал: Готов, что править?) ок 5 минут. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 делаю все это с целью обновления новых товаров в фиде. заливается товар с ссылкой на донора в имени , в определенную категорию. выгружаю эту категорию яндекс модулем. и парсером беру ссылки на страницы товара донора) Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 1 минуту назад, egortide сказал: Готов, что править?) Открываете файл/admin/model/catalog/simplepars.php Находите строку $reg_url = '#<url>(.*?)</url>#s'; Заменяете ее на $reg_url = '#<name>(.*?)</name>#s'; Что бы вышло вот так. Спойлер Затем выбираете в сборе ссылок режим, и сохраняете настройки.С XML выгрузки тег ссылки <URL> Все теперь модуль будет собирать ссылки с этого файла из тега <name> 1 Надіслати Поділитися на інших сайтах More sharing options... yurok79 Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 Змінено 14 січня 2022 користувачем yurok79 Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Надіслати Поділитися на інших сайтах More sharing options... Axelenz Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 3 минуты назад, egortide сказал: Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Правильно понимаете теоретически. Главное при этом учесть, за сколько примерно могут выполниться эти задания, с учётом возможных задержек и накинуть про запас ещё времени... А если это парсится с одного донора, но с разных категорий, то лучше разнести всё по времени выполнения и дать отдохнуть донору от своего присутствия ) Змінено 14 січня 2022 користувачем Axelenz 1 Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 8 часов назад, yurok79 сказал: Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 В настройках php в панели управления хостингом включите библиотеку PDO В некоторых хостингах она называется pdo mysql После этого выполните ./inst.php Обычно эта библиотека на хостингах включена по умолчанию. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 15 січня 2022 Автор Share Опубліковано: 15 січня 2022 1 час назад, egortide сказал: Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обработаны с ошибками и пропарсить только эти ссылки в ручную, под контролем. Надіслати Поділитися на інших сайтах More sharing options... Starychenko Опубліковано: 15 січня 2022 Share Опубліковано: 15 січня 2022 Добрый день. Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ? Вкратце опишу ситуацию и сделаю предположения, как это можно решить. Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты. Есть донор, который отдаёт XML файл следующей структуры (будет ниже). После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара. Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant= Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают: 1. Купить, к примеру 1 шт. по 913 гр-н 2. Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн. То есть 1 шт. по 806 грн. Первая проблема: 1. При парсинге в ИМ для модуля это, по сути, один и тот же товар. Так как сопоставляю товары я пускай по имени товара. То есть при парсинге модуль сначала заливает цену 913, а потом 4838. Или, наоборот, если очерёдность в XML файле будет обратная. Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой. 2. Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant= Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ. Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил: 1. Есть ли несколько строк с одинаковым артикулом 2. Если есть – нашёл все дублирующие строки одного артикула 3. Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил 3.1 Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой. <offer id='1242' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url> <price>913</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5832' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url> <price>4838</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5044' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023</url> <price>1075</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name>Product 2</name> <description></description> </offer> <offer id='2725' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url> <price>185</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name> Product 2</name> <description></description> </offer> Надіслати Поділитися на інших сайтах More sharing options... Назад 405 406 407 408 409 410 411 412 413 414 415 Вперед Сторінка 410 з 533 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 83 Перейти до списку тем Схожі публікації SimplePars - Універсальний парсер для ІМ Автор: Rassol2, 28 жовтня 2018 simplepars парсинг товаров opencart (і ще %d) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 коментарів 149 744 перегляди Rassol2 28 жовтня 2018 batch [Поддержка] 1 2 3 4 10 Автор: Sha, 16 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 248 відповідей 54 054 перегляди Sha 28 серпня batch Універсальний масовий редактор товарів. MultiEdit AI Автор: Sha, 15 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 0 коментарів 54 922 перегляди Sha 15 березня 2017 Модуль Import/Export Pro - XLSX -XLS - CSV - XML - JSON - Google Spreadsheets [Поддержка] 1 2 3 4 39 Автор: DevmanExtensions, 6 липня 2018 export import excel (і ще %d) Теги: export import excel import xlsx import xls import csv import xml import google spread export excel export xlsx export xls export csv export xml export google spread excel масове изменения товаров обновления акций бекапы электронная таблица import яндекс yml xml yml xls json 958 відповідей 109 503 перегляди DevmanExtensions 25 липня парсинг Парсер товарів. Наповнення Opencart, Insales, Bitrix, CRM та CMS Автор: solohaigor, 14 квітня 2023 парсер наполнить (і ще %d) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 коментарів 3 171 перегляд solohaigor 14 квітня 2023 Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку Последние темы Последние дополнения Последние новости Вся активність Головна Підтримка та відповіді на запитання. Модулі та розширення Парсеры [Поддержка] Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення SEO Автор тексту категорії / фільтра з датою оновлення контенту + мікророзмітка Автор: radaevich Промо банери в категоріях товарів Автор: IHOR1989 Trend - адаптивний універсальний шаблон Автор: DSV Instagram Feed Widget Автор: kJlukOo SQLite Session Driver (зберігання сесії в sqlite) Автор: Vladzimir × Уже зареєстровані? Ввійти Реєстрація Ваші замовлення Назад Придбані модулі та шаблони Ваші рахунки Лист очікувань Альтернативні контакти Форум Новини ocStore Назад Офіційний сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Завантажити ocStore Документація Історія версій ocStore Блоги Модулі Шаблони Назад Безкоштовні шаблони Платні шаблони Де купувати модулі? Послуги FAQ OpenCart.Pro Назад Демо Купити Порівняння × Створити... Important Information На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність. Я даю згоду
DmitriyH Опубліковано: 13 січня 2022 Share Опубліковано: 13 січня 2022 1 час назад, DmitriyH сказал: Доброго времени ув. сообщество. Подскажите, может кто сталкивался. Есть донор на котором доступ к описанию и цене товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного результата не принет (млдуль не проходит регистрацию на сайте доноре). При обращении к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Так вот, крик о помощи заключается в том, что мне бы выяснить точно в чем причина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же причина в сайте доноре? И есть ли пути решения? Буду благодарен любой помощи. Вопрос остается открытым. Буду признателен любой помощи в решении данной задачи. Надіслати Поділитися на інших сайтах More sharing options...
egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) Подскажите пожалуйста, что я делаю не так. Хочу спарсить XML, чтобы ссылки с доменом 21vek.by попали в поле ссылки на товар, но никак не получается. Вот XML кусок если просто парсить этот файл, без каких либо настроек, то он выдает только это:https://21vek.partners/bufer/bufferid.html Змінено 14 січня 2022 користувачем egortide Надіслати Поділитися на інших сайтах More sharing options...
Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 28 минут назад, egortide сказал: Подскажите пожалуйста, что я делаю не так. Хочу спарсить XML, чтобы ссылки с доменом 21vek.by попали в поле ссылки на товар, но никак не получается. Вот XML кусок если просто парсить этот файл, без каких либо настроек, то он выдает только это:https://21vek.partners/bufer/bufferid.html Ну а как можно что то спарсить без каких либо настроек ? В вашем случаи вы сделали настройки и указали границу парсинга с названием в поле имя, и именно это и получили. Не совсем корректный вопрос, опишите подробнее ваш ожидаемый результат, что именно вы хотите сделать и что у вас есть на входе. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 1 час назад, Rassol2 сказал: Ну а как можно что то спарсить без каких либо настроек ? В вашем случаи вы сделали настройки и указали границу парсинга с названием в поле имя, и именно это и получили. Не совсем корректный вопрос, опишите подробнее ваш ожидаемый результат, что именно вы хотите сделать и что у вас есть на входе. В файле XML, который на скрине, все окей. там так и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга: <name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name> но при этом в тэге url он находит ссылку. <url>https://21vek.partners/bufer/serios123.html</url> и выдает только это Змінено 14 січня 2022 користувачем egortide Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 57 минут назад, egortide сказал: В файле XML, который на скрине, все окей. там так и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга: <name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name> но при этом в тэге url он находит ссылку. <url>https://21vek.partners/bufer/serios123.html</url> и выдает только это а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта. Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла. Модуль собирает ссылки в стандарте с страниц 1) html где ссылки в теге <a> 2) sitemap где ссылки в теге <link> 3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url> Но вот с тега <name> это что то новенькое. Если готовы править файлы модуля я вам подскажу что изменить. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 3 минуты назад, Rassol2 сказал: а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта. Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла. Модуль собирает ссылки в стандарте с страниц 1) html где ссылки в теге <a> 2) sitemap где ссылки в теге <link> 3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url> Но вот с тега <name> это что то новенькое. Если готовы править файлы модуля я вам подскажу что изменить. Готов, что править?) Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 Только что, egortide сказал: Готов, что править?) ок 5 минут. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 делаю все это с целью обновления новых товаров в фиде. заливается товар с ссылкой на донора в имени , в определенную категорию. выгружаю эту категорию яндекс модулем. и парсером беру ссылки на страницы товара донора) Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 1 минуту назад, egortide сказал: Готов, что править?) Открываете файл/admin/model/catalog/simplepars.php Находите строку $reg_url = '#<url>(.*?)</url>#s'; Заменяете ее на $reg_url = '#<name>(.*?)</name>#s'; Что бы вышло вот так. Спойлер Затем выбираете в сборе ссылок режим, и сохраняете настройки.С XML выгрузки тег ссылки <URL> Все теперь модуль будет собирать ссылки с этого файла из тега <name> 1 Надіслати Поділитися на інших сайтах More sharing options... yurok79 Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 Змінено 14 січня 2022 користувачем yurok79 Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Надіслати Поділитися на інших сайтах More sharing options... Axelenz Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 3 минуты назад, egortide сказал: Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Правильно понимаете теоретически. Главное при этом учесть, за сколько примерно могут выполниться эти задания, с учётом возможных задержек и накинуть про запас ещё времени... А если это парсится с одного донора, но с разных категорий, то лучше разнести всё по времени выполнения и дать отдохнуть донору от своего присутствия ) Змінено 14 січня 2022 користувачем Axelenz 1 Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 8 часов назад, yurok79 сказал: Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 В настройках php в панели управления хостингом включите библиотеку PDO В некоторых хостингах она называется pdo mysql После этого выполните ./inst.php Обычно эта библиотека на хостингах включена по умолчанию. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 15 січня 2022 Автор Share Опубліковано: 15 січня 2022 1 час назад, egortide сказал: Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обработаны с ошибками и пропарсить только эти ссылки в ручную, под контролем. Надіслати Поділитися на інших сайтах More sharing options... Starychenko Опубліковано: 15 січня 2022 Share Опубліковано: 15 січня 2022 Добрый день. Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ? Вкратце опишу ситуацию и сделаю предположения, как это можно решить. Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты. Есть донор, который отдаёт XML файл следующей структуры (будет ниже). После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара. Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant= Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают: 1. Купить, к примеру 1 шт. по 913 гр-н 2. Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн. То есть 1 шт. по 806 грн. Первая проблема: 1. При парсинге в ИМ для модуля это, по сути, один и тот же товар. Так как сопоставляю товары я пускай по имени товара. То есть при парсинге модуль сначала заливает цену 913, а потом 4838. Или, наоборот, если очерёдность в XML файле будет обратная. Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой. 2. Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant= Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ. Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил: 1. Есть ли несколько строк с одинаковым артикулом 2. Если есть – нашёл все дублирующие строки одного артикула 3. Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил 3.1 Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой. <offer id='1242' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url> <price>913</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5832' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url> <price>4838</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5044' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023</url> <price>1075</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name>Product 2</name> <description></description> </offer> <offer id='2725' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url> <price>185</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name> Product 2</name> <description></description> </offer> Надіслати Поділитися на інших сайтах More sharing options... Назад 405 406 407 408 409 410 411 412 413 414 415 Вперед Сторінка 410 з 533 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 83 Перейти до списку тем Схожі публікації SimplePars - Універсальний парсер для ІМ Автор: Rassol2, 28 жовтня 2018 simplepars парсинг товаров opencart (і ще %d) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 коментарів 149 744 перегляди Rassol2 28 жовтня 2018 batch [Поддержка] 1 2 3 4 10 Автор: Sha, 16 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 248 відповідей 54 054 перегляди Sha 28 серпня batch Універсальний масовий редактор товарів. MultiEdit AI Автор: Sha, 15 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 0 коментарів 54 922 перегляди Sha 15 березня 2017 Модуль Import/Export Pro - XLSX -XLS - CSV - XML - JSON - Google Spreadsheets [Поддержка] 1 2 3 4 39 Автор: DevmanExtensions, 6 липня 2018 export import excel (і ще %d) Теги: export import excel import xlsx import xls import csv import xml import google spread export excel export xlsx export xls export csv export xml export google spread excel масове изменения товаров обновления акций бекапы электронная таблица import яндекс yml xml yml xls json 958 відповідей 109 503 перегляди DevmanExtensions 25 липня парсинг Парсер товарів. Наповнення Opencart, Insales, Bitrix, CRM та CMS Автор: solohaigor, 14 квітня 2023 парсер наполнить (і ще %d) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 коментарів 3 171 перегляд solohaigor 14 квітня 2023 Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку Последние темы Последние дополнения Последние новости Вся активність Головна Підтримка та відповіді на запитання. Модулі та розширення Парсеры [Поддержка] Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення SEO Автор тексту категорії / фільтра з датою оновлення контенту + мікророзмітка Автор: radaevich Промо банери в категоріях товарів Автор: IHOR1989 Trend - адаптивний універсальний шаблон Автор: DSV Instagram Feed Widget Автор: kJlukOo SQLite Session Driver (зберігання сесії в sqlite) Автор: Vladzimir × Уже зареєстровані? Ввійти Реєстрація Ваші замовлення Назад Придбані модулі та шаблони Ваші рахунки Лист очікувань Альтернативні контакти Форум Новини ocStore Назад Офіційний сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Завантажити ocStore Документація Історія версій ocStore Блоги Модулі Шаблони Назад Безкоштовні шаблони Платні шаблони Де купувати модулі? Послуги FAQ OpenCart.Pro Назад Демо Купити Порівняння × Створити... Important Information На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність. Я даю згоду
egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 1 час назад, Rassol2 сказал: Ну а как можно что то спарсить без каких либо настроек ? В вашем случаи вы сделали настройки и указали границу парсинга с названием в поле имя, и именно это и получили. Не совсем корректный вопрос, опишите подробнее ваш ожидаемый результат, что именно вы хотите сделать и что у вас есть на входе. В файле XML, который на скрине, все окей. там так и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга: <name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name> но при этом в тэге url он находит ссылку. <url>https://21vek.partners/bufer/serios123.html</url> и выдает только это Змінено 14 січня 2022 користувачем egortide Надіслати Поділитися на інших сайтах More sharing options...
Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 57 минут назад, egortide сказал: В файле XML, который на скрине, все окей. там так и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга: <name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name> но при этом в тэге url он находит ссылку. <url>https://21vek.partners/bufer/serios123.html</url> и выдает только это а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта. Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла. Модуль собирает ссылки в стандарте с страниц 1) html где ссылки в теге <a> 2) sitemap где ссылки в теге <link> 3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url> Но вот с тега <name> это что то новенькое. Если готовы править файлы модуля я вам подскажу что изменить. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 3 минуты назад, Rassol2 сказал: а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта. Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла. Модуль собирает ссылки в стандарте с страниц 1) html где ссылки в теге <a> 2) sitemap где ссылки в теге <link> 3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url> Но вот с тега <name> это что то новенькое. Если готовы править файлы модуля я вам подскажу что изменить. Готов, что править?) Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 Только что, egortide сказал: Готов, что править?) ок 5 минут. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 делаю все это с целью обновления новых товаров в фиде. заливается товар с ссылкой на донора в имени , в определенную категорию. выгружаю эту категорию яндекс модулем. и парсером беру ссылки на страницы товара донора) Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 1 минуту назад, egortide сказал: Готов, что править?) Открываете файл/admin/model/catalog/simplepars.php Находите строку $reg_url = '#<url>(.*?)</url>#s'; Заменяете ее на $reg_url = '#<name>(.*?)</name>#s'; Что бы вышло вот так. Спойлер Затем выбираете в сборе ссылок режим, и сохраняете настройки.С XML выгрузки тег ссылки <URL> Все теперь модуль будет собирать ссылки с этого файла из тега <name> 1 Надіслати Поділитися на інших сайтах More sharing options... yurok79 Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 Змінено 14 січня 2022 користувачем yurok79 Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Надіслати Поділитися на інших сайтах More sharing options... Axelenz Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 3 минуты назад, egortide сказал: Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Правильно понимаете теоретически. Главное при этом учесть, за сколько примерно могут выполниться эти задания, с учётом возможных задержек и накинуть про запас ещё времени... А если это парсится с одного донора, но с разных категорий, то лучше разнести всё по времени выполнения и дать отдохнуть донору от своего присутствия ) Змінено 14 січня 2022 користувачем Axelenz 1 Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 8 часов назад, yurok79 сказал: Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 В настройках php в панели управления хостингом включите библиотеку PDO В некоторых хостингах она называется pdo mysql После этого выполните ./inst.php Обычно эта библиотека на хостингах включена по умолчанию. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 15 січня 2022 Автор Share Опубліковано: 15 січня 2022 1 час назад, egortide сказал: Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обработаны с ошибками и пропарсить только эти ссылки в ручную, под контролем. Надіслати Поділитися на інших сайтах More sharing options... Starychenko Опубліковано: 15 січня 2022 Share Опубліковано: 15 січня 2022 Добрый день. Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ? Вкратце опишу ситуацию и сделаю предположения, как это можно решить. Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты. Есть донор, который отдаёт XML файл следующей структуры (будет ниже). После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара. Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant= Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают: 1. Купить, к примеру 1 шт. по 913 гр-н 2. Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн. То есть 1 шт. по 806 грн. Первая проблема: 1. При парсинге в ИМ для модуля это, по сути, один и тот же товар. Так как сопоставляю товары я пускай по имени товара. То есть при парсинге модуль сначала заливает цену 913, а потом 4838. Или, наоборот, если очерёдность в XML файле будет обратная. Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой. 2. Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant= Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ. Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил: 1. Есть ли несколько строк с одинаковым артикулом 2. Если есть – нашёл все дублирующие строки одного артикула 3. Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил 3.1 Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой. <offer id='1242' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url> <price>913</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5832' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url> <price>4838</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5044' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023</url> <price>1075</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name>Product 2</name> <description></description> </offer> <offer id='2725' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url> <price>185</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name> Product 2</name> <description></description> </offer> Надіслати Поділитися на інших сайтах More sharing options... Назад 405 406 407 408 409 410 411 412 413 414 415 Вперед Сторінка 410 з 533 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 83 Перейти до списку тем Схожі публікації SimplePars - Універсальний парсер для ІМ Автор: Rassol2, 28 жовтня 2018 simplepars парсинг товаров opencart (і ще %d) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 коментарів 149 744 перегляди Rassol2 28 жовтня 2018 batch [Поддержка] 1 2 3 4 10 Автор: Sha, 16 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 248 відповідей 54 054 перегляди Sha 28 серпня batch Універсальний масовий редактор товарів. MultiEdit AI Автор: Sha, 15 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 0 коментарів 54 922 перегляди Sha 15 березня 2017 Модуль Import/Export Pro - XLSX -XLS - CSV - XML - JSON - Google Spreadsheets [Поддержка] 1 2 3 4 39 Автор: DevmanExtensions, 6 липня 2018 export import excel (і ще %d) Теги: export import excel import xlsx import xls import csv import xml import google spread export excel export xlsx export xls export csv export xml export google spread excel масове изменения товаров обновления акций бекапы электронная таблица import яндекс yml xml yml xls json 958 відповідей 109 503 перегляди DevmanExtensions 25 липня парсинг Парсер товарів. Наповнення Opencart, Insales, Bitrix, CRM та CMS Автор: solohaigor, 14 квітня 2023 парсер наполнить (і ще %d) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 коментарів 3 171 перегляд solohaigor 14 квітня 2023 Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку Последние темы Последние дополнения Последние новости Вся активність Головна Підтримка та відповіді на запитання. Модулі та розширення Парсеры [Поддержка] Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення SEO Автор тексту категорії / фільтра з датою оновлення контенту + мікророзмітка Автор: radaevich Промо банери в категоріях товарів Автор: IHOR1989 Trend - адаптивний універсальний шаблон Автор: DSV Instagram Feed Widget Автор: kJlukOo SQLite Session Driver (зберігання сесії в sqlite) Автор: Vladzimir × Уже зареєстровані? Ввійти Реєстрація Ваші замовлення Назад Придбані модулі та шаблони Ваші рахунки Лист очікувань Альтернативні контакти Форум Новини ocStore Назад Офіційний сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Завантажити ocStore Документація Історія версій ocStore Блоги Модулі Шаблони Назад Безкоштовні шаблони Платні шаблони Де купувати модулі? Послуги FAQ OpenCart.Pro Назад Демо Купити Порівняння × Створити... Important Information На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність. Я даю згоду
egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 3 минуты назад, Rassol2 сказал: а вы пытаетесь собрать ссылки с xml фида. Это не тоже самое что сбор ссылок с карты сайта. Если вы хотите собрать ссылки с поля name я могу написать что и где в коде изменить что бы модуль мог собрать ссылки с этого файла. Модуль собирает ссылки в стандарте с страниц 1) html где ссылки в теге <a> 2) sitemap где ссылки в теге <link> 3) c недавнего времени есть режим сбора ссылок с xml выгрузки где ссылки находятся в теге <url> Но вот с тега <name> это что то новенькое. Если готовы править файлы модуля я вам подскажу что изменить. Готов, что править?) Надіслати Поділитися на інших сайтах More sharing options...
Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 Только что, egortide сказал: Готов, что править?) ок 5 минут. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 делаю все это с целью обновления новых товаров в фиде. заливается товар с ссылкой на донора в имени , в определенную категорию. выгружаю эту категорию яндекс модулем. и парсером беру ссылки на страницы товара донора) Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 1 минуту назад, egortide сказал: Готов, что править?) Открываете файл/admin/model/catalog/simplepars.php Находите строку $reg_url = '#<url>(.*?)</url>#s'; Заменяете ее на $reg_url = '#<name>(.*?)</name>#s'; Что бы вышло вот так. Спойлер Затем выбираете в сборе ссылок режим, и сохраняете настройки.С XML выгрузки тег ссылки <URL> Все теперь модуль будет собирать ссылки с этого файла из тега <name> 1 Надіслати Поділитися на інших сайтах More sharing options... yurok79 Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 Змінено 14 січня 2022 користувачем yurok79 Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Надіслати Поділитися на інших сайтах More sharing options... Axelenz Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 3 минуты назад, egortide сказал: Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Правильно понимаете теоретически. Главное при этом учесть, за сколько примерно могут выполниться эти задания, с учётом возможных задержек и накинуть про запас ещё времени... А если это парсится с одного донора, но с разных категорий, то лучше разнести всё по времени выполнения и дать отдохнуть донору от своего присутствия ) Змінено 14 січня 2022 користувачем Axelenz 1 Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 8 часов назад, yurok79 сказал: Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 В настройках php в панели управления хостингом включите библиотеку PDO В некоторых хостингах она называется pdo mysql После этого выполните ./inst.php Обычно эта библиотека на хостингах включена по умолчанию. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 15 січня 2022 Автор Share Опубліковано: 15 січня 2022 1 час назад, egortide сказал: Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обработаны с ошибками и пропарсить только эти ссылки в ручную, под контролем. Надіслати Поділитися на інших сайтах More sharing options... Starychenko Опубліковано: 15 січня 2022 Share Опубліковано: 15 січня 2022 Добрый день. Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ? Вкратце опишу ситуацию и сделаю предположения, как это можно решить. Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты. Есть донор, который отдаёт XML файл следующей структуры (будет ниже). После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара. Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant= Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают: 1. Купить, к примеру 1 шт. по 913 гр-н 2. Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн. То есть 1 шт. по 806 грн. Первая проблема: 1. При парсинге в ИМ для модуля это, по сути, один и тот же товар. Так как сопоставляю товары я пускай по имени товара. То есть при парсинге модуль сначала заливает цену 913, а потом 4838. Или, наоборот, если очерёдность в XML файле будет обратная. Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой. 2. Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant= Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ. Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил: 1. Есть ли несколько строк с одинаковым артикулом 2. Если есть – нашёл все дублирующие строки одного артикула 3. Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил 3.1 Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой. <offer id='1242' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url> <price>913</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5832' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url> <price>4838</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5044' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023</url> <price>1075</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name>Product 2</name> <description></description> </offer> <offer id='2725' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url> <price>185</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name> Product 2</name> <description></description> </offer> Надіслати Поділитися на інших сайтах More sharing options... Назад 405 406 407 408 409 410 411 412 413 414 415 Вперед Сторінка 410 з 533 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 83 Перейти до списку тем Схожі публікації SimplePars - Універсальний парсер для ІМ Автор: Rassol2, 28 жовтня 2018 simplepars парсинг товаров opencart (і ще %d) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 коментарів 149 744 перегляди Rassol2 28 жовтня 2018 batch [Поддержка] 1 2 3 4 10 Автор: Sha, 16 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 248 відповідей 54 054 перегляди Sha 28 серпня batch Універсальний масовий редактор товарів. MultiEdit AI Автор: Sha, 15 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 0 коментарів 54 922 перегляди Sha 15 березня 2017 Модуль Import/Export Pro - XLSX -XLS - CSV - XML - JSON - Google Spreadsheets [Поддержка] 1 2 3 4 39 Автор: DevmanExtensions, 6 липня 2018 export import excel (і ще %d) Теги: export import excel import xlsx import xls import csv import xml import google spread export excel export xlsx export xls export csv export xml export google spread excel масове изменения товаров обновления акций бекапы электронная таблица import яндекс yml xml yml xls json 958 відповідей 109 503 перегляди DevmanExtensions 25 липня парсинг Парсер товарів. Наповнення Opencart, Insales, Bitrix, CRM та CMS Автор: solohaigor, 14 квітня 2023 парсер наполнить (і ще %d) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 коментарів 3 171 перегляд solohaigor 14 квітня 2023 Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку Последние темы Последние дополнения Последние новости Вся активність Головна Підтримка та відповіді на запитання. Модулі та розширення Парсеры [Поддержка] Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення SEO Автор тексту категорії / фільтра з датою оновлення контенту + мікророзмітка Автор: radaevich Промо банери в категоріях товарів Автор: IHOR1989 Trend - адаптивний універсальний шаблон Автор: DSV Instagram Feed Widget Автор: kJlukOo SQLite Session Driver (зберігання сесії в sqlite) Автор: Vladzimir
egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 делаю все это с целью обновления новых товаров в фиде. заливается товар с ссылкой на донора в имени , в определенную категорию. выгружаю эту категорию яндекс модулем. и парсером беру ссылки на страницы товара донора) Надіслати Поділитися на інших сайтах More sharing options...
Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 1 минуту назад, egortide сказал: Готов, что править?) Открываете файл/admin/model/catalog/simplepars.php Находите строку $reg_url = '#<url>(.*?)</url>#s'; Заменяете ее на $reg_url = '#<name>(.*?)</name>#s'; Что бы вышло вот так. Спойлер Затем выбираете в сборе ссылок режим, и сохраняете настройки.С XML выгрузки тег ссылки <URL> Все теперь модуль будет собирать ссылки с этого файла из тега <name> 1 Надіслати Поділитися на інших сайтах More sharing options... yurok79 Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 Змінено 14 січня 2022 користувачем yurok79 Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Надіслати Поділитися на інших сайтах More sharing options... Axelenz Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 3 минуты назад, egortide сказал: Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Правильно понимаете теоретически. Главное при этом учесть, за сколько примерно могут выполниться эти задания, с учётом возможных задержек и накинуть про запас ещё времени... А если это парсится с одного донора, но с разных категорий, то лучше разнести всё по времени выполнения и дать отдохнуть донору от своего присутствия ) Змінено 14 січня 2022 користувачем Axelenz 1 Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 8 часов назад, yurok79 сказал: Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 В настройках php в панели управления хостингом включите библиотеку PDO В некоторых хостингах она называется pdo mysql После этого выполните ./inst.php Обычно эта библиотека на хостингах включена по умолчанию. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 15 січня 2022 Автор Share Опубліковано: 15 січня 2022 1 час назад, egortide сказал: Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обработаны с ошибками и пропарсить только эти ссылки в ручную, под контролем. Надіслати Поділитися на інших сайтах More sharing options... Starychenko Опубліковано: 15 січня 2022 Share Опубліковано: 15 січня 2022 Добрый день. Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ? Вкратце опишу ситуацию и сделаю предположения, как это можно решить. Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты. Есть донор, который отдаёт XML файл следующей структуры (будет ниже). После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара. Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant= Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают: 1. Купить, к примеру 1 шт. по 913 гр-н 2. Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн. То есть 1 шт. по 806 грн. Первая проблема: 1. При парсинге в ИМ для модуля это, по сути, один и тот же товар. Так как сопоставляю товары я пускай по имени товара. То есть при парсинге модуль сначала заливает цену 913, а потом 4838. Или, наоборот, если очерёдность в XML файле будет обратная. Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой. 2. Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant= Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ. Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил: 1. Есть ли несколько строк с одинаковым артикулом 2. Если есть – нашёл все дублирующие строки одного артикула 3. Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил 3.1 Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой. <offer id='1242' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url> <price>913</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5832' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url> <price>4838</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5044' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023</url> <price>1075</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name>Product 2</name> <description></description> </offer> <offer id='2725' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url> <price>185</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name> Product 2</name> <description></description> </offer> Надіслати Поділитися на інших сайтах More sharing options... Назад 405 406 407 408 409 410 411 412 413 414 415 Вперед Сторінка 410 з 533 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 83 Перейти до списку тем Схожі публікації SimplePars - Універсальний парсер для ІМ Автор: Rassol2, 28 жовтня 2018 simplepars парсинг товаров opencart (і ще %d) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 коментарів 149 744 перегляди Rassol2 28 жовтня 2018 batch [Поддержка] 1 2 3 4 10 Автор: Sha, 16 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 248 відповідей 54 054 перегляди Sha 28 серпня batch Універсальний масовий редактор товарів. MultiEdit AI Автор: Sha, 15 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 0 коментарів 54 922 перегляди Sha 15 березня 2017 Модуль Import/Export Pro - XLSX -XLS - CSV - XML - JSON - Google Spreadsheets [Поддержка] 1 2 3 4 39 Автор: DevmanExtensions, 6 липня 2018 export import excel (і ще %d) Теги: export import excel import xlsx import xls import csv import xml import google spread export excel export xlsx export xls export csv export xml export google spread excel масове изменения товаров обновления акций бекапы электронная таблица import яндекс yml xml yml xls json 958 відповідей 109 503 перегляди DevmanExtensions 25 липня парсинг Парсер товарів. Наповнення Opencart, Insales, Bitrix, CRM та CMS Автор: solohaigor, 14 квітня 2023 парсер наполнить (і ще %d) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 коментарів 3 171 перегляд solohaigor 14 квітня 2023 Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку Последние темы Последние дополнения Последние новости Вся активність Головна Підтримка та відповіді на запитання. Модулі та розширення Парсеры [Поддержка]
yurok79 Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 Змінено 14 січня 2022 користувачем yurok79 Надіслати Поділитися на інших сайтах More sharing options...
egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Надіслати Поділитися на інших сайтах More sharing options...
Axelenz Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 (змінено) 3 минуты назад, egortide сказал: Я правильно понимаю. Что если поставить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сделать таймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он закончит свою работу, сразу же запуститься второй и так далее по очереди? Правильно понимаете теоретически. Главное при этом учесть, за сколько примерно могут выполниться эти задания, с учётом возможных задержек и накинуть про запас ещё времени... А если это парсится с одного донора, но с разных категорий, то лучше разнести всё по времени выполнения и дать отдохнуть донору от своего присутствия ) Змінено 14 січня 2022 користувачем Axelenz 1 Надіслати Поділитися на інших сайтах More sharing options...
Rassol2 Опубліковано: 14 січня 2022 Автор Share Опубліковано: 14 січня 2022 8 часов назад, yurok79 сказал: Здравствуйте, при установке вот такая ошибка could not find driver В логах thrown in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice: Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21 [14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error: Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21 Stack trace: #0 {main} thrown in /home/cosmetol/a25.by/inst.php on line 21 В настройках php в панели управления хостингом включите библиотеку PDO В некоторых хостингах она называется pdo mysql После этого выполните ./inst.php Обычно эта библиотека на хостингах включена по умолчанию. Надіслати Поділитися на інших сайтах More sharing options... egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 15 січня 2022 Автор Share Опубліковано: 15 січня 2022 1 час назад, egortide сказал: Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обработаны с ошибками и пропарсить только эти ссылки в ручную, под контролем. Надіслати Поділитися на інших сайтах More sharing options... Starychenko Опубліковано: 15 січня 2022 Share Опубліковано: 15 січня 2022 Добрый день. Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ? Вкратце опишу ситуацию и сделаю предположения, как это можно решить. Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты. Есть донор, который отдаёт XML файл следующей структуры (будет ниже). После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара. Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant= Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают: 1. Купить, к примеру 1 шт. по 913 гр-н 2. Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн. То есть 1 шт. по 806 грн. Первая проблема: 1. При парсинге в ИМ для модуля это, по сути, один и тот же товар. Так как сопоставляю товары я пускай по имени товара. То есть при парсинге модуль сначала заливает цену 913, а потом 4838. Или, наоборот, если очерёдность в XML файле будет обратная. Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой. 2. Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant= Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ. Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил: 1. Есть ли несколько строк с одинаковым артикулом 2. Если есть – нашёл все дублирующие строки одного артикула 3. Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил 3.1 Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой. <offer id='1242' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url> <price>913</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5832' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url> <price>4838</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5044' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023</url> <price>1075</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name>Product 2</name> <description></description> </offer> <offer id='2725' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url> <price>185</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name> Product 2</name> <description></description> </offer> Надіслати Поділитися на інших сайтах More sharing options... Назад 405 406 407 408 409 410 411 412 413 414 415 Вперед Сторінка 410 з 533 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 83 Перейти до списку тем Схожі публікації SimplePars - Універсальний парсер для ІМ Автор: Rassol2, 28 жовтня 2018 simplepars парсинг товаров opencart (і ще %d) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 коментарів 149 744 перегляди Rassol2 28 жовтня 2018 batch [Поддержка] 1 2 3 4 10 Автор: Sha, 16 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 248 відповідей 54 054 перегляди Sha 28 серпня batch Універсальний масовий редактор товарів. MultiEdit AI Автор: Sha, 15 березня 2017 sale chat gpt (і ще %d) Теги: sale chat gpt pro атрибуты опции массовое редактирование editor products скидки мета мета-теги пакетное редактирование товаров админка групповое массовое массовая продукты быстрое изменение добавление добавить цена цены опций акции управление статус обработка категорий премиум групповая скидка товар стоимость валюта прайс price акция категория корзина продажа продажи баллы отзывы статьи галерея заказ быстрый обновление цены ocmod atribute модели автодополнение снипеты скорость модуль блоки форма product наполнение интернетмагазина обновление товар опции в категории универсальный рекомендуем opencart фильтр filter регистрация опция изменить товары категории производители українською українська chatgpt chatbots multi multiedit search replace replacer find search and replace find and replace edit seo faq seo faq filter products filter opencart filter for brands filter for products filter pro filteroc ocfilter oc filter open openai opencart ai ai opencart 0 коментарів 54 922 перегляди Sha 15 березня 2017 Модуль Import/Export Pro - XLSX -XLS - CSV - XML - JSON - Google Spreadsheets [Поддержка] 1 2 3 4 39 Автор: DevmanExtensions, 6 липня 2018 export import excel (і ще %d) Теги: export import excel import xlsx import xls import csv import xml import google spread export excel export xlsx export xls export csv export xml export google spread excel масове изменения товаров обновления акций бекапы электронная таблица import яндекс yml xml yml xls json 958 відповідей 109 503 перегляди DevmanExtensions 25 липня парсинг Парсер товарів. Наповнення Opencart, Insales, Bitrix, CRM та CMS Автор: solohaigor, 14 квітня 2023 парсер наполнить (і ще %d) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 коментарів 3 171 перегляд solohaigor 14 квітня 2023 Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку
egortide Опубліковано: 14 січня 2022 Share Опубліковано: 14 січня 2022 Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Надіслати Поділитися на інших сайтах More sharing options...
Rassol2 Опубліковано: 15 січня 2022 Автор Share Опубліковано: 15 січня 2022 1 час назад, egortide сказал: Если по крону ставить парсинг донора, и случается такое, что некоторые товары не спарсились и ссылки залетели в "Ссылки с ошибками" по какой-либо причине. Как поступит парсер? Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обработаны с ошибками и пропарсить только эти ссылки в ручную, под контролем. Надіслати Поділитися на інших сайтах More sharing options... Starychenko Опубліковано: 15 січня 2022 Share Опубліковано: 15 січня 2022 Добрый день. Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ? Вкратце опишу ситуацию и сделаю предположения, как это можно решить. Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты. Есть донор, который отдаёт XML файл следующей структуры (будет ниже). После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара. Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant= Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают: 1. Купить, к примеру 1 шт. по 913 гр-н 2. Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн. То есть 1 шт. по 806 грн. Первая проблема: 1. При парсинге в ИМ для модуля это, по сути, один и тот же товар. Так как сопоставляю товары я пускай по имени товара. То есть при парсинге модуль сначала заливает цену 913, а потом 4838. Или, наоборот, если очерёдность в XML файле будет обратная. Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой. 2. Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant= Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ. Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил: 1. Есть ли несколько строк с одинаковым артикулом 2. Если есть – нашёл все дублирующие строки одного артикула 3. Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил 3.1 Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой. <offer id='1242' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url> <price>913</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5832' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url> <price>4838</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5044' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023</url> <price>1075</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name>Product 2</name> <description></description> </offer> <offer id='2725' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url> <price>185</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name> Product 2</name> <description></description> </offer> Надіслати Поділитися на інших сайтах More sharing options... Назад 405 406 407 408 409 410 411 412 413 414 415 Вперед Сторінка 410 з 533 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 83
Starychenko Опубліковано: 15 січня 2022 Share Опубліковано: 15 січня 2022 Добрый день. Подскажите, пожалуйста, кто сталкивался подобной проблемой или кто может помочь на платной основе ? Вкратце опишу ситуацию и сделаю предположения, как это можно решить. Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты. Есть донор, который отдаёт XML файл следующей структуры (будет ниже). После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара. Есть одна и та же ссылка на товар (то есть один товар) с параметром ?variant= Если зайти по этой ссылке на сайт донор - станет понятно, что они предлагают: 1. Купить, к примеру 1 шт. по 913 гр-н 2. Или 6 штук (кол-во станет понятным только если посетить сайт) за 4 838 грн. То есть 1 шт. по 806 грн. Первая проблема: 1. При парсинге в ИМ для модуля это, по сути, один и тот же товар. Так как сопоставляю товары я пускай по имени товара. То есть при парсинге модуль сначала заливает цену 913, а потом 4838. Или, наоборот, если очерёдность в XML файле будет обратная. Можно было бы использовать проверку границ, и убрать из парсинга ссылки с содержанием ?variant= . И тут мы сталкиваемся со второй проблемой. 2. Большая цена не всегда в товаре с ссылкой у которой есть параметр ?variant= Я так понимаю, что эту проблему можно было бы решить с помощью PHP скрипта используя его перед парсингом в ИМ. Когда у модуля под рукой будут все обработанные и собранные данные, чтобы скрипт проверил: 1. Есть ли несколько строк с одинаковым артикулом 2. Если есть – нашёл все дублирующие строки одного артикула 3. Выбрал строку с наименьшей ценой, остальные дублирующие строки этого артикула с высшей ценой или удалил 3.1 Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой ценой. <offer id='1242' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url> <price>913</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5832' available='true'> <url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url> <price>4838</price> <currencyId>UAH</currencyId> <categoryId>351</categoryId> <picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture> <name>Product 1</name> <description></description> </offer> <offer id='5044' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023</url> <price>1075</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name>Product 2</name> <description></description> </offer> <offer id='2725' available='true'> <url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url> <price>185</price> <currencyId>UAH</currencyId> <categoryId>89</categoryId> <picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture> <name> Product 2</name> <description></description> </offer> Надіслати Поділитися на інших сайтах More sharing options...
Recommended Posts