[Поддержка] SimplePars - Универсальный парсер для ИМ

[bodyak0]

В 28.02.2023 в 16:54, Axelenz сказав:

Всё зависит от того, насколько Вы "в лоб" взялись парсить донора... Маркетплейсы и разные площадки не любят, когда их парсят и всячески этому мешают, о чём неоднократно писалось на этом форуме... Вы не сообщили, какое количество товаров, но можно предположить по тому, что забанили, что их тысячи... и парсили наверное в 5 потоков и рандомные задержки не выставляли ?

300 товаров обход по готовым ссылкам с карты сайта.
Поток 1 вчера парсился, сегодня просто открыл собрать ссылки с карты , но он отправил меня в нокдаун.

[partshez]

28.02.2023 в 15:36, bodyak0 сказал:

Добрый день, столкнулся с такой непоняткой.Вот естьпром. Я настроил все работало 1 день, сегодня не работает выдает защиту от робота. Не могу ничего сделать, скажем так блок по Ip. Но я беру открываю карту сайта беру ссылки на товар и настраиваю себе выгрузку через AnyCsv и он вытягивает данные без каких либо проблем, как тут быть?Мне просто цены нужно с фронта брать, а выгрузка не подходит так как она до ужаса не соотвествует требованиям. Я получается в связке , через Anycsv добавляю товар со структурой , дальше прохожу парсером. Но у вы сегодня не пошло как то)Может есть какое то решение в будущем подтверждения капчи или что то в этом духе. 

Через прокси парсится. Проверил. Показал в личке

Змінено 28 лютого 2023 користувачем partshez

[Axelenz]

28.02.2023 в 15:56, bodyak0 сказал:

300 товаров обход по готовым ссылкам с карты сайта.
Поток 1 вчера парсился, сегодня просто открыл собрать ссылки с карты , но он отправил меня в нокдаун.

Про задержки не написали, значит их нет...

Нужно ставить рандомную задержку...

[bodyak0]

В 28.02.2023 в 17:01, Axelenz сказав:

Про задержки не написали, значит их нет...

Нужно ставить рандомную задержку...

А почему тогда AnyCsv свободно берет информацию из фида?Вот этот вопрос больше интересует.
Все делает с 1 айпи и интервала задержки там нет.300 товаров за 5 секунд стягивает.

[Axelenz]

28.02.2023 в 16:02, bodyak0 сказал:

А почему тогда AnyCsv свободно берет информацию из фида?Вот этот вопрос больше интересует.
Все делает с 1 айпи и интервала задержки там нет.300 товаров за 5 секунд стягивает.

Я писал всё относительно парсинга сайта, не про xml выгрузки...

[bodyak0]

В 28.02.2023 в 17:04, Axelenz сказав:

Я писал всё относительно парсинга сайта, не про xml выгрузки...

Ну я понимаю, просто если думать логично то обработчик xml в парсере должен же так же работать или что то я не так думаю?
Если бы внутреннее превью было на уровне браузера я думаю все работало корректно)

[Rassol2]

28.02.2023 в 08:08, bodyak0 сказал:

Ну я понимаю, просто если думать логично то обработчик xml в парсере должен же так же работать или что то я не так думаю?
Если бы внутреннее превью было на уровне браузера я думаю все работало корректно)

Не все так просто.
Допустим у вашего донора не самый плохой хостинг или администратор сервера.
А значит там как минимум стоит apache2 + Nginx либо любая другая связка, в которой есть деление статики и динамики.

Например.

Если открыть консоль можно увидеть сколько запросов ваш браузер делает к донору, и проблем нет. Это связано с тем что статику все сервера отдают на ура.
К статике относятся фото, js файлы, стили и так далее. Это дешевые ресурсы они как правило готовы заранее и закешированы. Тудаже карты сайта и xml

Но если вы попросите у донора страницу вывод которой зависит от какой то логики, и может меняться, это уже динамика это дорого.
Тут сервер должен обшетать результат и отдать его вам. И вот эти все запросы уже контролируются и почти везде из коробки.

Это если поверхностно.
Но эту тему можно развивать почти до бесконечности.
К примеру ваш компьютер с вероятностью в 90% имеет динамический ip который  меняется один раз в день или пару дней, при перезагрузке.
Так вот отпарсив сегодня завтра он уже изменится. А сайт имеет статический. Допустим парсите вы месяц по крону, и в один прекрасный момент напротив монитора с запросами сидит сис админ, он видит какие то странные запросы по ip затем смотрит историю запросов и видит что это повторяется каждый день с 3 часа ночи. Долго не думая добавил ваш ip в блок, и все. И как такое отловить или объяснить.

А еше больше проблем с прокси.
Когда вы берете бесплатные прокси, или платные, на крупны авторитетных площадках. Но потом они не работают и вы думает что беда в модуле, (но тут есть прокси чекер так что не думайте так  а проверяйте)
Так вот если вы владелец какого магазина и хотите обезопасится и делаете хоть кауюто зашиту то первым делом вы сделаете что ?
Правильно добавите в бан все ip которые не из стран ваших потенциальных клиентов, затем занесете в бан все ip публичных прокси и ip известные в интернете как ip прокси.
И вот мы уже в положении где еше ничего не сделали а уже на кручке.

[Rassol2]

25.02.2023 в 11:50, nikoshot сказал:

Может кто то знает.. что то в теме не нашел как создать скрипт для кастомного поля..

Есть пример?

Так вот пример скрипта по вашему запросу.

Все кому нужен пример скрипта на работу с кастомным полем в базе данных, запишите эту ссылку на память, и используйте этот пример для модернизации под другие поля.

 

<?php 
//ID границы парсинга откуда берем данные
$gran_id = 36;

//Получаем id товара
$pr_id = $script_data['permit']['add']['pr_id'];
if(empty($pr_id)){ $pr_id = $script_data['permit']['up']['pr_id']; }

//получаем значение границы. 
$value = $script_data['form']['script_gran'][$gran_id];
//Запрос на обновление.
$this->db->query("UPDATE `".DB_PREFIX."product` SET video = '".$this->db->escape($value)."' WHERE product_id =".(int)$pr_id);

?>

В данном скрипте происходит следующие.
Мы берем данные из границы парсинга {gran_36}
И отправляем запрос на обновления таблицы oc_product поля video в текущем товаре.

 

[dolyalexey]

ДОброго дня. Підкажіть такий момент. При спробі налаштувати SEO Шаблон для полів H1 та Title обрізає назву. Наприклад: 

 

Прихований текст

Але, результат парсингу ось такий: 

 

Прихований текст

 

[Rassol2]

28.02.2023 в 13:51, dolyalexey сказал:

ДОброго дня. Підкажіть такий момент. При спробі налаштувати SEO Шаблон для полів H1 та Title обрізає назву. Наприклад: 

Добавьте правило в поиск замену.
"|"

У вас оригинальная ковычка не экранируется при записи в базу, и это приводит к беде.

[happi]

Доброй ночи.

Модуль поддерживает авторизацию на сайте донноре zagruzka.online ?

На демке не могу настроить. Хочу до покупки быть уверенным в этом..

Или там блокировка какая то?

Так как там как то наполовину сделана авторизация. То есть сразу видны категории и группы товаров. Но для открытия отдельно товара с его атрибутами и описанием. Требует авторизацию.. Но что то ни с кукками ни с post не получается.. В коде получаемой ссылки есть слова "Войти" , "регистрация" и не нужной инфы с карточки товара.

Змінено 28 лютого 2023 користувачем happi

[bodyak0]

В 01.03.2023 в 00:32, happi сказав:

Доброй ночи.

Модуль поддерживает авторизацию на сайте донноре zagruzka.online ?

На демке не могу настроить. Хочу до покупки быть уверенным в этом..

Или там блокировка какая то?

Так как там как то наполовину сделана авторизация. То есть сразу видны категории и группы товаров. Но для открытия отдельно товара с его атрибутами и описанием. Требует авторизацию.. Но что то ни с кукками ни с post не получается.. В коде получаемой ссылки есть слова "Войти" , "регистрация" и не нужной инфы с карточки товара.

Авторизация должна пройти, тоже парсил с проекта закрытого авторизировался на ура

[nikeforce111]

Добрый день, подскажите как сделать обновление цены в опция? Суть в чем, есть донор у которого линейка товара разбита как отдельный товар, а у нас сделано при помощи опции. Как я по понял SKU не равно артикулу в опция, как реализовать обновление?

[partshez]

01.03.2023 в 13:13, nikeforce111 сказал:

Добрый день, подскажите как сделать обновление цены в опция? Суть в чем, есть донор у которого линейка товара разбита как отдельный товар, а у нас сделано при помощи опции. Как я по понял SKU не равно артикулу в опция, как реализовать обновление?

Парсим не по артикулу опций, а по общему артикулу или другому общему идентификатору. Например, по части названия товара. Для опций парсим цены. Действие для опций Обновить- Добавить

Примерно так. Нужно смотреть конкретнее донора и Ваши настройки

Змінено 1 березня 2023 користувачем partshez

[Rassol2]

01.03.2023 в 05:13, nikeforce111 сказал:

Добрый день, подскажите как сделать обновление цены в опция? Суть в чем, есть донор у которого линейка товара разбита как отдельный товар, а у нас сделано при помощи опции. Как я по понял SKU не равно артикулу в опция, как реализовать обновление?

Если у донора много товаров а у вас один товар но много опций, и вы хотите встроенным фунционалом парсить много товаров а при это обновлять значения опций в одном товаре, то такого в модуле нет.
Можете через свои скрипты сделать это, но встроенного нет.

[Axelenz]

01.03.2023 в 13:13, nikeforce111 сказал:

Добрый день, подскажите как сделать обновление цены в опция? Суть в чем, есть донор у которого линейка товара разбита как отдельный товар, а у нас сделано при помощи опции. Как я по понял SKU не равно артикулу в опция, как реализовать обновление?

Так, чтобы наверняка, то это можно решить с помощью связки двух модулей SimplePars + АОП. Но с точки зрения рациональности, экономия на покупке HPM не оправдана, потому, что сложность настройки парсинга и покупка второго модуля АОП делают такую экономию весьма сомнительной...

А с точки зрения SEO лучше конечно иметь отдельные товары, чем один товар с опциями... Проиндексированных товаров будет в разы больше, когда они идут отдельно, со своими названиями...

Змінено 1 березня 2023 користувачем Axelenz

[yurok79]

Подскажите можно ли реализовать наценку на категорию (не разбивая каждую категорию на отдельный проект) при загрузке товара. Тоесть на каждую категорию своя наценка.

Или может кто подскажет модуль загрузки xml в котором это реализовано.

[partshez]

03.03.2023 в 15:40, yurok79 сказал:

Подскажите можно ли реализовать наценку на категорию (не разбивая каждую категорию на отдельный проект) при загрузке товара. Тоесть на каждую категорию своя наценка.

Или может кто подскажет модуль загрузки xml в котором это реализовано.

Редактор товаров. Отфильтровать товар одной категории, добавленный сегодня, например.  Установить наценку. Создать шаблон. Добавить в крон.

Создать шаблоны для нужных категорий с нужной наценкой

Выполнить после окончания

При добавлении нового товара будет применена наценка. Для существующего цена останется прежней

Первоначально так же через редактор установить наценку для существующего товара в нужных категориях перед созданием шаблонов и добавления в крон

Змінено 3 березня 2023 користувачем partshez

[yurok79]

03.03.2023 в 20:22, partshez сказал:

Редактор товаров. Отфильтровать товар одной категории, добавленный сегодня, например.  Установить наценку. Создать шаблон. Добавить в крон.

Создать шаблоны для нужных категорий с нужной наценкой

Выполнить после окончания

При добавлении нового товара будет применена наценка. Для существующего цена останется прежней

Первоначально так же через редактор установить наценку для существующего товара в нужных категориях перед созданием шаблонов и добавления в крон

Интересная идея, спасибо за подсказку

[ihaveacube]

Как быть в ситуации когда пишет?:

[Товар не обновлен] : В магазине не найден товар с model = [0109786]

При этом товар с такой моделью есть. В модели нет пробелов если что.

[ihaveacube]

По запросу SKU все работает. А model нет

[Rassol2]

05.03.2023 в 11:49, ihaveacube сказал:

Как быть в ситуации когда пишет?:

[Товар не обновлен] : В магазине не найден товар с model = [0109786]

При этом товар с такой моделью есть. В модели нет пробелов если что.

Здравствуйте.
Это значить что среди ваших товаров нет товара где в model написано 0109786 .
100500% артикул что парсится не совпадает с теми что у вас есть по другому не может быть. Так что внимательно посмотрите что в базе данных у вас.

Так же напишите номер заказа модуля в лс, так как вас нет в списке покупателей модуля.

[vladoss]

Здравствуйте, кто может напистать PHP скрипт на платной основе?

[partshez]

06.03.2023 в 13:06, vladoss сказал:

Здравствуйте, кто может напистать PHP скрипт на платной основе?

Про что нужен скрипт? Может быть уже готовый есть...

[vladoss]

В 06.03.2023 в 14:04, partshez сказав:

Про что нужен скрипт? Может быть уже готовый есть...

На сайте доноре опции товара работают как ссылки на другой товар.
Нужен скрипт который будет брать ссылки о добавлять в опции