Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

В 28.02.2023 в 16:54, Axelenz сказав:

Всё зависит от того, насколько Вы "в лоб" взялись парсить донора... Маркетплейсы и разные площадки не любят, когда их парсят и всячески этому мешают, о чём неоднократно писалось на этом форуме... Вы не сообщили, какое количество товаров, но можно предположить по тому, что забанили, что их тысячи... и парсили наверное в 5 потоков и рандомные задержки не выставляли ?

300 товаров обход по готовым ссылкам с карты сайта.
Поток 1 вчера парсился, сегодня просто открыл собрать ссылки с карты , но он отправил меня в нокдаун.

Надіслати
Поділитися на інших сайтах


28.02.2023 в 15:36, bodyak0 сказал:

Добрый день, столкнулся с такой непоняткой.Вот естьпром. Я настроил все работало 1 день, сегодня не работает выдает защиту от робота. Не могу ничего сделать, скажем так блок по Ip. Но я беру открываю карту сайта беру ссылки на товар и настраиваю себе выгрузку через AnyCsv и он вытягивает данные без каких либо проблем, как тут быть?Мне просто цены нужно с фронта брать, а выгрузка не подходит так как она до ужаса не соотвествует требованиям. Я получается в связке , через Anycsv добавляю товар со структурой , дальше прохожу парсером. Но у вы сегодня не пошло как то)Может есть какое то решение в будущем подтверждения капчи или что то в этом духе. 

Через прокси парсится. Проверил. Показал в личке

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


28.02.2023 в 15:56, bodyak0 сказал:

300 товаров обход по готовым ссылкам с карты сайта.
Поток 1 вчера парсился, сегодня просто открыл собрать ссылки с карты , но он отправил меня в нокдаун.

Про задержки не написали, значит их нет...

Нужно ставить рандомную задержку...

Надіслати
Поділитися на інших сайтах


В 28.02.2023 в 17:01, Axelenz сказав:

Про задержки не написали, значит их нет...

Нужно ставить рандомную задержку...

А почему тогда AnyCsv свободно берет информацию из фида?Вот этот вопрос больше интересует.
Все делает с 1 айпи и интервала задержки там нет.300 товаров за 5 секунд стягивает.

Надіслати
Поділитися на інших сайтах


28.02.2023 в 16:02, bodyak0 сказал:

А почему тогда AnyCsv свободно берет информацию из фида?Вот этот вопрос больше интересует.
Все делает с 1 айпи и интервала задержки там нет.300 товаров за 5 секунд стягивает.

Я писал всё относительно парсинга сайта, не про xml выгрузки...

Надіслати
Поділитися на інших сайтах


В 28.02.2023 в 17:04, Axelenz сказав:

Я писал всё относительно парсинга сайта, не про xml выгрузки...

Ну я понимаю, просто если думать логично то обработчик xml в парсере должен же так же работать или что то я не так думаю?
Если бы внутреннее превью было на уровне браузера я думаю все работало корректно)

Надіслати
Поділитися на інших сайтах


28.02.2023 в 08:08, bodyak0 сказал:

Ну я понимаю, просто если думать логично то обработчик xml в парсере должен же так же работать или что то я не так думаю?
Если бы внутреннее превью было на уровне браузера я думаю все работало корректно)

Не все так просто.
Допустим у вашего донора не самый плохой хостинг или администратор сервера.
А значит там как минимум стоит apache2 + Nginx либо любая другая связка, в которой есть деление статики и динамики.

Например.

Если открыть консоль можно увидеть сколько запросов ваш браузер делает к донору, и проблем нет. Это связано с тем что статику все сервера отдают на ура.
К статике относятся фото, js файлы, стили и так далее. Это дешевые ресурсы они как правило готовы заранее и закешированы. Тудаже карты сайта и xml

Но если вы попросите у донора страницу вывод которой зависит от какой то логики, и может меняться, это уже динамика это дорого.
Тут сервер должен обшетать результат и отдать его вам. И вот эти все запросы уже контролируются и почти везде из коробки.

Это если поверхностно.
Но эту тему можно развивать почти до бесконечности.
К примеру ваш компьютер с вероятностью в 90% имеет динамический ip который  меняется один раз в день или пару дней, при перезагрузке.
Так вот отпарсив сегодня завтра он уже изменится. А сайт имеет статический. Допустим парсите вы месяц по крону, и в один прекрасный момент напротив монитора с запросами сидит сис админ, он видит какие то странные запросы по ip затем смотрит историю запросов и видит что это повторяется каждый день с 3 часа ночи. Долго не думая добавил ваш ip в блок, и все. И как такое отловить или объяснить.

А еше больше проблем с прокси.
Когда вы берете бесплатные прокси, или платные, на крупны авторитетных площадках. Но потом они не работают и вы думает что беда в модуле, (но тут есть прокси чекер так что не думайте так ;-) а проверяйте)
Так вот если вы владелец какого магазина и хотите обезопасится и делаете хоть кауюто зашиту то первым делом вы сделаете что ?
Правильно добавите в бан все ip которые не из стран ваших потенциальных клиентов, затем занесете в бан все ip публичных прокси и ip известные в интернете как ip прокси.
И вот мы уже в положении где еше ничего не сделали а уже на кручке.

  • +1 1
Надіслати
Поділитися на інших сайтах

25.02.2023 в 11:50, nikoshot сказал:

Может кто то знает.. что то в теме не нашел как создать скрипт для кастомного поля..

Есть пример?

Так вот пример скрипта по вашему запросу.

Все кому нужен пример скрипта на работу с кастомным полем в базе данных, запишите эту ссылку на память, и используйте этот пример для модернизации под другие поля.

 

<?php 
//ID границы парсинга откуда берем данные
$gran_id = 36;

//Получаем id товара
$pr_id = $script_data['permit']['add']['pr_id'];
if(empty($pr_id)){ $pr_id = $script_data['permit']['up']['pr_id']; }

//получаем значение границы. 
$value = $script_data['form']['script_gran'][$gran_id];
//Запрос на обновление.
$this->db->query("UPDATE `".DB_PREFIX."product` SET video = '".$this->db->escape($value)."' WHERE product_id =".(int)$pr_id);

?>



В данном скрипте происходит следующие.
Мы берем данные из границы парсинга {gran_36}
И отправляем запрос на обновления таблицы oc_product поля video в текущем товаре.

 

  • +1 3
Надіслати
Поділитися на інших сайтах

ДОброго дня. Підкажіть такий момент. При спробі налаштувати SEO Шаблон для полів H1 та Title обрізає назву. Наприклад: 

 

Прихований текст

image.thumb.png.33703d48639b71ac103bf338960caf8c.png

Але, результат парсингу ось такий: 

 

Прихований текст

image.thumb.png.1eac8d6240bd0b500549b3a56eb38a49.png

 

Надіслати
Поділитися на інших сайтах


28.02.2023 в 13:51, dolyalexey сказал:

ДОброго дня. Підкажіть такий момент. При спробі налаштувати SEO Шаблон для полів H1 та Title обрізає назву. Наприклад: 

Добавьте правило в поиск замену.
"|&quot;

У вас оригинальная ковычка не экранируется при записи в базу, и это приводит к беде.

  • +1 1
Надіслати
Поділитися на інших сайтах

Доброй ночи.

Модуль поддерживает авторизацию на сайте донноре zagruzka.online ?

На демке не могу настроить. Хочу до покупки быть уверенным в этом..

Или там блокировка какая то?

Так как там как то наполовину сделана авторизация. То есть сразу видны категории и группы товаров. Но для открытия отдельно товара с его атрибутами и описанием. Требует авторизацию.. Но что то ни с кукками ни с post не получается.. В коде получаемой ссылки есть слова "Войти" , "регистрация" и не нужной инфы с карточки товара.

Змінено користувачем happi
Надіслати
Поділитися на інших сайтах


В 01.03.2023 в 00:32, happi сказав:

Доброй ночи.

Модуль поддерживает авторизацию на сайте донноре zagruzka.online ?

На демке не могу настроить. Хочу до покупки быть уверенным в этом..

Или там блокировка какая то?

Так как там как то наполовину сделана авторизация. То есть сразу видны категории и группы товаров. Но для открытия отдельно товара с его атрибутами и описанием. Требует авторизацию.. Но что то ни с кукками ни с post не получается.. В коде получаемой ссылки есть слова "Войти" , "регистрация" и не нужной инфы с карточки товара.

Авторизация должна пройти, тоже парсил с проекта закрытого авторизировался на ура

Надіслати
Поділитися на інших сайтах


Добрый день, подскажите как сделать обновление цены в опция? Суть в чем, есть донор у которого линейка товара разбита как отдельный товар, а у нас сделано при помощи опции. Как я по понял SKU не равно артикулу в опция, как реализовать обновление?

image.png

Надіслати
Поділитися на інших сайтах


01.03.2023 в 13:13, nikeforce111 сказал:

Добрый день, подскажите как сделать обновление цены в опция? Суть в чем, есть донор у которого линейка товара разбита как отдельный товар, а у нас сделано при помощи опции. Как я по понял SKU не равно артикулу в опция, как реализовать обновление?

image.png

Парсим не по артикулу опций, а по общему артикулу или другому общему идентификатору. Например, по части названия товара. Для опций парсим цены. Действие для опций Обновить- Добавить

Примерно так. Нужно смотреть конкретнее донора и Ваши настройки

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


01.03.2023 в 05:13, nikeforce111 сказал:

Добрый день, подскажите как сделать обновление цены в опция? Суть в чем, есть донор у которого линейка товара разбита как отдельный товар, а у нас сделано при помощи опции. Как я по понял SKU не равно артикулу в опция, как реализовать обновление?

Если у донора много товаров а у вас один товар но много опций, и вы хотите встроенным фунционалом парсить много товаров а при это обновлять значения опций в одном товаре, то такого в модуле нет.
Можете через свои скрипты сделать это, но встроенного нет.

Надіслати
Поділитися на інших сайтах

01.03.2023 в 13:13, nikeforce111 сказал:

Добрый день, подскажите как сделать обновление цены в опция? Суть в чем, есть донор у которого линейка товара разбита как отдельный товар, а у нас сделано при помощи опции. Как я по понял SKU не равно артикулу в опция, как реализовать обновление?

Так, чтобы наверняка, то это можно решить с помощью связки двух модулей SimplePars + АОП. Но с точки зрения рациональности, экономия на покупке HPM не оправдана, потому, что сложность настройки парсинга и покупка второго модуля АОП делают такую экономию весьма сомнительной...

А с точки зрения SEO лучше конечно иметь отдельные товары, чем один товар с опциями... Проиндексированных товаров будет в разы больше, когда они идут отдельно, со своими названиями...

Змінено користувачем Axelenz
Надіслати
Поділитися на інших сайтах


Подскажите можно ли реализовать наценку на категорию (не разбивая каждую категорию на отдельный проект) при загрузке товара. Тоесть на каждую категорию своя наценка.

Или может кто подскажет модуль загрузки xml в котором это реализовано.

Надіслати
Поділитися на інших сайтах


03.03.2023 в 15:40, yurok79 сказал:

Подскажите можно ли реализовать наценку на категорию (не разбивая каждую категорию на отдельный проект) при загрузке товара. Тоесть на каждую категорию своя наценка.

Или может кто подскажет модуль загрузки xml в котором это реализовано.

Редактор товаров. Отфильтровать товар одной категории, добавленный сегодня, например.  Установить наценку. Создать шаблон. Добавить в крон.

Создать шаблоны для нужных категорий с нужной наценкой

Выполнить после окончания

При добавлении нового товара будет применена наценка. Для существующего цена останется прежней

Первоначально так же через редактор установить наценку для существующего товара в нужных категориях перед созданием шаблонов и добавления в крон

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


03.03.2023 в 20:22, partshez сказал:

Редактор товаров. Отфильтровать товар одной категории, добавленный сегодня, например.  Установить наценку. Создать шаблон. Добавить в крон.

Создать шаблоны для нужных категорий с нужной наценкой

Выполнить после окончания

При добавлении нового товара будет применена наценка. Для существующего цена останется прежней

Первоначально так же через редактор установить наценку для существующего товара в нужных категориях перед созданием шаблонов и добавления в крон

Интересная идея, спасибо за подсказку

  • +1 1
Надіслати
Поділитися на інших сайтах


Как быть в ситуации когда пишет?:

[Товар не обновлен] : В магазине не найден товар с model = [0109786]

При этом товар с такой моделью есть. В модели нет пробелов если что.

Надіслати
Поділитися на інших сайтах


05.03.2023 в 11:49, ihaveacube сказал:

Как быть в ситуации когда пишет?:

[Товар не обновлен] : В магазине не найден товар с model = [0109786]

При этом товар с такой моделью есть. В модели нет пробелов если что.

Здравствуйте.
Это значить что среди ваших товаров нет товара где в model написано 0109786 .
100500% артикул что парсится не совпадает с теми что у вас есть по другому не может быть. Так что внимательно посмотрите что в базе данных у вас.

Так же напишите номер заказа модуля в лс, так как вас нет в списке покупателей модуля.

  • +1 1
Надіслати
Поділитися на інших сайтах

06.03.2023 в 13:06, vladoss сказал:

Здравствуйте, кто может напистать PHP скрипт на платной основе?

Про что нужен скрипт? Может быть уже готовый есть...

Надіслати
Поділитися на інших сайтах


В 06.03.2023 в 14:04, partshez сказав:

Про что нужен скрипт? Может быть уже готовый есть...

На сайте доноре опции товара работают как ссылки на другой товар.
Нужен скрипт который будет брать ссылки о добавлять в опции

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.