[Поддержка] SimplePars - Універсальний парсер для ІМ

[partshez]

В 25.03.2022 в 12:02, Mixxxa163 сказал:

Здравствуйте. Можно спарсить страницу с брендами донора внутри которых товары таким образом, чтобы создались эти бренды отдельно и внутри них товары, но сделать это одним проектом? А не на каждый заводить отдельный проект. Структура кода однотипная.

Если разговор про категории, использовать границу Бренд в поле категории  https://prnt.sc/5YXd23LSGwbu

 

[Mixxxa163]

25.03.2022 в 14:23, partshez сказал:

Если разговор про категории, использовать границу Бренд в поле категории  https://prnt.sc/5YXd23LSGwbu

 

нет это другое)..без категорий

[Mixxxa163]

25.03.2022 в 14:14, Rassol2 сказал:

Я честно говоря не понял вашу схему.

Ну вот к примеру страница донора https://famaga.ru/catalog

Хочу одним проектом сделать так, чтобы были созданы по аналогии производители, в которых лежат эти же товары (да, они без описаний и картинок, только артикулы)..можно так?

[Rassol2]

25.03.2022 в 06:42, Mixxxa163 сказал:

Ну вот к примеру страница донора https://famaga.ru/catalog

Хочу одним проектом сделать так, чтобы были созданы по аналогии производители, в которых лежат эти же товары (да, они без описаний и картинок, только артикулы)..можно так?

У меня белый экран по этой ссылки. По этому не скажу.

[partshez]

В 25.03.2022 в 13:42, Mixxxa163 сказал:

Ну вот к примеру страница донора https://famaga.ru/catalog

Хочу одним проектом сделать так, чтобы были созданы по аналогии производители, в которых лежат эти же товары (да, они без описаний и картинок, только артикулы)..можно так?

famaga.ru - белый экран

famaga.com здесь уже видно структуру сайта. 

https://famaga.com/catalog/abacus/id5908023_100413500   https://famaga.com/catalog/fairchild-semiconductor/id5861404_10283h   https://famaga.com/catalog/fafnir/id5890114_gc1100krrb  Будем считать это страницами товара. На странице товара есть Производитель, есть данные для создания категорий. https://prnt.sc/Bs5ORO4L6Xf6  

 Mixxxa163, сформулируйте вопрос, на который ищите ответ. Пока только обрывочные фразы, непонятно, что Вы хотите.

 

[Mixxxa163]

25.03.2022 в 19:02, partshez сказал:

famaga.ru - белый экран

famaga.com здесь уже видно структуру сайта. 

https://famaga.com/catalog/abacus/id5908023_100413500   https://famaga.com/catalog/fairchild-semiconductor/id5861404_10283h   https://famaga.com/catalog/fafnir/id5890114_gc1100krrb  Будем считать это страницами товара. На странице товара есть Производитель, есть данные для создания категорий. https://prnt.sc/Bs5ORO4L6Xf6  

 Mixxxa163, сформулируйте вопрос, на который ищите ответ. Пока только обрывочные фразы, непонятно, что Вы хотите.

 

..да мне нужно просто создать такое же количество Производителей http://joxi.ru/Dr8b78VcKjnk42, пусть и пустых, а не в ручную каждого заводить... но в идеале спарсить их описание, и товары.

[partshez]

В 27.03.2022 в 07:16, Mixxxa163 сказал:

..да мне нужно просто создать такое же количество Производителей http://joxi.ru/Dr8b78VcKjnk42, пусть и пустых, а не в ручную каждого заводить... но в идеале спарсить их описание, и товары.

Кажется, Вы не совсем правильно подходите к решению вопроса.  Производители появятся на сайте ПОСЛЕ загрузки товара. А Вы пытаетесь спарсить всех производителей без привязки к ним товара. 

Настраиваете парсинг товаров. Настраиваете парсинг Производителя https://prnt.sc/pkftklYn-jcL  . Загружаете товар на сайт, получаете список производителей https://prnt.sc/S6wCKB7waDmO  Этот список можно вывести не только в подвале, но и в любом месте на страницах сайта.

[Axelenz]

27.03.2022 в 07:16, Mixxxa163 сказал:

..да мне нужно просто создать такое же количество Производителей http://joxi.ru/Dr8b78VcKjnk42, пусть и пустых, а не в ручную каждого заводить...

Если просто создать пачку Производителей, то парсите товар в csv и обрабатываете дальше прайс примерно так:

Оставьте по одному Товару каждого Производителя.

Название всех товаров измените, например, на Delete.

Укажите всем товарам главную Категорию.

Укажите SKU как, например, id товара и рекомендую добавить Префикс SKU типа DEL-

Укажите условную Цену товара 1,00 руб.

Укажите всем товарам ссылку на какое-то Изображение со своего сайта.

Статус товара при загрузке укажите "Отключен".

Принцип Вы поняли... необходимо указать все минимальные требования модуля АОП для успешной загрузки товаров с прайса.

Потом через АОП загружаете созданный прайс с "виртуальными" товарами.

После загрузки получите у себя перечень Производителей с прайса.

Удаляете "виртуальный" товар.

В базе можете исправить счётчик товаров, вернуть его, чтобы нумерация шла по порядку без учёта удалённого товара.

[Rassol2]

Внимание.
В связи с феноменальным умением руководителей РФ добивать своих граждан хочу предупредить что бы ближайшую неделю пользователи не переносили лицензию модуля.

Сервера в Украине блокируют.
Трафик на сервера в РФ по укр доменам тоже.
Поддержка хостингов в рф проблем не видет.

Пока они там определяться точно какую ногу они хот отстрелить себе в этот раз, попрошу не делать движения.

Когда они определят какая нога им не нужна я исправлю эту ситуацию.

[yurok79]

Здравствуйте, вопрос по парсингу в CSV. Ссылки собрало, но парсинг не двигается. При обновлении страницы прогрес бар дорбавляется н 1 позицию и застряет. Если снова запустить и потом обновить, опять +1. 

По крону парсинг прошел, но кнопка скачать прайс не активна.

1. Что с парсингом, почему не двигается прогрес?

2. Где "лежит прайс" спаршеный по крону?

[Axelenz]

27.03.2022 в 20:15, yurok79 сказал:

Где "лежит прайс" спаршеный по крону?

Лежать прайс должен в admin/uploads с названием типа price-1.csv или Вашим порядковым номером и названием.

[yurok79]

27.03.2022 в 20:46, Axelenz сказал:

Лежать прайс должен в admin/uploads с названием типа price-1.csv или Вашим порядковым номером и названием.

Спасибо

[Mixxxa163]

27.03.2022 в 11:46, Axelenz сказал:

Если просто создать пачку Производителей, то парсите товар в csv и обрабатываете дальше прайс примерно так:

Оставьте по одному Товару каждого Производителя.

Название всех товаров измените, например, на Delete.

Укажите всем товарам главную Категорию.

Укажите SKU как, например, id товара и рекомендую добавить Префикс SKU типа DEL-

Укажите условную Цену товара 1,00 руб.

Укажите всем товарам ссылку на какое-то Изображение со своего сайта.

Статус товара при загрузке укажите "Отключен".

Принцип Вы поняли... необходимо указать все минимальные требования модуля АОП для успешной загрузки товаров с прайса.

Потом через АОП загружаете созданный прайс с "виртуальными" товарами.

После загрузки получите у себя перечень Производителей с прайса.

Удаляете "виртуальный" товар.

В базе можете исправить счётчик товаров, вернуть его, чтобы нумерация шла по порядку без учёта удалённого товара.

Спасибо..у меня нет аоп..через SP можно сделать, только отключив товары, спарсить, а потом их удалить? а если границы не указывать при парсинге на товар, а только границы производителя, получится?

[Rassol2]

27.03.2022 в 23:32, Mixxxa163 сказал:

Спасибо..у меня нет аоп..через SP можно сделать, только отключив товары, спарсить, а потом их удалить? а если границы не указывать при парсинге на товар, а только границы производителя, получится?

Можете вместо границ

что от указать в полях товара и указать всем название делл. Вместо идентификатора использовать модель по умолчанию создавать. И указать границу производителей. 
после создания в редакторе товаров отфильтровать эти технические товары и удалить их. 

[Mixxxa163]

28.03.2022 в 08:43, Rassol2 сказал:

Можете вместо границ

что от указать в полях товара и указать всем название делл. Вместо идентификатора использовать модель по умолчанию создавать. И указать границу производителей. 
после создания в редакторе товаров отфильтровать эти технические товары и удалить их. 

Спасибо за ответ! Порядка 500тыс собрал...после удаления нужно будет базу очистить от записей наверное?

[Rassol2]

28.03.2022 в 04:31, Mixxxa163 сказал:

Спасибо за ответ! Порядка 500тыс собрал...после удаления нужно будет базу очистить от записей наверное?

Модуль сам подчищает что нужно при удалении товара. Если удалять через него. Но если хотите можете через базу. 

[travkovs]

Доброго дня!

.

Подскажите как правильно можно настроить чтоб страница парсилась с задержкой в 2 секунды, но после захода на страницу

Как бы мы посетили страницу и парсинг её данных начался по истечению 2-3 секунд

.

Это же не так работает? или так?  Пробую сейчас парсить но сомневаюсь

.

В чем суть!  У донора на страницах происходит конвертация, где-то сразу где-то с запозданием.  И местами на некоторых страничках прям видно, где за пол секунды рублевая цена например 3500р превращается в 32,5 Евро  ... В итоге на сайте у донора все цены на все товары в евро 

.

При парсинге у меня получается ассорти с рублевыми и евро ценами.

.

Каким образом мне поймать одну валюту?

[Axelenz]

Вы парсите с паузой 2-3 секунды, но парсите в 5 потоков...

Попробуйте "не дразнить гусей" и парсить нормально, в 1 поток и с задержками. Или куда-то спешите, например, хотите успеть купить прокси ?

Змінено 28 березня 2022 користувачем Axelenz

[travkovs]

28.03.2022 в 20:05, Axelenz сказал:

но парсите в 5 потоков...

Попробуйте "не дразнить гусей" и парсить нормально

.

Спасибо за замечание.. учту.. но вопрос то в другом был
.
 

28.03.2022 в 20:05, Axelenz сказал:

с паузой 2-3 секунды

Эта пауза до захода на страницу и если да, то как мне поймать цену в одной валюте

[Axelenz]

28.03.2022 в 18:09, travkovs сказал:

Эта пауза до захода на страницу и если да, то как мне поймать цену в одной валюте

Это пауза говорит о том, что нужно спарсить страницу и сделать паузу до парсинга следующей страницы. Собственно само слово "пауза" и говорит об этом...

Как и что Вам поймать... без всякой информации - это к гадалке...

 

И пробуйте читать, пока на русском есть:

https://simplepars.top/index.php?page=note&n=7

Змінено 28 березня 2022 користувачем Axelenz

[Rassol2]

28.03.2022 в 10:09, travkovs сказал:

.

Спасибо за замечание.. учту.. но вопрос то в другом был
.
 

Эта пауза до захода на страницу и если да, то как мне поймать цену в одной валюте

Это задержка между запросами а не между запросом и обработкой кода. 
И никак, ответ на ваш вопрос. 
Так как если цена меняется после загрузки страницы это значит что используется под зарос через js модуль такие запросы делать не может. Он не браузер и не интерпретатор JavaScript 

[travkovs]

Сейчас дождался и проверил!  Эта пауза точно не спасает!

.

Есть ли какой-то функционал у парсера где он парсит с задержкой без прокси

[travkovs]

28.03.2022 в 20:13, Rassol2 сказал:

И никак, ответ на ваш вопрос. 

.

Принял.  Пошёл курить

[travkovs]

Прошу подсказать, если таковое возможно! Не хочу сдаваться...
Например с применением мультивалютности... 
Этот модуль добавляет поле в базу данных... ниже приведена таблица от импорт/экспорт  (желтым помечена рублевая цена "0") где 2, там Евро

.

Скрытый текст

.

В настройках парсинга я сделал так... пока привязал к свободному полю и в ручном режиме копирую столбец

.

Скрытый текст

....
От сюда вопрос!
Есть ли возможность посредством парсера результат  с границей валюты (0,1,2) выводить каким-то образом в это поле "currency_id" от модуля мультивалютности, чтоб мне по крону настроить обновление цен

[Rassol2]

28.03.2022 в 10:27, travkovs сказал:

Прошу подсказать, если таковое возможно! Не хочу сдаваться...
Например с применением мультивалютности... 
Этот модуль добавляет поле в базу данных... ниже приведена таблица от импорт/экспорт  (желтым помечена рублевая цена "0") где 2, там Евро

.

  Показать содержимое

.

В настройках парсинга я сделал так... пока привязал к свободному полю и в ручном режиме копирую столбец

.

  Показать содержимое

....
От сюда вопрос!
Есть ли возможность посредством парсера результат  с границей валюты (0,1,2) выводить каким-то образом в это поле "currency_id" от модуля мультивалютности, чтоб мне по крону настроить обновление цен

Есть называются собственные скрипты. Там вы можете делать все что угодно писать что угодно и куда угодно и как угодно. Подробности в инструкции к данной возможности.