Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Добрый день.

Чтот запнулся, подскажите кто сталкивался, 

Прогнал  сайт хорошо, ссылки собрал хорошо, 

но в настройки парсинга мне выдаёт

#[url]https://********.ru/product-24t45/[/url]
Доступ на сайт закрыт через приложение "Метрика"

 

Надіслати
Поділитися на інших сайтах


3 часа назад, partshez сказал:

Не за 8 часов, а за 40 мин... выставлено работать с 23 до 23.59. Нужно 0-23. В первом окне поставьте звездочку. Во всех трех окнах. 

Сейчас Обработчик отработал 23-23.17. Парсинг в ИМ 23.18-23.59. Все... Следующий запуск завтра в 23.00

 

Спасибо, да я понял. Но скорость все равно медленная получается, за это время без крона в 1 поток заливалось все

Надіслати
Поділитися на інших сайтах

Кто как сматчивает одинаковые товары от разных поставщиков, просто через поиск и замену входного идентификатора на общий или другие варианты?

Надіслати
Поділитися на інших сайтах

18 минут назад, Nameless сказал:

Кто как сматчивает одинаковые товары от разных поставщиков, просто через поиск и замену входного идентификатора на общий или другие варианты?

https://simplepars.top/index.php?page=note&n=40

По любому идентификатору. С каждым донором может быть отдельный идентификатор из десяти

Надіслати
Поділитися на інших сайтах


Как добавить к существующему описанию всех товаров в магазине пару одинаковых предложений (например информацию об импортере).

Надіслати
Поділитися на інших сайтах


12 минут назад, kostya242 сказал:

Как добавить к существующему описанию всех товаров в магазине пару одинаковых предложений (например информацию об импортере).

Парсинг в ИМ. Добавить к существующему...  Т.е. https://prnt.sc/200vxqq

Змінено користувачем partshez
  • +1 1
Надіслати
Поділитися на інших сайтах


Всем привет, я новичек в парсинге, прошу совета.

 

Подскажите как собирать ссылки с вот таких сайтов https://palazzo.pro/catalog/keramogranit/ где нет постраничной пагинации, а только кнопка еще в конце списка товаров?

 

Нужно спарсить вот эту страничку с керамогранитом https://palazzo.pro/catalog/keramogranit/ я вроде все настроил начал собирать ссылки, но собралось только 1158, а должно быть более 2500 ссылок, судя по фильтру

Надіслати
Поділитися на інших сайтах


11 хвилину назад, direct_loskutov сказав:

Подскажите как собирать ссылки с вот таких сайтов https://palazzo.pro/catalog/keramogranit/ где нет постраничной пагинации, а только кнопка еще в конце списка товаров?

 

Использовать карту сайта, если есть. По другому никак. Или искать другого донора

  • +1 1
Надіслати
Поділитися на інших сайтах

3 часа назад, direct_loskutov сказал:

Подскажите как собирать ссылки с вот таких сайтов https://palazzo.pro/catalog/keramogranit/ где нет постраничной пагинации, а только кнопка еще в конце списка товаров?

 

лично от меня Вам ))

https://palazzo.pro/catalog/keramogranit/?PAGEN_1=3

 

последняя цифра - номер страницы

конкретно для керамогранита страниц товаров 149

  • +1 1
Надіслати
Поділитися на інших сайтах

Добрый день Господа,

 

Подскажите, такая регулярка сработает? В карточках донора под каждым практически описание идет текст с call to action, занимает несколько строк, то есть с переносом. Причем есть разные вариации, насчитал 2-3. Прим: http://joxi.ru/82QyldvU Такая регулярка сработает, и будет ли размывать уникальность, если парсить полностью описание не меняя его? {reg[# текст с примера донора #]}|{на сайте...ru|у нас в магазине|обращаясь к нам} вы можете приобрести {данную модель|это оборудование|}{по выгодным ценам|по низким ценам|}

 

Естественно она будет проработана детальнее и вариаций будет гораздо больше.

Надіслати
Поділитися на інших сайтах


On 11/15/2021 at 12:51 PM, specialforce22 said:

Как думаете есть шанс такое спарсить - нет отдельных страниц товара, а доп-фото в поупап окне - https://opt.mattioli-bags.com/briefcases/ (http://mattioli-bags.com/) - у них есть розничный ИМ, но, к сожалению, не идентичный товар, надо с оптовой части тянуть.

Есть шанс спарсить

На страница категории собираем все ELEMENT_ID=ХХХХХ

<a class="ajax js-product" data-url="/detail.php" data-id="ELEMENT_ID=83067" data-block=".cat_popup" href="#" data-elem-id="83067">

ссилка на товар

https://opt.mattioli-bags.com/detail.php?ELEMENT_ID=81278

и парсим :)

  • +1 2
Надіслати
Поділитися на інших сайтах

5 часов назад, Mixxxa163 сказал:

Подскажите, такая регулярка сработает? В карточках донора под каждым практически описание идет текст с call to action, занимает несколько строк, то есть с переносом. Причем есть разные вариации, насчитал 2-3. Прим: http://joxi.ru/82QyldvU Такая регулярка сработает, и будет ли размывать уникальность, если парсить полностью описание не меняя его? {reg[# текст с примера донора #]}|{на сайте...ru|у нас в магазине|обращаясь к нам} вы можете приобрести {данную модель|это оборудование|}{по выгодным ценам|по низким ценам|}

Регулярка именно в таком виде не сработает. Очевидно Вы имеете ввиду "Случайный текст", как это реализовано, например в АОП.

Регулярные выражения в чистом виде, не предполагают рандомного выбора данных. Поэтому псевдорандомность (случайную выборку) возможно получить только в одном случае - используя уже имеющиеся в коде страницы случайным образом меняющиеся данные. Это может быть, например: дата, время или в нашем случае - id товара. Сложность выполнения поставленной задачи предполагает приличные знания как самого модуля так и регулярных выражений...

 

Сама схема вкратце выглядит так:

- делаем границу парсинга, которая захватывает и id товара и его Описание

- в захваченных данных делаем замены в коде таким образом, чтобы потом в повторяющиеся границы попали и id товара и Описание

- делаем повторяющиеся границы, захватывая id товара и Описание

- регулярками подрезаем id, оставив, например, только 2 последние цифры номера

 

В итоге получим что-то типа:

 

22 Описание товара... бла-бла-бла.

58 Описание товара... бла-бла-бла.

39 Описание товара... бла-бла-бла.

...

 

Теперь включаем свою SEO фантазию и делаем замены...

{reg[#^(22) Описание товара#]}|$1 Описалово товарчика

{reg[#^(58) Описание товара#]}|$1 Товарное описалово

{reg[#^(39) Описание товара#]}|$1 Товар и его описание в стихах

...

{reg[#^(\d2(.*?))бла-бла-бла#]}|$1 бли-бли-бли

{reg[#^(\d8(.*?))бла-бла-бла#]}|$1 блю-блю-блю

{reg[#^(\d9(.*?))бла-бла-бла#]}|$1 бля-бля-бля

...

 

Это, если вкратце...

  • +1 5
Надіслати
Поділитися на інших сайтах


1 час назад, Axelenz сказал:

Регулярка именно в таком виде не сработает. Очевидно Вы имеете ввиду "Случайный текст", как это реализовано, например в АОП.

Регулярные выражения в чистом виде, не предполагают рандомного выбора данных. Поэтому псевдорандомность (случайную выборку) возможно получить только в одном случае - используя уже имеющиеся в коде страницы случайным образом меняющиеся данные. Это может быть, например: дата, время или в нашем случае - id товара. Сложность выполнения поставленной задачи предполагает приличные знания как самого модуля так и регулярных выражений...

 

Сама схема вкратце выглядит так:

- делаем границу парсинга, которая захватывает и id товара и его Описание

- в захваченных данных делаем замены в коде таким образом, чтобы потом в повторяющиеся границы попали и id товара и Описание

- делаем повторяющиеся границы, захватывая id товара и Описание

- регулярками подрезаем id, оставив, например, только 2 последние цифры номера

 

В итоге получим что-то типа:

 

22 Описание товара... бла-бла-бла.

58 Описание товара... бла-бла-бла.

39 Описание товара... бла-бла-бла.

...

 

Теперь включаем свою SEO фантазию и делаем замены...

{reg[#^(22) Описание товара#]}|$1 Описалово товарчика

{reg[#^(58) Описание товара#]}|$1 Товарное описалово

{reg[#^(39) Описание товара#]}|$1 Товар и его описание в стихах

...

{reg[#^(\d2(.*?))бла-бла-бла#]}|$1 бли-бли-бли

{reg[#^(\d8(.*?))бла-бла-бла#]}|$1 блю-блю-блю

{reg[#^(\d9(.*?))бла-бла-бла#]}|$1 бля-бля-бля

...

 

Это, если вкратце...

Благодарю за подробное пояснение! Попробую разобраться..

Надіслати
Поділитися на інших сайтах


Всем здравия. 

Подскажите пожалуйста, в "Обработчик XML" в новой версии появились поля "Фильтр товаров"

"Что должно быть в товарах"  и "Чего в товарах быть не должно"

где пример можно посмотреть как реализовать 
Например товары только определённых категорий, либо определенного производите
Аналогично не должно быть из в этих категорий или этого Вендора

Надіслати
Поділитися на інших сайтах


ещё возникает проблема с CRON, а именно, по середине выполнения задания, как будто подвисает, точнее прекращает активность.

В логах последнее действие "Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://..."

Дальше пусто, нет не "->[ДОБАВЛЕН ТОВАР] ID = ..." не "->[ОБНОВЛЕН ТОВАР] ID = ..."

и статус получается висит на ожидании завершения, и дальнейшие задания не выполняются.

 

 

2021-11-24_12-06-12.jpg

Надіслати
Поділитися на інших сайтах


38 минут назад, AntonVN сказал:

Всем здравия. 

Подскажите пожалуйста, в "Обработчик XML" в новой версии появились поля "Фильтр товаров"

"Что должно быть в товарах"  и "Чего в товарах быть не должно"

где пример можно посмотреть как реализовать 
Например товары только определённых категорий, либо определенного производите
Аналогично не должно быть из в этих категорий или этого Вендора

Именно так, как написано. Должно быть- ''зеленый''. Не должно быть- ''Samsung''

Так же, как на вкладке Сбор ссылок

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


34 минуты назад, partshez сказал:

Именно так, как написано. Должно быть- ''зеленый''. Не должно быть- ''Samsung''

Так же, как на вкладке Сбор ссылок

Прошу прощения, не совсем понял.
Не должно быть 
"<categoryId>000000229</categoryId>"
"<categoryId>000000233</categoryId>"
"<categoryId>000000237</categoryId>"

"<vendor>Samsung</vendor>"

 

В поле должно быть 
"<vendor>Apple</vendor>"
"<categoryId>000000239</categoryId>"

Надіслати
Поділитися на інших сайтах


ребят подскажите, с чем может быть связана проблема...

решил обновить версию с 4.0 до 4.9 (до этого все устраивало, но захотелось инструмента для управления акцеонными ценами)...

но суть в другом... перед обновкой я удалил все фото на сайте, чтоб уменьшить время создания бекапа и его вес...

когда обновился, и запустил проект, то фото никак не хотят наново парсится... после обновления, пробовал также импортировать предыдущие настройки, которые до этого успешно работали, но это ничего не дало... также заметил, что в разделе Изображения появился выбор, что делать с фото - При обновлении / При добавлении (в предыдущей версии этого вроде не было)... т.к. проект на добавление нового товара, то выставил Добавлять https://pastenow.ru/F341N

в общем с такими настройками фото не добавляет... что делать?

Змінено користувачем Zetx
Надіслати
Поділитися на інших сайтах


45 минут назад, AntonVN сказал:

Прошу прощения, не совсем понял.
Не должно быть 
"<categoryId>000000229</categoryId>"
"<categoryId>000000233</categoryId>"
"<categoryId>000000237</categoryId>"

"<vendor>Samsung</vendor>"

 

В поле должно быть 
"<vendor>Apple</vendor>"
"<categoryId>000000239</categoryId>"

Можно так. Можно без тегов, если исключаются повторения в блоке одного товара

Не должно быть 

000000229
000000233
000000237

Должно быть

<vendor>Apple</vendor>
000000239

 

 

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


6 минут назад, Zetx сказал:

ребят подскажите, с чем может быть связана проблема...

решил обновить версию с 4.0 до 4.9 (до этого все устраивало, но захотелось инструмента для управления акцеонными ценами)...

но суть в другом... перед обновкой я удалил все фото на сайте, чтоб уменьшить время создания бекапа и его вес...

когда обновился, и запустил проект, то фото никак не хотят наново парсится... после обновления, пробовал также импортировать предыдущие настройки, которые до этого успешно работали, но это ничего не дало... также заметил, что в разделе Изображения появился выбор, что делать с фото - При обновлении / При добавлении... в предыдущей версии этого вроде не было... т.к. проект на добавление нового товара, то выставил Добавлять https://pastenow.ru/F341N

в общем с такими настройками фото не добавляет...

Вы товар Обновляете, а не Добавляете. Выставить нужное действие для Изображений при Обновлении

Надіслати
Поділитися на інших сайтах


3 минуты назад, partshez сказал:

Вы товар Обновляете, а не Добавляете. Выставить нужное действие для Изображений при Обновлении

нет, этот проект как раз настроен на добавление нового товара (это же ваша была работа, если вы забыли :))

на обновление у меня работает отдельный проект, но он также не добавляет фото...

 

 

6 минут назад, partshez сказал:

Выставить нужное действие для Изображений при Обновлении

выставлял в проектах на обновление, не помогло

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.