[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

3 минуты назад, Zetx сказал:

нет, этот проект как раз настроен на добавление нового товара (это же ваша была работа, если вы забыли )

на обновление у меня работает отдельный проект, но он также не добавляет фото...

 

 

выставлял в проектах на обновление, не помогло

Дайте в личку доступ в админку и название проекта

[caspy]

Добрый день! 

у меня 1 поставщик есть и у него есть ip защита. не авторизованный ip не может скачать xml файл. я ползуюсь разделенній сервер. 

я отдал ip катори написано у меня на hpanel. но не могу скачать . написано на ответ что ip не авторизовано. как думаете что то нужно делать с simplepars или это связено с хостом?

[caspy]

хост говорить 

Указанный IP действительно является адресом Вашего сайта

[rozario888]

Можно каким-то образом реализовать отмену блокировки сайта донора моего парсинга? Может они в хостинг могут меня в исключения добавить или что-то около того?

Сайт дружественный, можно попробовать наладить. А то при обходе остаток все в блоке

[travkovs]

Вопрос! Если сайт сделан таким образом, что товары подгружаются скриптом. Как от туда выдернуть товары?

Стрелкой показал где они появляются

.

.

.

Через sitemap.xml пробовать выдергивать?

.

Просмотрел... xml у них не полные и немного устаревшие, товаров там мало по сравнению с тем что на сайте

Змінено 24 листопада 2021 користувачем travkovs

[romka7070]

Здравствуйте. Начал парсить ссылки по вашему видео и сразу словил бан.
 

Страница недоступна, слишком много запросов за короткое время/ Ответ сервера/ (429) /Ссылка/

Подождал немного, но все равно парсер больше не стартует. Запускал через ТОР и понял, что парсер работает с хостинга.
Что подскажите делать? Нужно только прокси покупать?((( Спасибо

[partshez]

1 час назад, romka7070 сказал:

Здравствуйте. Начал парсить ссылки по вашему видео и сразу словил бан.
 

Страница недоступна, слишком много запросов за короткое время/ Ответ сервера/ (429) /Ссылка/

Подождал немного, но все равно парсер больше не стартует. Запускал через ТОР и понял, что парсер работает с хостинга.
Что подскажите делать? Нужно только прокси покупать?((( Спасибо

Разные доноры банят по-разному. На пару часов, до завтра или навсегда... Попробуйте завтра, например. Если будет доступ, выставляете парсинг в один поток и паузу 5-10, например. Если не получится, тогда только прокси

[romka7070]

24 хвилини назад, partshez сказав:

Разные доноры банят по-разному. На пару часов, до завтра или навсегда... Попробуйте завтра, например. Если будет доступ, выставляете парсинг в один поток и паузу 5-10, например. Если не получится, тогда только прокси

Спасибо большое. Поставил вам +

Змінено 24 листопада 2021 користувачем romka7070

[Kiyoshi]

5 часов назад, caspy сказал:

Добрый день! 

у меня 1 поставщик есть и у него есть ip защита. не авторизованный ip не может скачать xml файл. я ползуюсь разделенній сервер. 

я отдал ip катори написано у меня на hpanel. но не могу скачать . написано на ответ что ip не авторизовано. как думаете что то нужно делать с simplepars или это связено с хостом?

 

хост говорить 

Указанный IP действительно является адресом Вашего сайта

Здравствуйте уточните у поставщика выдано разрешение на подключение для указанный вами ip

 

[Kiyoshi]

  

5 часов назад, rozario888 сказал:

Можно каким-то образом реализовать отмену блокировки сайта донора моего парсинга?
Может они в хостинг могут меня в исключения добавить или что-то около того?

1. Можно не то чтобы отменить но обойти припорошить прокси.
2. Да могут добавить в список исключений у себя или обратится к администрации хостинга.

5 часов назад, rozario888 сказал:

Сайт дружественный, можно попробовать наладить. А то при обходе остаток все в блоке

Также можете уточнить после снятия блокировки у них наличие или возможность сделать товарный фид это куда лучше чем выгружать парся непосредственно с сайта.

[rozario888]

3 часа назад, Kiyoshi сказал:

товарный фид это куда лучше

есть фид через который скачивается csv файл со всей инфой. но в нем кривые остатки. например, статус в наличии, а в количестве 0.

данный парсер сможет скачать файл по ссылке и создать условие Если В наличии и остаток 0, то 2? а после обновить инфо на сайте?

[Rassol2]

1 минуту назад, rozario888 сказал:

есть фид через который скачивается csv файл со всей инфой. но в нем кривые остатки. например, статус в наличии, а в количестве 0.

данный парсер сможет скачать файл по ссылке и создать условие Если В наличии и остаток 0, то 2? а после обновить инфо на сайте?

Здравствуйте.
Да в модуле можно сделать так что бы границу парсинга с текстом "В наличии" преобразовать в любое число.

Но мой модуль он не обрабатывает csv, это парсер сайтов а не загрузчик прайс листов. Вы можете попробовать разобрать csv как xml но я думаю это гибла затея.

[travkovs]

7 часов назад, travkovs сказал:

Вопрос! Если сайт сделан таким образом, что товары подгружаются скриптом. Как от туда выдернуть товары?

Стрелкой показал где они появляются

 Ответьте хоть что-нибудь!
.
Есть ещё такой вопрос!

С сайта напрямки не скачать. Защита. Подгрузка товаров скриптами и т.д.  Если саму карточку товаров рассматривать то там всё норм, от туда можно всё скопировать
Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

[Rassol2]

4 минуты назад, travkovs сказал:

 Ответьте хоть что-нибудь!
.
Есть ещё такой вопрос!

С сайта напрямки не скачать. Защита. Подгрузка товаров скриптами и т.д.  Если саму карточку товаров рассматривать то там всё норм, от туда можно всё скопировать
Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Если товар подгружается динамически по событию, и данных о товаре нет на странице при её загрузке.
То на данный момент такой товар не достать. Нужен обработчик js а в виде php модуля это не реализовать.

 

6 минут назад, travkovs сказал:

Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Добавляете фай в список на парсинг.
Делаете границу парсинга на получения url затем заходите в настройки парсинга в csv и добавляете одну границу с ссылками. Жмете спарсить.
И вот у вас уже есть csv файл со всеми нужными вам ссылками. Дальше записываете их в список на парсинг в нужный вам проект и вот вы достали все ссылки.

[travkovs]

Только что, Rassol2 сказал:

Если товар подгружается динамически по событию, и данных о товаре нет на странице при её загрузке.
То на данный момент такой товар не достать. Нужен обработчик js а в виде php модуля это не реализовать.

На самой странице есть все данные, А вот с разделов и подразделов идет подзагрузка от туда ссылки прямые на товары не достать

.

3 минуты назад, Rassol2 сказал:

Добавляете фай в список на парсинг.
Делаете границу парсинга на получения url затем заходите в настройки парсинга в csv и добавляете одну границу с ссылками. Жмете спарсить.
И вот у вас уже есть csv файл со всеми нужными вам ссылками. Дальше записываете их в список на парсинг в нужный вам проект и вот вы достали все ссылки.

Попробую спасибо...  Уже что-то подобное химичу

[Rassol2]

3 минуты назад, travkovs сказал:

На самой странице есть все данные, А вот с разделов и подразделов идет подзагрузка от туда ссылки прямые на товары не достать

.

Попробую спасибо...  Уже что-то подобное химичу

Если у вас ссылки находятся в теге <url></url>
То на страницу сбора ссылок уже есть готовый режим сбора. Я уже сам забыл про него.
Так и называется XML выгрузка <url>

Там можно вообще просто вставить выгрузку в очередь выбрать этот режим и модуль сам все сделает.

 

Уже и забыл что это реализовал

[travkovs]

2 минуты назад, Rassol2 сказал:

Если у вас ссылки находятся в теге <url></url>
То на страницу сбора ссылок уже есть готовый режим сбора. Я уже сам забыл про него.
Так и называется XML выгрузка <url>

 

Если этот, то пробовал, не получилось

.

Там другой   <DETAIL_PAGE_URL>...</DETAIL_PAGE_URL>

[Rassol2]

Только что, travkovs сказал:

 

Если этот, то пробовал, не получилось

.

Там другой   <DETAIL_PAGE_URL>...</DETAIL_PAGE_URL>

Да тогда в таком случаи нужно делать через csv или же могу подсказать что поправить в коде модуля что бы брало ваши теги.
 

 

[travkovs]

У вас на одном из видео где парсинг товаров с XML от поставщика (тали, тележки, штабелеры...)  как раз этот поставщик eme54, но в этих файлах нет детального описания товаров ))  вот пытаюсь напрямки достать

[travkovs]

1 минуту назад, Rassol2 сказал:

Да тогда в таком случаи нужно делать через csv или же могу подсказать что поправить в коде модуля что бы брало ваши теги.

 

Подскажите пжлста

 

[travkovs]

6 минут назад, Rassol2 сказал:

в таком случаи нужно делать через csv

а то с этим методом чтота труба... не могу разобраться

[Rassol2]

2 минуты назад, travkovs сказал:

 

Подскажите пжлста

 

открываете файл

/admin/model/catalog/simplepars.php

находите строку

$reg_url = '#<url>(.*?)</url>#s';

заменяете на

$reg_url = '#<DETAIL_PAGE_URL>(.*?)</DETAIL_PAGE_URL>#s';

что бы вышло вот так.

Спойлер

все теперь при выборе последнего пункта С xml  выгрузка <url>

У вас модуль будет собирать ссылки по вашим тегам.

[travkovs]

1 минуту назад, Rassol2 сказал:

У вас модуль будет собирать ссылки по вашим тегам.

.

Спасибки большое. Сейчас попробую.

[Rassol2]

Только что, travkovs сказал:

.

Спасибки большое. Сейчас попробую.

Не за что.

 

[travkovs]

Всё получилось   спасибо!
Сделал себе маленький модификатор чтоб менять и не лезть в код

Благодарю!