[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

  В 24.11.2021 в 08:10, Zetx сказав:

нет, этот проект как раз настроен на добавление нового товара (это же ваша была работа, если вы забыли )

на обновление у меня работает отдельный проект, но он также не добавляет фото...

 

 

выставлял в проектах на обновление, не помогло

Expand  

Дайте в личку доступ в админку и название проекта

[caspy]

Добрый день! 

у меня 1 поставщик есть и у него есть ip защита. не авторизованный ip не может скачать xml файл. я ползуюсь разделенній сервер. 

я отдал ip катори написано у меня на hpanel. но не могу скачать . написано на ответ что ip не авторизовано. как думаете что то нужно делать с simplepars или это связено с хостом?

[caspy]

хост говорить 

Указанный IP действительно является адресом Вашего сайта

[rozario888]

Можно каким-то образом реализовать отмену блокировки сайта донора моего парсинга? Может они в хостинг могут меня в исключения добавить или что-то около того?

Сайт дружественный, можно попробовать наладить. А то при обходе остаток все в блоке

[travkovs]

Вопрос! Если сайт сделан таким образом, что товары подгружаются скриптом. Как от туда выдернуть товары?

Стрелкой показал где они появляются

.

.

.

Через sitemap.xml пробовать выдергивать?

.

Просмотрел... xml у них не полные и немного устаревшие, товаров там мало по сравнению с тем что на сайте

Змінено 24 листопада 2021 користувачем travkovs

[romka7070]

Здравствуйте. Начал парсить ссылки по вашему видео и сразу словил бан.
 

Страница недоступна, слишком много запросов за короткое время/ Ответ сервера/ (429) /Ссылка/

Подождал немного, но все равно парсер больше не стартует. Запускал через ТОР и понял, что парсер работает с хостинга.
Что подскажите делать? Нужно только прокси покупать?((( Спасибо

[partshez]

  В 24.11.2021 в 13:07, romka7070 сказав:

Здравствуйте. Начал парсить ссылки по вашему видео и сразу словил бан.
 

Страница недоступна, слишком много запросов за короткое время/ Ответ сервера/ (429) /Ссылка/

Подождал немного, но все равно парсер больше не стартует. Запускал через ТОР и понял, что парсер работает с хостинга.
Что подскажите делать? Нужно только прокси покупать?((( Спасибо

Expand  

Разные доноры банят по-разному. На пару часов, до завтра или навсегда... Попробуйте завтра, например. Если будет доступ, выставляете парсинг в один поток и паузу 5-10, например. Если не получится, тогда только прокси

[romka7070]

  В 24.11.2021 в 14:58, partshez сказав:

Разные доноры банят по-разному. На пару часов, до завтра или навсегда... Попробуйте завтра, например. Если будет доступ, выставляете парсинг в один поток и паузу 5-10, например. Если не получится, тогда только прокси

Expand  

Спасибо большое. Поставил вам +

Змінено 24 листопада 2021 користувачем romka7070

[Kiyoshi]

  В 24.11.2021 в 09:58, caspy сказав:

Добрый день! 

у меня 1 поставщик есть и у него есть ip защита. не авторизованный ip не может скачать xml файл. я ползуюсь разделенній сервер. 

я отдал ip катори написано у меня на hpanel. но не могу скачать . написано на ответ что ip не авторизовано. как думаете что то нужно делать с simplepars или это связено с хостом?

 

хост говорить 

Указанный IP действительно является адресом Вашего сайта

Expand  

Здравствуйте уточните у поставщика выдано разрешение на подключение для указанный вами ip

 

[Kiyoshi]

  

  В 24.11.2021 в 10:45, rozario888 сказав:

Можно каким-то образом реализовать отмену блокировки сайта донора моего парсинга?
Может они в хостинг могут меня в исключения добавить или что-то около того?

Expand  

1. Можно не то чтобы отменить но обойти припорошить прокси.
2. Да могут добавить в список исключений у себя или обратится к администрации хостинга.

  В 24.11.2021 в 10:45, rozario888 сказав:

Сайт дружественный, можно попробовать наладить. А то при обходе остаток все в блоке

Expand  

Также можете уточнить после снятия блокировки у них наличие или возможность сделать товарный фид это куда лучше чем выгружать парся непосредственно с сайта.

[rozario888]

  В 24.11.2021 в 15:51, Kiyoshi сказав:

товарный фид это куда лучше

Expand  

есть фид через который скачивается csv файл со всей инфой. но в нем кривые остатки. например, статус в наличии, а в количестве 0.

данный парсер сможет скачать файл по ссылке и создать условие Если В наличии и остаток 0, то 2? а после обновить инфо на сайте?

[Rassol2]

  В 24.11.2021 в 19:06, rozario888 сказав:

есть фид через который скачивается csv файл со всей инфой. но в нем кривые остатки. например, статус в наличии, а в количестве 0.

данный парсер сможет скачать файл по ссылке и создать условие Если В наличии и остаток 0, то 2? а после обновить инфо на сайте?

Expand  

Здравствуйте.
Да в модуле можно сделать так что бы границу парсинга с текстом "В наличии" преобразовать в любое число.

Но мой модуль он не обрабатывает csv, это парсер сайтов а не загрузчик прайс листов. Вы можете попробовать разобрать csv как xml но я думаю это гибла затея.

[travkovs]

  В 24.11.2021 в 11:34, travkovs сказав:

Вопрос! Если сайт сделан таким образом, что товары подгружаются скриптом. Как от туда выдернуть товары?

Стрелкой показал где они появляются

Expand  

 Ответьте хоть что-нибудь!
.
Есть ещё такой вопрос!

С сайта напрямки не скачать. Защита. Подгрузка товаров скриптами и т.д.  Если саму карточку товаров рассматривать то там всё норм, от туда можно всё скопировать
Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

[Rassol2]

  В 24.11.2021 в 19:36, travkovs сказав:

 Ответьте хоть что-нибудь!
.
Есть ещё такой вопрос!

С сайта напрямки не скачать. Защита. Подгрузка товаров скриптами и т.д.  Если саму карточку товаров рассматривать то там всё норм, от туда можно всё скопировать
Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Expand  

Если товар подгружается динамически по событию, и данных о товаре нет на странице при её загрузке.
То на данный момент такой товар не достать. Нужен обработчик js а в виде php модуля это не реализовать.

 

  В 24.11.2021 в 19:36, travkovs сказав:

Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Expand  

Добавляете фай в список на парсинг.
Делаете границу парсинга на получения url затем заходите в настройки парсинга в csv и добавляете одну границу с ссылками. Жмете спарсить.
И вот у вас уже есть csv файл со всеми нужными вам ссылками. Дальше записываете их в список на парсинг в нужный вам проект и вот вы достали все ссылки.

[travkovs]

  В 24.11.2021 в 19:45, Rassol2 сказав:

Если товар подгружается динамически по событию, и данных о товаре нет на странице при её загрузке.
То на данный момент такой товар не достать. Нужен обработчик js а в виде php модуля это не реализовать.

Expand  

На самой странице есть все данные, А вот с разделов и подразделов идет подзагрузка от туда ссылки прямые на товары не достать

.

  В 24.11.2021 в 19:45, Rassol2 сказав:

Добавляете фай в список на парсинг.
Делаете границу парсинга на получения url затем заходите в настройки парсинга в csv и добавляете одну границу с ссылками. Жмете спарсить.
И вот у вас уже есть csv файл со всеми нужными вам ссылками. Дальше записываете их в список на парсинг в нужный вам проект и вот вы достали все ссылки.

Expand  

Попробую спасибо...  Уже что-то подобное химичу

[Rassol2]

  В 24.11.2021 в 19:49, travkovs сказав:

На самой странице есть все данные, А вот с разделов и подразделов идет подзагрузка от туда ссылки прямые на товары не достать

.

Попробую спасибо...  Уже что-то подобное химичу

Expand  

Если у вас ссылки находятся в теге <url></url>
То на страницу сбора ссылок уже есть готовый режим сбора. Я уже сам забыл про него.
Так и называется XML выгрузка <url>

Там можно вообще просто вставить выгрузку в очередь выбрать этот режим и модуль сам все сделает.

 

Уже и забыл что это реализовал

[travkovs]

  В 24.11.2021 в 19:54, Rassol2 сказав:

Если у вас ссылки находятся в теге <url></url>
То на страницу сбора ссылок уже есть готовый режим сбора. Я уже сам забыл про него.
Так и называется XML выгрузка <url>

Expand  

 

Если этот, то пробовал, не получилось

.

Там другой   <DETAIL_PAGE_URL>...</DETAIL_PAGE_URL>

[Rassol2]

  В 24.11.2021 в 19:58, travkovs сказав:

 

Если этот, то пробовал, не получилось

.

Там другой   <DETAIL_PAGE_URL>...</DETAIL_PAGE_URL>

Expand  

Да тогда в таком случаи нужно делать через csv или же могу подсказать что поправить в коде модуля что бы брало ваши теги.
 

 

[travkovs]

У вас на одном из видео где парсинг товаров с XML от поставщика (тали, тележки, штабелеры...)  как раз этот поставщик eme54, но в этих файлах нет детального описания товаров ))  вот пытаюсь напрямки достать

[travkovs]

  В 24.11.2021 в 20:00, Rassol2 сказав:

Да тогда в таком случаи нужно делать через csv или же могу подсказать что поправить в коде модуля что бы брало ваши теги.

Expand  

 

Подскажите пжлста

 

[travkovs]

  В 24.11.2021 в 20:00, Rassol2 сказав:

в таком случаи нужно делать через csv

Expand  

а то с этим методом чтота труба... не могу разобраться

[Rassol2]

  В 24.11.2021 в 20:01, travkovs сказав:

 

Подскажите пжлста

 

Expand  

открываете файл

/admin/model/catalog/simplepars.php

находите строку

$reg_url = '#<url>(.*?)</url>#s';

заменяете на

$reg_url = '#<DETAIL_PAGE_URL>(.*?)</DETAIL_PAGE_URL>#s';

что бы вышло вот так.

  Показати вміст

все теперь при выборе последнего пункта С xml  выгрузка <url>

У вас модуль будет собирать ссылки по вашим тегам.

[travkovs]

  В 24.11.2021 в 20:08, Rassol2 сказав:

У вас модуль будет собирать ссылки по вашим тегам.

Expand  

.

Спасибки большое. Сейчас попробую.

[Rassol2]

  В 24.11.2021 в 20:10, travkovs сказав:

.

Спасибки большое. Сейчас попробую.

Expand  

Не за что.

 

[travkovs]

Всё получилось   спасибо!
Сделал себе маленький модификатор чтоб менять и не лезть в код

Благодарю!