Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

3 минуты назад, Zetx сказал:

нет, этот проект как раз настроен на добавление нового товара (это же ваша была работа, если вы забыли :))

на обновление у меня работает отдельный проект, но он также не добавляет фото...

 

 

выставлял в проектах на обновление, не помогло

Дайте в личку доступ в админку и название проекта

Ссылка на комментарий
Поделиться на других сайтах


Добрый день! 

у меня 1 поставщик есть и у него есть ip защита. не авторизованный ip не может скачать xml файл. я ползуюсь разделенній сервер. 

я отдал ip катори написано у меня на hpanel. но не могу скачать . написано на ответ что ip не авторизовано. как думаете что то нужно делать с simplepars или это связено с хостом?

Ссылка на комментарий
Поделиться на других сайтах


Можно каким-то образом реализовать отмену блокировки сайта донора моего парсинга? Может они в хостинг могут меня в исключения добавить или что-то около того?

Сайт дружественный, можно попробовать наладить. А то при обходе остаток все в блоке

Ссылка на комментарий
Поделиться на других сайтах


Вопрос! Если сайт сделан таким образом, что товары подгружаются скриптом. Как от туда выдернуть товары?

Стрелкой показал где они появляются

.

image.thumb.png.604aa1a7498b7f42d0c5e32936f14b60.png

.

.

Через sitemap.xml пробовать выдергивать?

.

Просмотрел... xml у них не полные и немного устаревшие, товаров там мало по сравнению с тем что на сайте

Изменено пользователем travkovs
Ссылка на комментарий
Поделиться на других сайтах


Здравствуйте. Начал парсить ссылки по вашему видео и сразу словил бан.
 

Страница недоступна, слишком много запросов за короткое время/ Ответ сервера/ (429) /Ссылка/

Подождал немного, но все равно парсер больше не стартует. Запускал через ТОР и понял, что парсер работает с хостинга.
Что подскажите делать? Нужно только прокси покупать?((( Спасибо

Ссылка на комментарий
Поделиться на других сайтах


1 час назад, romka7070 сказал:

Здравствуйте. Начал парсить ссылки по вашему видео и сразу словил бан.
 


Страница недоступна, слишком много запросов за короткое время/ Ответ сервера/ (429) /Ссылка/

Подождал немного, но все равно парсер больше не стартует. Запускал через ТОР и понял, что парсер работает с хостинга.
Что подскажите делать? Нужно только прокси покупать?((( Спасибо

Разные доноры банят по-разному. На пару часов, до завтра или навсегда... Попробуйте завтра, например. Если будет доступ, выставляете парсинг в один поток и паузу 5-10, например. Если не получится, тогда только прокси

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


24 хвилини назад, partshez сказав:

Разные доноры банят по-разному. На пару часов, до завтра или навсегда... Попробуйте завтра, например. Если будет доступ, выставляете парсинг в один поток и паузу 5-10, например. Если не получится, тогда только прокси

Спасибо большое. Поставил вам +

Изменено пользователем romka7070
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


5 часов назад, caspy сказал:

Добрый день! 

у меня 1 поставщик есть и у него есть ip защита. не авторизованный ip не может скачать xml файл. я ползуюсь разделенній сервер. 

я отдал ip катори написано у меня на hpanel. но не могу скачать . написано на ответ что ip не авторизовано. как думаете что то нужно делать с simplepars или это связено с хостом?

 

хост говорить 

Указанный IP действительно является адресом Вашего сайта

Здравствуйте уточните у поставщика выдано разрешение на подключение для указанный вами ip

 

Ссылка на комментарий
Поделиться на других сайтах


  

5 часов назад, rozario888 сказал:

Можно каким-то образом реализовать отмену блокировки сайта донора моего парсинга?
Может они в хостинг могут меня в исключения добавить или что-то около того?

  1. Можно не то чтобы отменить но обойти припорошить прокси.
  2. Да могут добавить в список исключений у себя или обратится к администрации хостинга.
5 часов назад, rozario888 сказал:

Сайт дружественный, можно попробовать наладить. А то при обходе остаток все в блоке

Также можете уточнить после снятия блокировки у них наличие или возможность сделать товарный фид это куда лучше чем выгружать парся непосредственно с сайта.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


3 часа назад, Kiyoshi сказал:

товарный фид это куда лучше

есть фид через который скачивается csv файл со всей инфой. но в нем кривые остатки. например, статус в наличии, а в количестве 0.

данный парсер сможет скачать файл по ссылке и создать условие Если В наличии и остаток 0, то 2? а после обновить инфо на сайте?

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, rozario888 сказал:

есть фид через который скачивается csv файл со всей инфой. но в нем кривые остатки. например, статус в наличии, а в количестве 0.

данный парсер сможет скачать файл по ссылке и создать условие Если В наличии и остаток 0, то 2? а после обновить инфо на сайте?

Здравствуйте.
Да в модуле можно сделать так что бы границу парсинга с текстом "В наличии" преобразовать в любое число.

Но мой модуль он не обрабатывает csv, это парсер сайтов а не загрузчик прайс листов. Вы можете попробовать разобрать csv как xml но я думаю это гибла затея.

Ссылка на комментарий
Поделиться на других сайтах

7 часов назад, travkovs сказал:

Вопрос! Если сайт сделан таким образом, что товары подгружаются скриптом. Как от туда выдернуть товары?

Стрелкой показал где они появляются

 Ответьте хоть что-нибудь!
.
Есть ещё такой вопрос!

С сайта напрямки не скачать. Защита. Подгрузка товаров скриптами и т.д.  Если саму карточку товаров рассматривать то там всё норм, от туда можно всё скопировать
Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Ссылка на комментарий
Поделиться на других сайтах


4 минуты назад, travkovs сказал:

 Ответьте хоть что-нибудь!
.
Есть ещё такой вопрос!

С сайта напрямки не скачать. Защита. Подгрузка товаров скриптами и т.д.  Если саму карточку товаров рассматривать то там всё норм, от туда можно всё скопировать
Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Если товар подгружается динамически по событию, и данных о товаре нет на странице при её загрузке.
То на данный момент такой товар не достать. Нужен обработчик js а в виде php модуля это не реализовать.

 

6 минут назад, travkovs сказал:

Есть от этого поставщика XML файл где есть всё кроме описаний к товарам. Так вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Добавляете фай в список на парсинг.
Делаете границу парсинга на получения url затем заходите в настройки парсинга в csv и добавляете одну границу с ссылками. Жмете спарсить.
И вот у вас уже есть csv файл со всеми нужными вам ссылками. Дальше записываете их в список на парсинг в нужный вам проект и вот вы достали все ссылки.

Ссылка на комментарий
Поделиться на других сайтах

Только что, Rassol2 сказал:

Если товар подгружается динамически по событию, и данных о товаре нет на странице при её загрузке.
То на данный момент такой товар не достать. Нужен обработчик js а в виде php модуля это не реализовать.

На самой странице есть все данные, А вот с разделов и подразделов идет подзагрузка от туда ссылки прямые на товары не достать

.

3 минуты назад, Rassol2 сказал:

Добавляете фай в список на парсинг.
Делаете границу парсинга на получения url затем заходите в настройки парсинга в csv и добавляете одну границу с ссылками. Жмете спарсить.
И вот у вас уже есть csv файл со всеми нужными вам ссылками. Дальше записываете их в список на парсинг в нужный вам проект и вот вы достали все ссылки.

Попробую спасибо...  Уже что-то подобное химичу

Ссылка на комментарий
Поделиться на других сайтах


3 минуты назад, travkovs сказал:

На самой странице есть все данные, А вот с разделов и подразделов идет подзагрузка от туда ссылки прямые на товары не достать

.

Попробую спасибо...  Уже что-то подобное химичу

Если у вас ссылки находятся в теге <url></url>
То на страницу сбора ссылок уже есть готовый режим сбора. Я уже сам забыл про него.
Так и называется XML выгрузка <url>

Там можно вообще просто вставить выгрузку в очередь выбрать этот режим и модуль сам все сделает.

 

Уже и забыл что это реализовал :rolleyes:

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

2 минуты назад, Rassol2 сказал:

Если у вас ссылки находятся в теге <url></url>
То на страницу сбора ссылок уже есть готовый режим сбора. Я уже сам забыл про него.
Так и называется XML выгрузка <url>

 

Если этот, то пробовал, не получилось
image.png.451258830dd3dac0d3ec48c91a8c4c3e.png

.

Там другой   <DETAIL_PAGE_URL>...</DETAIL_PAGE_URL>

Ссылка на комментарий
Поделиться на других сайтах


Только что, travkovs сказал:

 

Если этот, то пробовал, не получилось
image.png.451258830dd3dac0d3ec48c91a8c4c3e.png

.

Там другой   <DETAIL_PAGE_URL>...</DETAIL_PAGE_URL>

Да тогда в таком случаи нужно делать через csv или же могу подсказать что поправить в коде модуля что бы брало ваши теги.
 

 

Ссылка на комментарий
Поделиться на других сайтах

У вас на одном из видео где парсинг товаров с XML от поставщика (тали, тележки, штабелеры...)  как раз этот поставщик eme54, но в этих файлах нет детального описания товаров ))  вот пытаюсь напрямки достать

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, Rassol2 сказал:

Да тогда в таком случаи нужно делать через csv или же могу подсказать что поправить в коде модуля что бы брало ваши теги.

 

Подскажите пжлста

 

Ссылка на комментарий
Поделиться на других сайтах


6 минут назад, Rassol2 сказал:

в таком случаи нужно делать через csv

а то с этим методом чтота труба... не могу разобраться

Ссылка на комментарий
Поделиться на других сайтах


2 минуты назад, travkovs сказал:

 

Подскажите пжлста

 

открываете файл

/admin/model/catalog/simplepars.php

находите строку

$reg_url = '#<url>(.*?)</url>#s';

заменяете на

$reg_url = '#<DETAIL_PAGE_URL>(.*?)</DETAIL_PAGE_URL>#s';

что бы вышло вот так.

Спойлер

kj6QQQu.png

все теперь при выборе последнего пункта С xml  выгрузка <url>

У вас модуль будет собирать ссылки по вашим тегам.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

1 минуту назад, Rassol2 сказал:

У вас модуль будет собирать ссылки по вашим тегам.

.

Спасибки большое. Сейчас попробую.

Ссылка на комментарий
Поделиться на других сайтах


Только что, travkovs сказал:

.

Спасибки большое. Сейчас попробую.

Не за что.

 

Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.