[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

22 часа назад, Rassol2 сказал:

Да ребята кто может и хочет заниматься настройкой парсинга отзывайтесь, я так понимаю на платной основе.
Это и мне поможет высвободить больше времени, на теже видосики

Всегда готов на взаимовыгодных условиях. Недорого, договоримся\!

[hippvik]

Я тоже согласна помочь в настройках за вознаграждение ) 

[Inside033]

Умею настраивать парсинг, но лень) Нужны настройки на 3-4 сайта на платной основе. В личку с предложениями)

[Rassol2]

1 минуту назад, Inside033 сказал:

Умею настраивать парсинг, но лень) Нужны настройки на 3-4 сайта на платной основе. В личку с предложениями)

ну вы хотя бы тз для исполнителей составьте. А то какое вам предложение может поступить ?
Что предлогать ?

Я обычно в таких случаях пишу

"Могу настраивать цена от 1 - 1 000 000$"
Вы же понимаете что бы что то предложить нужно что то оценить.

[Inside033]

9 часов назад, Rassol2 сказал:

ну вы хотя бы тз для исполнителей составьте. А то какое вам предложение может поступить ?
Что предлогать ?

Я обычно в таких случаях пишу

"Могу настраивать цена от 1 - 1 000 000$"
Вы же понимаете что бы что то предложить нужно что то оценить.

Имел ввиду не с предложениями цен, а с предложением услуг) подробнее в личке обсудим.

В фото приложил, стандартные параметры для парсинга товаров, без опций.
 

 

[ihos]

Смотрите, как бы такое предложение на будущее, может оно и не реализуемое, но все же.

 

Есть много сайтов, а точнее хостеров, которые парсинг распознают как досс атака, и блокируют ip и все хана.

Ты больше с такого сайта не спарсишь товар. Есть практика)))

 

Можно реализовать какой то функционал типа "Динамического ip" что то такого! Чтобы обманывать хост. донора?

[Rassol2]

1 минуту назад, ihos сказал:

Смотрите, как бы такое предложение на будущее, может оно и не реализуемое, но все же.

 

Есть много сайтов, а точнее хостеров, которые парсинг распознают как досс атака, и блокируют ip и все хана.

Ты больше с такого сайта не спарсишь товар. Есть практика)))

 

Можно реализовать какой то функционал типа "Динамического ip" что то такого! Чтобы обманывать хост. донора?

Конечно можно. Уже пол года есть как
Называется прокси.
https://simplepars.top/index.php?page=notes&tag_id=21

Вот это все посвешено обману сайтов доноров.

Используйте прокси.

[knyazkovstudios]

21 час назад, Rassol2 сказал:

вы же понимаете что нужно прежде чем брать куки авторизоваться на сайте. И уже после того как авторизуетесь перейти на какую то страницу и посмотреть какие куки ваш браузер отправил на сайт донор.
И тогда брать.

Это раз и во вторых не забываем о кеше страницы если он включен.

 

Добрый день!

Получилось спарсить первые 5 ссылок с оптовой и розничной ценами https://prnt.sc/rccj1d.

И всё.

 

Куки брал отсюда https://prnt.sc/rccip3 https://prnt.sc/rccktg

Пробовал разные варианты, но в результате только 5 ссылок парсятся (если выставить 5 потоков).

 

Приводил куки к такому виду https://prnt.sc/rcclny

Дату делал и 6 и 7 числом

 

А они слетают после парсинга до такого вида https://prnt.sc/rccl9r

 

P.S. Может что-то в настройках надо выставить, https://prnt.sc/rccm5d

Или здесь другая причина

[Rassol2]

13 минут назад, knyazkovstudios сказал:

 

Добрый день!

Получилось спарсить первые 5 ссылок с оптовой и розничной ценами https://prnt.sc/rccj1d.

И всё.

 

Куки брал отсюда https://prnt.sc/rccip3 https://prnt.sc/rccktg

Пробовал разные варианты, но в результате только 5 ссылок парсятся (если выставить 5 потоков).

 

Приводил куки к такому виду https://prnt.sc/rcclny

Дату делал и 6 и 7 числом

 

А они слетают после парсинга до такого вида https://prnt.sc/rccl9r

 

P.S. Может что-то в настройках надо выставить, https://prnt.sc/rccm5d

Или здесь другая причина

в таких случая я рекомендую просто банально использовать куки в заголовках.
Так сказать прибить их гвоздями.

Берете в том же месте.

Спойлер

И в таком же виде записываете, только записываете сюда.
 

Спойлер

и в таком случаи сайт донор не изменит куки.

[knyazkovstudios]

13 минут назад, Rassol2 сказал:

в таких случая я рекомендую просто банально использовать куки в заголовках.
Так сказать прибить их гвоздями.

Берете в том же месте.

  Показать контент

И в таком же виде записываете, только записываете сюда.
 

  Показать контент

и в таком случаи сайт донор не изменит куки.

Всё заработало!!!
Спасибо вам за помощь!

[Rassol2]

4 минуты назад, knyazkovstudios сказал:

Всё заработало!!!
Спасибо вам за помощь!

не за что рад был помочь.

[Rassol2]

Обновление v3.2-2_beta

Исправления запуска крона на третьих версиях движка.
За найденный недочет спасибо - @Alvi

Без этого обновления на движках основанных на третей версии может не запускаться CRON.

[partshez]

В очередной раз хочу поблагодарить автора за модуль. У меня просто слов не хватает, чтобы выразить свое восхищение!

Собрал с донора ссылки через sitemap за несколько минут. Больше 87 тысяч товаров!

Настроил парсинг. Заливаю на девственно чистый сайт. Создаются категории-подкатегории, товар заливается со всей нужной информацией. В процессе заливки немного корректировать необходимо, но это ерунда. 

Вначале запустил парсинг в один поток, постепенно довел до пяти потоков (рисковал, конечно!). И донор и мой сервер терпит нагрузку. 

За два часа залито почти 6.5 тыс товаров!!! http://prntscr.com/rcktq9 

Раньше о таком и не мечтали. Большое человеческое СПАСИБО!!!

[Rassol2]

7 минут назад, partshez сказал:

В очередной раз хочу поблагодарить автора за модуль. У меня просто слов не хватает, чтобы выразить свое восхищение!

Собрал с донора ссылки через sitemap за несколько минут. Больше 87 тысяч товаров!

Настроил парсинг. Заливаю на девственно чистый сайт. Создаются категории-подкатегории, товар заливается со всей нужной информацией. В процессе заливки немного корректировать необходимо, но это ерунда. 

Вначале запустил парсинг в один поток, постепенно довел до пяти потоков (рисковал, конечно!). И донор и мой сервер терпит нагрузку. 

За два часа залито почти 6.5 тыс товаров!!! http://prntscr.com/rcktq9 

Раньше о таком и не мечтали. Большое человеческое СПАСИБО!!!

Вам спасибо.
Где бы еше взять время что бы стили под все дисплеи настроить
Это боль для меня

[Rassol2]

11 минут назад, partshez сказал:

Вначале запустил парсинг в один поток, постепенно довел до пяти потоков (рисковал, конечно!)

кстати с появлением крона можно сделать работу мение рискованной.

Обратите внимание о крутой задумке что я вложил в крон.
 

Спойлер

суть затеи такова.

вы настраивает одно задание к примеру парсить все в файлы круглые сутки с понедельника по среду. (сроки не имеют значения это для примера.)
В один поток. То есть аккуратно, можно даже с паузой.

В итоге к окончанию работы первого задания у вас в кеше лежат файлы сайта донора. Вас не забанили и все окей.
Далее наступает среда и приходит время второго задания оно уже в 5 потоков загружает товар в магазин без обращения к сайту донору. То есть без рисков и с максимальной скорость.

либо вы сами в ручную.

то есть если у вас есть время для аккуратного парсинга крон вам в помощь.

PS. Только что нашел баг, не сохраняется в кроне выбор кэша. Поправлю )))

Но суть думаю ясна. Это вообще как по мне сногсшибательная затея.
 

[Vorodisa]

Вопрос. Хотел название составить из 2 границ.H1 и Производитель {gran_25}{gran_26} , предварительный просмотр в CSV норм, парсинг в инет магаз норм, а когда скачиваю прайс , то не норм. просто H1. Что я не досмотрел? 

[Rassol2]

17 минут назад, Vorodisa сказал:

Вопрос. Хотел название составить из 2 границ.H1 и Производитель {gran_25}{gran_26} , предварительный просмотр в CSV норм, парсинг в инет магаз норм, а когда скачиваю прайс , то не норм. просто H1. Что я не досмотрел? 

вот именно что то и недосмотрели.
Вы удалите прайс оставьте одну ссылку и спарсите и посмотрите на свой прайс.

Мне кажется что вы просто не на ту строку смотрите или что то в этом роде.

[Vorodisa]

1 час назад, Rassol2 сказал:

вот именно что то и недосмотрели.
Вы удалите прайс оставьте одну ссылку и спарсите и посмотрите на свой прайс.

Мне кажется что вы просто не на ту строку смотрите или что то в этом роде.

http://prntscr.com/rcodub

http://prntscr.com/rcof36

[Rassol2]

Только что, Vorodisa сказал:

http://prntscr.com/rcodub

http://prntscr.com/rcof36

Скиньте ваш проект и ссылку которая на скриншоте. Проверю все.

[Rassol2]

6 минут назад, Vorodisa сказал:

http://prntscr.com/rcodub

http://prntscr.com/rcof36

и на всякий случай.
Разное бывает. А если сделать вот так ?

Спойлер

У вас там точно пусто ?

[Vorodisa]

48 минут назад, Rassol2 сказал:

и на всякий случай.
Разное бывает. А если сделать вот так ?

  Скрыть контент

У вас там точно пусто ?

http://prntscr.com/rcp6v6

[Rassol2]

8 минут назад, Vorodisa сказал:

http://prntscr.com/rcp6v6

Скиньте настройки проекта чтобы я сам мог все проверить.

[Rassol2]

Собственно по вопросу @Vorodisa
Возможно кто то тоже столкнется по этому распишу.

Все оказалось немного банально, модуль добавляет границу Производитель в CSV но значение записывается второй строкой.
А эксель выводить только первую строку по этому кажется что значение не добавилось.
 

Спойлер

Но в парсинег в им все видно, и в пред просмотре видно. А в файле нет.

Теперь немного пояснение почему так выходит.

Модуль обрезает в начале каждого значение пробелы и переносы строк. Поскольку опенкарту хранить их в базе незачем. А значит там выводится все верно.
Но и при парсинге в csv то же вырезаются.
Вот здесь.


Они ненужны, и как правило остаются из за настроек поиск замены, не все дотошно прописывают правила.

Но вот если склеить две границы, то вырезается так же в начала и в конце, смотрим на красные стрелки.

Но вот лишние пробелы, и переносы строк не вырезаются между двумя границами. Это сделано что бы вы могли создавать описанию любой констрокции.
И если в конце границы gran_4570 у вас будет перенос строки, то значение которое храниться в границе 4571 будет записано с новой строки.
Но это не видно из за стандартного вывода в экселе.

Многие спросят почему тогда в пред просмотре видно ?
Потому что в пред просмотре развернутый блок, а не так как в программе эксель.

Спойлер

Но когда касается загрузки в им то все в одну строку как полагается.
Но тут уже включается в дело сам движок опенкарта, который не может вывести название товара в 2 и более строк.
То есть сам опенкарт перед выводом удаляет ненужные переносы строк, потому что их не может быть в этом месте.

Думаю эта информация будет полезна многим, возможно ответить на некоторые и ваши вопросы.
Но так или иначе ознакомится с этим стоит.

Решается это добавлением правила в поиск замену границы в которой находится ненужный перенос строки.
{br}|

то есть удалить все переносы строк.
 

[stas2010]

В поиск-замене всегда сразу ставлю удаление переноса строк и двойных-тройных пробелов.

 

 

 

[Rassol2]

2 минуты назад, stas2010 сказал:

В поиск-замене всегда сразу ставлю удаление переноса строк и двойных-тройных пробелов.

 

 

 

ну да это своего рода рутина.