Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

22 часа назад, Rassol2 сказал:

Да ребята кто может и хочет заниматься настройкой парсинга отзывайтесь, я так понимаю на платной основе.
Это и мне поможет высвободить больше времени, на теже видосики :)

Всегда готов на взаимовыгодных условиях. Недорого, договоримся\!

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, Inside033 сказал:

Умею настраивать парсинг, но лень) Нужны настройки на 3-4 сайта на платной основе. В личку с предложениями)

ну вы хотя бы тз для исполнителей составьте. А то какое вам предложение может поступить ?
Что предлогать ?

Я обычно в таких случаях пишу

"Могу настраивать цена от 1 - 1 000 000$"
Вы же понимаете что бы что то предложить нужно что то оценить.

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах

9 часов назад, Rassol2 сказал:

ну вы хотя бы тз для исполнителей составьте. А то какое вам предложение может поступить ?
Что предлогать ?

Я обычно в таких случаях пишу

"Могу настраивать цена от 1 - 1 000 000$"
Вы же понимаете что бы что то предложить нужно что то оценить.

Имел ввиду не с предложениями цен, а с предложением услуг) подробнее в личке обсудим.

В фото приложил, стандартные параметры для парсинга товаров, без опций.
 

 

D20FF351-7214-4D84-8932-11BED3B460A5.png

Ссылка на комментарий
Поделиться на других сайтах


Смотрите, как бы такое предложение на будущее, может оно и не реализуемое, но все же.

 

Есть много сайтов, а точнее хостеров, которые парсинг распознают как досс атака, и блокируют ip и все хана.

Ты больше с такого сайта не спарсишь товар. Есть практика)))

 

Можно реализовать какой то функционал типа "Динамического ip" что то такого! Чтобы обманывать хост. донора?

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, ihos сказал:

Смотрите, как бы такое предложение на будущее, может оно и не реализуемое, но все же.

 

Есть много сайтов, а точнее хостеров, которые парсинг распознают как досс атака, и блокируют ip и все хана.

Ты больше с такого сайта не спарсишь товар. Есть практика)))

 

Можно реализовать какой то функционал типа "Динамического ip" что то такого! Чтобы обманывать хост. донора?

Конечно можно. Уже пол года есть как
Называется прокси.
https://simplepars.top/index.php?page=notes&tag_id=21

Вот это все посвешено обману сайтов доноров.

Используйте прокси.

Ссылка на комментарий
Поделиться на других сайтах

21 час назад, Rassol2 сказал:

вы же понимаете что нужно прежде чем брать куки авторизоваться на сайте. И уже после того как авторизуетесь перейти на какую то страницу и посмотреть какие куки ваш браузер отправил на сайт донор.
И тогда брать.

Это раз и во вторых не забываем о кеше страницы если он включен.

 

Добрый день!

Получилось спарсить первые 5 ссылок с оптовой и розничной ценами https://prnt.sc/rccj1d.

И всё.

 

Куки брал отсюда https://prnt.sc/rccip3 https://prnt.sc/rccktg

Пробовал разные варианты, но в результате только 5 ссылок парсятся (если выставить 5 потоков).

 

Приводил куки к такому виду https://prnt.sc/rcclny

Дату делал и 6 и 7 числом

 

А они слетают после парсинга до такого вида https://prnt.sc/rccl9r

 

P.S. Может что-то в настройках надо выставить, https://prnt.sc/rccm5d

Или здесь другая причина

Ссылка на комментарий
Поделиться на других сайтах


13 минут назад, knyazkovstudios сказал:

 

Добрый день!

Получилось спарсить первые 5 ссылок с оптовой и розничной ценами https://prnt.sc/rccj1d.

И всё.

 

Куки брал отсюда https://prnt.sc/rccip3 https://prnt.sc/rccktg

Пробовал разные варианты, но в результате только 5 ссылок парсятся (если выставить 5 потоков).

 

Приводил куки к такому виду https://prnt.sc/rcclny

Дату делал и 6 и 7 числом

 

А они слетают после парсинга до такого вида https://prnt.sc/rccl9r

 

P.S. Может что-то в настройках надо выставить, https://prnt.sc/rccm5d

Или здесь другая причина

в таких случая я рекомендую просто банально использовать куки в заголовках.
Так сказать прибить их гвоздями.

Берете в том же месте.

Спойлер

z3CzUi4.png


И в таком же виде записываете, только записываете сюда.
 

Спойлер

QPM96li.png


и в таком случаи сайт донор не изменит куки.

Ссылка на комментарий
Поделиться на других сайтах

13 минут назад, Rassol2 сказал:

в таких случая я рекомендую просто банально использовать куки в заголовках.
Так сказать прибить их гвоздями.

Берете в том же месте.

  Показать контент

z3CzUi4.png


И в таком же виде записываете, только записываете сюда.
 

  Показать контент

QPM96li.png


и в таком случаи сайт донор не изменит куки.

Всё заработало!!!
Спасибо вам за помощь!

Ссылка на комментарий
Поделиться на других сайтах


4 минуты назад, knyazkovstudios сказал:

Всё заработало!!!
Спасибо вам за помощь!

не за что рад был помочь.

Ссылка на комментарий
Поделиться на других сайтах

Обновление v3.2-2_beta

Исправления запуска крона на третьих версиях движка.
За найденный недочет спасибо - @Alvi

Без этого обновления на движках основанных на третей версии может не запускаться CRON.

Ссылка на комментарий
Поделиться на других сайтах

В очередной раз хочу поблагодарить автора за модуль. У меня просто слов не хватает, чтобы выразить свое восхищение!

Собрал с донора ссылки через sitemap за несколько минут. Больше 87 тысяч товаров!

Настроил парсинг. Заливаю на девственно чистый сайт. Создаются категории-подкатегории, товар заливается со всей нужной информацией. В процессе заливки немного корректировать необходимо, но это ерунда. 

Вначале запустил парсинг в один поток, постепенно довел до пяти потоков (рисковал, конечно!). И донор и мой сервер терпит нагрузку. 

За два часа залито почти 6.5 тыс товаров!!! http://prntscr.com/rcktq9 

Раньше о таком и не мечтали. Большое человеческое СПАСИБО!!!

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


7 минут назад, partshez сказал:

В очередной раз хочу поблагодарить автора за модуль. У меня просто слов не хватает, чтобы выразить свое восхищение!

Собрал с донора ссылки через sitemap за несколько минут. Больше 87 тысяч товаров!

Настроил парсинг. Заливаю на девственно чистый сайт. Создаются категории-подкатегории, товар заливается со всей нужной информацией. В процессе заливки немного корректировать необходимо, но это ерунда. 

Вначале запустил парсинг в один поток, постепенно довел до пяти потоков (рисковал, конечно!). И донор и мой сервер терпит нагрузку. 

За два часа залито почти 6.5 тыс товаров!!! http://prntscr.com/rcktq9 

Раньше о таком и не мечтали. Большое человеческое СПАСИБО!!!

Вам спасибо.
Где бы еше взять время что бы стили под все дисплеи настроить :(
Это боль для меня :(

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

11 минут назад, partshez сказал:

Вначале запустил парсинг в один поток, постепенно довел до пяти потоков (рисковал, конечно!)

кстати с появлением крона можно сделать работу мение рискованной.


Обратите внимание о крутой задумке что я вложил в крон.
 

Спойлер

S8fW1No.png


суть затеи такова.

вы настраивает одно задание к примеру парсить все в файлы круглые сутки с понедельника по среду. (сроки не имеют значения это для примера.)
В один поток. То есть аккуратно, можно даже с паузой.

В итоге к окончанию работы первого задания у вас в кеше лежат файлы сайта донора. Вас не забанили и все окей.
Далее наступает среда и приходит время второго задания оно уже в 5 потоков загружает товар в магазин без обращения к сайту донору. То есть без рисков и с максимальной скорость.

либо вы сами в ручную.

то есть если у вас есть время для аккуратного парсинга крон вам в помощь.

PS. Только что нашел баг, не сохраняется в кроне выбор кэша. Поправлю )))

Но суть думаю ясна. Это вообще как по мне сногсшибательная затея.
 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Вопрос. Хотел название составить из 2 границ.H1 и Производитель {gran_25}{gran_26} , предварительный просмотр в CSV норм, парсинг в инет магаз норм, а когда скачиваю прайс , то не норм. просто H1. Что я не досмотрел? 

Ссылка на комментарий
Поделиться на других сайтах


17 минут назад, Vorodisa сказал:

Вопрос. Хотел название составить из 2 границ.H1 и Производитель {gran_25}{gran_26} , предварительный просмотр в CSV норм, парсинг в инет магаз норм, а когда скачиваю прайс , то не норм. просто H1. Что я не досмотрел? 

вот именно что то и недосмотрели.
Вы удалите прайс оставьте одну ссылку и спарсите и посмотрите на свой прайс.

Мне кажется что вы просто не на ту строку смотрите или что то в этом роде.

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, Rassol2 сказал:

вот именно что то и недосмотрели.
Вы удалите прайс оставьте одну ссылку и спарсите и посмотрите на свой прайс.

Мне кажется что вы просто не на ту строку смотрите или что то в этом роде.

http://prntscr.com/rcodub

http://prntscr.com/rcof36

Ссылка на комментарий
Поделиться на других сайтах


Только что, Vorodisa сказал:

Скиньте ваш проект и ссылку которая на скриншоте. Проверю все.

Ссылка на комментарий
Поделиться на других сайтах

6 минут назад, Vorodisa сказал:

и на всякий случай.
Разное бывает. А если сделать вот так ?

Спойлер

2l4Tec3.png


У вас там точно пусто ?

Ссылка на комментарий
Поделиться на других сайтах

48 минут назад, Rassol2 сказал:

и на всякий случай.
Разное бывает. А если сделать вот так ?

  Скрыть контент

2l4Tec3.png


У вас там точно пусто ?

http://prntscr.com/rcp6v6

Ссылка на комментарий
Поделиться на других сайтах


8 минут назад, Vorodisa сказал:

Скиньте настройки проекта чтобы я сам мог все проверить.

Ссылка на комментарий
Поделиться на других сайтах

Собственно по вопросу @Vorodisa
Возможно кто то тоже столкнется по этому распишу.

Все оказалось немного банально, модуль добавляет границу Производитель в CSV но значение записывается второй строкой.
А эксель выводить только первую строку по этому кажется что значение не добавилось.
 

Спойлер

UA18nmd.png


Но в парсинег в им все видно, и в пред просмотре видно. А в файле нет.

Теперь немного пояснение почему так выходит.

Модуль обрезает в начале каждого значение пробелы и переносы строк. Поскольку опенкарту хранить их в базе незачем. А значит там выводится все верно.
Но и при парсинге в csv то же вырезаются.
Вот здесь.
HQyCwIk.png

Они ненужны, и как правило остаются из за настроек поиск замены, не все дотошно прописывают правила.

Но вот если склеить две границы, то вырезается так же в начала и в конце, смотрим на красные стрелки.
giyq0Ux.png
Но вот лишние пробелы, и переносы строк не вырезаются между двумя границами. Это сделано что бы вы могли создавать описанию любой констрокции.
И если в конце границы gran_4570 у вас будет перенос строки, то значение которое храниться в границе 4571 будет записано с новой строки.
Но это не видно из за стандартного вывода в экселе.

Многие спросят почему тогда в пред просмотре видно ?
Потому что в пред просмотре развернутый блок, а не так как в программе эксель.

Спойлер

q2kx7Ox.png


Но когда касается загрузки в им то все в одну строку как полагается.
Но тут уже включается в дело сам движок опенкарта, который не может вывести название товара в 2 и более строк.
То есть сам опенкарт перед выводом удаляет ненужные переносы строк, потому что их не может быть в этом месте.

Думаю эта информация будет полезна многим, возможно ответить на некоторые и ваши вопросы.
Но так или иначе ознакомится с этим стоит.

Решается это добавлением правила в поиск замену границы в которой находится ненужный перенос строки.
{br}|

то есть удалить все переносы строк.
 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

2 минуты назад, stas2010 сказал:

В поиск-замене всегда сразу ставлю удаление переноса строк и двойных-тройных пробелов.

 

 

 

ну да это своего рода рутина. :)

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.