Jump to content

Recommended Posts

1 минуту назад, Rassol2 сказал:

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой считается стабильная.
Красная ветка с приставкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не стабильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по стабильный версиям так и по бета.

Я понял, значить будем по стабильности обновляться

Share this post


Link to post
Share on other sites
5 минут назад, Praimes сказал:

Подскажите есть ли инструкция, чтобы при персенге автоматом создавал категория которых нет?. Спасибо

Да есть.

Вот она.
1. Выберите действие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в границе парсинга категории должны быть написаны от старшой к младшей, через {csvnc} Все.
 

Спойлер

7Hb8ruc.png


Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

Share this post


Link to post
Share on other sites

Пожелания:

Есть ли возможность сделать прямо во вкладке модуля оповещения об обновления модуля? Просто на этот форум не всегда есть время заходить

Edited by Praimes
ошибся

Share this post


Link to post
Share on other sites
4 минуты назад, Rassol2 сказал:

Да есть.

Вот она.
1. Выберите действие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в границе парсинга категории должны быть написаны от старшой к младшей, через {csvnc} Все.
 

  Скрыть контент

7Hb8ruc.png


Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

Спасибо)

Share this post


Link to post
Share on other sites
4 минуты назад, Praimes сказал:

Пожелания:

Есть ли возможность сделать прямо во вкладке модуля оповещения об обновления модуля? Просто на этот форум заходишь.

нет, этого не будет.
Получится что у модуля лишняя функция которая должна опрашивать сервер.
Раз в пол года заходите )

Ну или подпишитесь на обновление модуля, и будете получать уведомления об появлении новой версии.
 

Спойлер

MvyAnS7.png

 


Если хотите принимать более активное участие, можете подписаться на эту ветку и вам буду приходить уведомления о новых сообщениях.

 

Спойлер

CBjIjBc.png



оповещение по емаил.

Share this post


Link to post
Share on other sites
<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дачи</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сделал

 

<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

получил Текст после обработки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров

{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дачи{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json

Share this post


Link to post
Share on other sites

не хватает таких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял такого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хватает более расширенного лога с возможностью сортировать и подсвечивать как то ссылки с проблемными результатами

3.картинки в описании)

 

 

 

  • +1 1

Share this post


Link to post
Share on other sites
8 часов назад, Praimes сказал:

<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дачи</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сделал

 


<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

получил Текст после обработки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров


{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дачи{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json 342 \u043a\u0411 · 0 downloads

А зачем вы так сделали ?
Во первых вот видео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

Спойлер

 


Как быстро исправить.
берем вашу категорию, меняем ее с повторяющейся на обычную границу.
 

Спойлер

cJOppfW.png

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

Спойлер

azl4AHo.png


И результат достоин преимии.

Ну а для наглядности смотрим на странице поиск замены. Не забываем очистить ваши правила поиск замены с старой границы. Они ни к чему.

Спойлер

VmeCL64.png


Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

Спойлер

5TMncDC.png


Всего доброго.

Вот файл настроек.
Смотрите видео там все рассказано.
SPsetting-135.json

Share this post


Link to post
Share on other sites
7 часов назад, dmitriy2506 сказал:

не хватает таких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял такого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хватает более расширенного лога с возможностью сортировать и подсвечивать как то ссылки с проблемными результатами

3.картинки в описании)

1. ну пока сшивать только через эксель.
2. Подсветки не будет потому что это лог. :( И он и так уже весит через чур, и создает нагрузку при записи.
Когда я создавал логи я там закладывал понятия удачного и неудачного лога.
Удачные логи
->

неудачные логи
!->
так что можно через поиск в браузере ввести !-> и вам под светятся строки с какими то сбоями.
За одно и напомните мне где я забыл придерживается этой логики и я поправлю.
А то как то к логам вообще люди холодно относятся, и информации по ним чуть больше чем вообше нет.

 

3.картинки в описании)
Это да. Сейчас в разработке.

Share this post


Link to post
Share on other sites
1 час назад, Rassol2 сказал:

А зачем вы так сделали ?
Во первых вот видео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

  Показать контент

 


Как быстро исправить.
берем вашу категорию, меняем ее с повторяющейся на обычную границу.
 

  Показать контент

cJOppfW.png

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

  Показать контент

azl4AHo.png


И результат достоин преимии.

Ну а для наглядности смотрим на странице поиск замены. Не забываем очистить ваши правила поиск замены с старой границы. Они ни к чему.

  Показать контент

VmeCL64.png


Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

  Показать контент

5TMncDC.png


Всего доброго.

Вот файл настроек.
Смотрите видео там все рассказано.
SPsetting-135.json

Спасибо большое Вам!)  Видимо видео не досмотрел до конца)

Share this post


Link to post
Share on other sites
21 час назад, Rassol2 сказал:

Изначально неправильно поставлен вопрос. Парсить то модуль будет все подряд. Ведь пока не спарсиш сумму то не узнаеш :)
Вы наверное хотите предложить более гибкую систему настройки логики.

Если это делаем то, а если то делаем это.
И так далее.

Вы не первый, есть мысли, и будет такое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Работаю не покладая рук :)

О крон это супер. Давно жду

Share this post


Link to post
Share on other sites
Только что, ihos сказал:

О крон это супер. Давно жду

к сожалению еше пройдется подождать :(
Сейчас в разработке только концепт, идея как это должно работать. И так что бы функционал можно было расширять.

Share this post


Link to post
Share on other sites

Подскажите пожалуйста таких монстров как Хотлайн и ему подобных можно парсить? Там просто сразу блокировка идет и пишет что из-за подозрительно много обращение недоступно и это даже еще не парсил, просто вставил ссылку в парсинг и посмотреть хотел структуру, чтобы настроить парсинг. Есть какой то обход? Если да то бросьте инфу. Спасибо

Edited by ihos

Share this post


Link to post
Share on other sites
15 минут назад, ihos сказал:

Подскажите пожалуйста таких монстров как Хотлайн и ему подобных можно парсить. Там просто сразу блокировка идет и пишет что из за подозрительно много обращение недоступно и это даже еще не парсил, просто вставил ссылку в парсинг и посмотреть хотел структуру чтобы настроить парсинг. Есть какой то обход. Если да то бросьте инфу. Спасибо

Говорю как есть.
Такие монстры они быстро определят вас в список подозрительной активности.

Но парсить можно. Используя настройки модуля по обходу. Но все в комплексе.


1. Использовать паузу парсинга. Один поток.
2. На каждый поток использовать прокси.
3. Использовать юсер агент.
4. Использовать куки без сесионных.
5. Использовать собственные заголовки.

И делать это все в режиме авто подмена данных на каждый запрос.
 

Спойлер

pZvO1pb.png


при это прокси не должны быть засвечены в парсинге этого ресурса рание.

И тогда хотлаин и подобные не смогут определить что это запросы с одного и того же устройства.
И да прокси должны быть не прозрачные, а то есть такие что сами сообщают что здравствуйте я прокси парсю вон для того человека. И вот его ip

Итог, да парсить можно. Для этого есть все.
Легко это ? - НИ РАЗУ НЕ ПРОСТО!!!

Как игра в шахматы обыграете или нет зависит от вас. Но доску и фигуры я вам даю. А дальше в бой. :wink:
 

  • +1 1

Share this post


Link to post
Share on other sites

А есть инструкция по настройки прокси?

Share this post


Link to post
Share on other sites
1 минуту назад, ihos сказал:

А есть инструкция по настройки прокси?

По поводу прокси есть вот - https://simplepars.top/index.php?page=note&note_id=13
Здесь описана запись и как проверить вообще живые прокси ли нет. Подходят они под донора. или ....

А использование просто. После того как добавили прокси в настройках браузера выбираете
 

Спойлер

8aRnbcE.png


И отныне все запросы модуля будут идти через прокси.

Share this post


Link to post
Share on other sites

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустой, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально работало.

Попробовал на последнюю бету обновиться, но все равно также работает.

 

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Edited by urchik

Share this post


Link to post
Share on other sites
3 часа назад, urchik сказал:

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Здравствуйте.
Если коротко о главном то у вас падает база данных.
если хостинг тогда возможно вы превышаете лимиты установленные хостингом.

Share this post


Link to post
Share on other sites
3 часа назад, urchik сказал:

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустой, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально работало.

Попробовал на последнюю бету обновиться, но все равно также работает.

 

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

У меня такое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Либо хостенг Вам нужно сменить либо тариф поменять. У beget хостенга такая политика

Share this post


Link to post
Share on other sites
16 минут назад, Praimes сказал:

У меня такое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Либо хостенг Вам нужно сменить либо тариф поменять. У beget хостенга такая политика

Да я на бегете, но смотрю статистику, там вообще нет превышения. Раньше запускал больше товаров и все норм было, сейчас сразу тупить начинает, как только запускаешь.

Share this post


Link to post
Share on other sites
1 минуту назад, urchik сказал:

Да я на бегете, но смотрю статистику, там вообще нет превышения. Раньше запускал больше товаров и все норм было, сейчас сразу тупить начинает, как только запускаешь.

та ошибка что вы выше показали связана с обрывом mysql
Вам луче задать этот вопрос именно поддержке хостинга. Либо вы превышаете количество запросов в базу данных. Либо у них технические проблемы

Share this post


Link to post
Share on other sites

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выходе получаю http://prntscr.com/qq66ll
подскажите, что не так
думаю что-то неправильно здесь сделал http://prntscr.com/qq677i
 

заранее спасибо за советы
 

Share this post


Link to post
Share on other sites
1 час назад, kardinals сказал:

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выходе получаю http://prntscr.com/qq66ll
подскажите, что не так
думаю что-то неправильно здесь сделал http://prntscr.com/qq677i
 

заранее спасибо за советы
 

Здравствуйте.
Нужен проект, так видно только код что вы показали. А что вы не так настроили особо не разобраться.

Share this post


Link to post
Share on other sites
1 час назад, Rassol2 сказал:

Здравствуйте.
Нужен проект, так видно только код что вы показали. А что вы не так настроили особо не разобраться.

 

SPsetting-1.json

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By legioner26
      1 299.00 руб
      Скачать/Купить дополнение


      Модуль зуммирования изображений товара - ZoomPRO
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
      DEMO Логин: demo Пароль: demo
      http://cms-opencart.ru/index.php?route=product/product&product_id=42
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> Собственный программный модуль по парсингу товаров под управлением OpenCart
       
      Добавил legioner26 Добавлено 20.05.2019 Категория Меню, дизайн, внешний вид Системные требования Ioncube Loader Сайт разработчика Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Нет Старая цена 3500  
    • By legioner26
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
      DEMO Логин: demo Пароль: demo
      http://cms-opencart.ru/index.php?route=product/product&product_id=42
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> Собственный программный модуль по парсингу товаров под управлением OpenCart
       
    • By GeorgyM
      500.00 руб
      Скачать/Купить дополнение


      Парсинг для Opencart : загрузка товаров / статей, для Опенкарт, OcStore, v.1.x, 2.x, 3.x
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
        
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      1) Напишите мне  в личку - КЛИНУТЬ ЧТОБЫ НАПИСАТЬ МНЕ
      2) Укажите сайт, с которого нужно собрать данные (Домен)
      3) Укажите дополнительные пожелания  
       
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
      Добавил GeorgyM Добавлено 22.08.2017 Категория Услуги  
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.