[Поддержка] SimplePars - Универсальный парсер для ИМ

[ArgoDon]

Тут артикул в ссылке:

https://autosteering.ru/3000-016-054

тут номер модели марка и модель авто

https://www.ebay.com/itm/Genuine-Melett-UK-Turbo-CHRA-800854-0002-801374-0003-4-Renault-Kangoo-Clio/323043152528?hash=item4b36df5290:g:TkwAAOSwR2RaOPLQ

тут и имя производителя, модель, модель и марка авто

https://tehnichka-express.ru/product/kartridzh-turbiny-jrone-tb4122-mercedes-om422la-om402la/

 

Змінено 25 грудня 2018 користувачем ArgoDon

[Rassol2]

2 минуты назад, ArgoDon сказал:

Тут артикул в ссылке:

https://autosteering.ru/3000-016-054

C этим проше всего добавить не должно быть в ссылке 
/catalog/

/discount_products

/blog

/p/
остальные ссылки вроде на товар.
Если сильно захохочете можете еше добавить что в ссылке ДОЛЖНО быть

-

 

6 минут назад, ArgoDon сказал:

тут номер модели марка и модель авто

https://www.ebay.com/itm/Genuine-Melett-UK-Turbo-CHRA-800854-0002-801374-0003-4-Renault-Kangoo-Clio/323043152528?hash=item4b36df5290:g:TkwAAOSwR2RaOPLQ

У ибей все товары начинаются имеют /itm/ так что просто добавлять ссылки с 
/itm/

 

8 минут назад, ArgoDon сказал:

тут и имя производителя модель и марка авто

https://tehnichka-express.ru/product/kartridzh-turbiny-jrone-tb4122-mercedes-om422la-om402la/

Все товары имеют в ссылке /product/

[ArgoDon]

21 минуту назад, Rassol2 сказал:

C этим проше всего добавить не должно быть в ссылке 
/catalog/

/discount_products

/blog

/p/

 

у них там тьма не нужных мне товаров с ссылками такого формата, а как, сборщику ссылок  указать , что мне надо только ссылки  вида-  host.ru/XXXX-XXXX-XXXX

а ссылки вида -   host.ru/X-XXXX          или  host.ru/X-XXXXXXXXX  мне не подходят

 

[Rassol2]

Только что, ArgoDon сказал:

у них там тьма не нужных мне товаров с ссылками такого формата, а как, сборщику ссылок  указать , что мне надо только ссылки  вида-  host.ru/XXXX-XXXX-XXXX

а ссылки вида -   host.ru/X-XXXX          или  host.ru/X-XXXXXXXXX  мне не подходят

 

на данном этапе именно вот так не получится. 
Я подумаю над реализацией в будущем. 
Все зависит от спроса на такой колонизатор в поиске ссылок. 

[ArgoDon]

6 часов назад, Rassol2 сказал:

на данном этапе именно вот так не получится. 
Я подумаю над реализацией в будущем. 
Все зависит от спроса на такой колонизатор в поиске ссылок. 

а нельзя ли после сбора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

[Rassol2]

10 часов назад, ArgoDon сказал:

а нельзя ли после сбора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

Да конечно можно.

Копируете.
http://joxi.ru/DrlowK5fVvpVnA

и вставляете в эксель.


делаете что хотите затем обратно вставляете и жмете сохранить.
http://joxi.ru/eAOYZEpu9xN9om

[Eugeniyaya]

В 24.12.2018 в 23:38, Rassol2 сказал:

Файл лежит в /admin/uploads/ можно зайти через ftp и скачать. 
Сделано для совместимости с АОП 

Спасибо огромное! Все получилось, я собрала в файл ссылки, названия товара и артикулы. Гениально! 

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А дело было в том, что первый раз назвала файл кирилицей. Со второго раза - переименовала и запустила парсинг снова. Все получилось! 

Спасибо - спасибо! Пойду снова изучать АОП. 

Но я вернусь) у меня еще 2 поставщика в планах заливать на сайт. 

 

PS: модуль гениальный. Даже домохозяйка разберется, если есть огромное желание автоматизировать процессы сбора информации, а не набивать ручками тысячи товаров. 

Спасибо Автору за помощь!

[Rassol2]

1 минуту назад, Eugeniyaya сказал:

Спасибо огромное! Все получилось, я собрала в файл ссылки, названия товара и артикулы. Гениально! 

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А дело было в том, что первый раз назвала файл кирилицей. Со второго раза - переименовала и запустила парсинг снова. Все получилось! 

Спасибо - спасибо! Пойду снова изучать АОП. 

Но я вернусь) у меня еще 2 поставщика в планах заливать на сайт. 

 

PS: модуль гениальный. Даже домохозяйка разберется, если есть огромное желание автоматизировать процессы сбора информации, а не набивать ручками тысячи товаров. 

Спасибо Автору за помощь!

не за что.
рад был помочь.

[Rassol2]

2 минуты назад, Eugeniyaya сказал:

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А дело было в том, что первый раз назвала файл кирилицей.

Этот баг уже известен и будет исправлен в будущих версия. 
 

[kikaridza123]

1 час назад, Rassol2 сказал:

11 часов назад, ArgoDon сказал:

а нельзя ли после сбора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

Да конечно можно.

Да, только у меня при копировании почти 14 000 ссылок записались в базу только около 9000 шт,
остальное не успевало записываться в базу за отведенное время.
---
Вчера у меня закончился парсинг моих 96595 ссылок с 9 параметрами парсинга,
Файл получился на 160 Мб

Все спарсилось на УРА,
Все 96595 ссылок.
---
Сегодня обновлю версию и начну еще один стресс тест )

--
Спасибо большое за модуль

[Rassol2]

1 минуту назад, kikaridza123 сказал:

Да, только у меня при копировании почти 14 000 ссылок записались в базу только около 9000 шт,
остальное не успевало записываться в базу за отведенное время.
---
Вчера у меня закончился парсинг моих 96595 ссылок с 9 параметрами парсинга,
Файл получился на 160 Мб

Все спарсилось на УРА,
Все 96595 ссылок.
---
Сегодня обновлю версию и начну еще один стресс тест )

--
Спасибо большое за модуль

минуту назад выложил новую версию. 
Еше до конца не от тестированную, так что удачи )))

 

Сейчас опишу что там нового наворотил. Обновление отнес к глобальным. 

[Rassol2]

Ну что же пришло еше одно важно обновление.  Версия 1.2
 

Мелочи.
1. Теперь лог файлы создаются на по дням. А просто по форме. И существуют пока вы их не удалите. 
2. Для удобства настройки парсинга добавлена возможность открыть ссылку в новой вкладке. 

Навряд ли всем будет хватать возможностей модуля в поиске нужных тегов. И я добавил возможность открыть любую ссылку в новой вкладке по клику. 
Как это работает.

Спойлер

Для того что бы открыть код страницы вы жмете в области 1, а для того что бы открыть ссылку в новой вкладке вам нужно кликнуть в области 2, на цифру между скобками [10]
На этом наверное мелочи все. Не помню уже ))

теперь обновления по важнее.

Добавлена функция Поиск/Замена.

 

 

Спойлер

Это только начало данной функции в ближайших апдейтах будет расширятся функционал. Но сейчас опишу что эта функция умеет и для чего она вообще нужна. 

Раньше мы парсили сайт донора и могли получить только те данные что там есть. И никак повлиять на это у нас не было возможности. 

А сейчас попробуем повлиять. 

1. В колонке изображение мы видим ссылку вида
image/cache/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result-800x800-w-30-0-0.jpg
такую ссылку даже АОП не может распознать и загрузить товар. И это нужно исправлять.  
теперь вы можете указать любой текст в начало или в конец спасенных данных. Это касается как обычных так и повторяющих границ парсинга. 

Что бы добавить правила поиск замена вам нужно нажать на значок рядом с выбранной границей в настройках csv .

 

Спойлер

 

После чего внесем изменения, и добавим в начало каждой ссылки https://svetavto.com.ua/

Спойлер

И жмем сохранить.

Дальше в пред просмотре вы уже увидите. Полноценную кликабельную ссылку. И ее спокойно можете скушать модуль аоп. 
https://svetavto.com.ua/image/cache/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result-800x800-w-30-0-0.jpg

Многие знают что если убрать определенные части ссылки на фото можно получить путь к фото без водного знака. 
В данном случаи это 
cache/

-800x800-w-30-0-0
Если удалить с ссылки на фото эти части тогда мы получим оригинальное фото, без водного знака. 

И вот в этом нам может помочь функция Поиск/Замена
Делаем такие настройки:
 

Спойлер

и получас ссылку на фото без водного знака. Сразу же в CSV
https://svetavto.com.ua/image/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result.jpg

 

Пришло время описать синтаксис поля поиск замена.

1. Каждое правило записывается с новой строки.
2. Если вы хотите заменить что то то вы указываете что заменить затем Прямой слеш и на что заменить. К примеру давайте заменим Дима на Богдан правило будет выглядеть так. Дима|Богдан

На скриншоте выше видно как я меняю строки на пустоту. НА НИЧЕГО. То есть просто удаляю.

cache/|

-800x800-w-30-0-0|

 

Внимание!!! Кто сильно чувствительный к страшным словам как программирование, код, консоль, и подобные. Пункт 3 можете пропускать, что бы не показалось вам что все очень сложно и не понятно. В пункте 3 описана фунция которая поможет в 0.01% случаем. Специально от чувствительных прячу этот пункт под спойлер.
 

Спойлер

3. Если вам нужно будет заменить символ | на что то к примеру на !
Вам нужно будет перед символов | поставить экранирующий символ то есть \| вот такое написание модуль будет рассматривать как просто символ | который нужно заменять.
То есть Экранирующий символ в этой функции \
Все сделано в классическом стиле экранирующего символа.

Так давайте для примера заменим в артикуле первые 2 нуля на слово привет. 
Пишем
00|привет
и сохраняем.

И давайте на последок уберем html теги с описания. 
Добавляем в Поиск/Замену границы парсинга ОПИСАНИЕ следующий текст. 
<p>|
<br/>|
<br/>|
</p>|

После таких не хитрых манипуляций мы можем получить уже поправленный прайс лист.
Без html тегов, которые вам не нужны. Добавить полный путь к фото, Даже получить фото без водного знака,  

Да что угодно в принципе. 
Вот так будет выглядеть наш пред просмотр после внесения правок. 


А дальше только ваша фантазия. 

PS. поиск замена можно увидеть в пред просмотре CSV а вот на странице Настройка прасинга в пред просмотре вы вы не увидите этого. 
Поскольку поиск замена не участвует в прд просмотре указывания границ парсинга. То есть в том пред просмотре вы будете видеть конкретно те куски кода что вы получаете после выбора границ.
Я дума. так правильно. 

Жду ваши лайки дизлайки  

[Nomandvs]

@Rassol2 Круто! С расширением функционала однозначна понадобится инструкция и страница с популярными вопросами.

 

А теперь вопрос, следуя из примера выше: 

Если артикул будет 004100 и применить замену на слово "Привет", то замена сработает до конца границы или при первом срабатывании только?

Т.е. в конце получим Привет4100 или Привет41Привет ? 

 

И еще, будет ли в будущем тег {skip} для обычной и повторяющейся границы?

[Rassol2]

6 минут назад, Nomandvs сказал:

А теперь вопрос, следуя из примера выше: 

Если артикул будет 004100 и применить замену на слово "Привет", то замена сработает до конца границы или при первом срабатывании только?

Т.е. в конце получим Привет4100 или Привет41Привет ? 

Все вхождения будут заменены.
привет41привет

 

6 минут назад, Nomandvs сказал:

И еще, будет ли в будущем тег {skip} для обычной и повторяющейся границы?

однозначно будет. 
Все к этому готовлю. Это появиться в ближайших минорных обновлениях. 
пока что только 
{skip} Любое вхождение.
{br} перенос строки (Это пока не знаю как реализовать но что то придумаю)

Мне было бы проше просто вставить всю мощь регулярных выражений. Но боюсь что никто этого не оценит

[kikaridza123]

1 час назад, Rassol2 сказал:

лайки

https://www.sravni.ru/osago/vybor-regiona/

http://prntscr.com/lzn99c
Чет у меня с такого сайта не хочет собирать ссылки,
что-то не правильно сделал?

[Rassol2]

1 минуту назад, kikaridza123 сказал:

https://www.sravni.ru/osago/vybor-regiona/

http://prntscr.com/lzn99c
Чет у меня с такого сайта не хочет собирать ссылки,
что-то не правильно сделал?

что то локальное. (предполагаю)
http://joxi.ru/4AkoVLBfoyvqkA

У меня запустилось. Единственное первая ссылка что указана в этом посте парсилась секунд 20 

[kikaridza123]

2 минуты назад, Rassol2 сказал:

что то локальное.

2018-12-26 12:48:50| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://www.sravni.ru/osago/vybor-regiona/

[Rassol2]

@Nomandvs
Для наглядности берем тот же пример 
http://joxi.ru/gmvvL1JhqL9PYm

И для артикула указываем правило
http://joxi.ru/n2YayLKSboqvY2

В результате получим.
http://joxi.ru/5mdYl1ju3kb9q2

[Rassol2]

7 минут назад, kikaridza123 сказал:

2018-12-26 12:48:50| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://www.sravni.ru/osago/vybor-regiona/

а другую ссылку с этого сайта ?

Код ответа [0] - это когда базовая ошибка в curl к примеру неправильная ссылка. Но тут вроде ссылка верна. И лишних пробелов нет. 

ЗЫ. ошибку НЕИЗВЕТНЫЙ -> НЕИЗВЕСТНЫЙ в будущем обновлении. 

[Nomandvs]

15 минут назад, Rassol2 сказал:

@Nomandvs
Для наглядности берем тот же пример 
http://joxi.ru/gmvvL1JhqL9PYm

И для артикула указываем правило
http://joxi.ru/n2YayLKSboqvY2

В результате получим.
http://joxi.ru/5mdYl1ju3kb9q2

Очень хорошо. Спросил выше для уточнения, сам пользуюсь CD активно. 

А по поводу регулярных выражений - можно на будущее оставить. Как появится интерес/потребность у пользователей, тогда уже реализовать.

[Rassol2]

В 26.12.2018 в 12:21, Nomandvs сказал:

Очень хорошо. Спросил выше для уточнения, сам пользуюсь CD активно. 

А по поводу регулярных выражений - можно на будущее оставить. Как появится интерес/потребность у пользователей, тогда уже реализовать.

Да наверное реализую. Но пока острой нужды нету. 

[ArgoDon]

ставлю модуль на 2.1. после "Менеджер дополнений", и нажмите Обновить.  получаю такую строку-   Fatal error: Cannot redeclare ModelCatalogProduct::getMaxModel() in /home/virtwww/w_мой_сайт_912b184d/http/system/storage/modification/admin/model/catalog/product.php on line 386

можно ли как-то вылечить ? сам сайт после этого работает, а в админку уже не пускает ...

Змінено 27 грудня 2018 користувачем ArgoDon

[Rassol2]

44 минуты назад, ArgoDon сказал:

ставлю модуль на 2.1. после "Менеджер дополнений", и нажмите Обновить.  получаю такую строку-   Fatal error: Cannot redeclare ModelCatalogProduct::getMaxModel() in /home/virtwww/w_мой_сайт_912b184d/http/system/storage/modification/admin/model/catalog/product.php on line 386

можно ли как-то вылечить ? сам сайт после этого работает, а в админку уже не пускает ...

наверное можно, но это не касается моего модуля.
Я никоим образом не влияю на файл указанный в ошибке 
/admin/model/catalog/product.php 

Причина в чем то другом. 

[ArgoDon]

сайт , то я отбэкаплю, админка заработает, но очень хочется этот модуль на этом сайте ))) , прошу в личку...

 

[Rassol2]

6 часов назад, ArgoDon сказал:

сайт , то я отбэкаплю, админка заработает, но очень хочется этот модуль на этом сайте ))) , прошу в личку...

 

дак а чем я вам могу помочь если ошибку создает не мой модуль ?