[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

@SinglWolf По поводу сохранения стилей и атрибутов фото описания могу подсказать где это поправить в коде модуля.
В файле /admin/model/catalog/simplepars.php
найдите строку

$desc = preg_replace('#\{img\}(.*?)'.preg_quote($imgs[$key_path]['short'], '#').'(.*?)>#m', '<img alt="" src="'.$path.'" width="100%">', $desc, 1);

И комментируйте ее.
А ниже добавьте две других.

$desc = preg_replace('#\{img\}#', '<img', $desc);
$desc = preg_replace('#src="'.preg_quote($imgs[$key_path]['short'], '#').'"#', 'src="'.$path.'"', $desc, 1);

И тогда модуль при парсинге фото в описании не будет вырезать ничего. Оставит и стили и альты.

Выглядеть в итоге должно так.
 

Спойлер

Вдруг нужно будет.

PS. Сделал быстро почти с закрывающимися глазами так что тут нужно внимательно тестировать.
Я протестировал на одной ссылке на той что показал вам в примере.
Так что если хотите можете попробовать.

[SinglWolf]

Вопрос: Что означают первые цифры в именах спарсенных картинок товаров?

Например:

1-mdop-1200-3000.jpg
2-otkatnaya-dver_61_1.jpg
3-mddp-2200-2200.jpg

В именах картинок донора их нет.

Спрашиваю для того, чтобы отсеять одинаковые картинки. Ибо получается их тьма-тьмущая.

[SinglWolf]

29 минут назад, Rassol2 сказал:

Вдруг нужно будет.

Не вдруг, а непременно! СПАСИБО!

[Rassol2]

Вопрос: Что означают первые цифры в именах спарсенных картинок товаров?
Например:

1-mdop-1200-3000.jpg2-otkatnaya-dver_61_1.jpg3-mddp-2200-2200.jpg

В именах картинок донора их нет.
Спрашиваю для того, чтобы отсеять одинаковые картинки. Ибо получается их тьма-тьмущая.

Когда модуль сохраняет изображение он проверяет чтобы в папке не было фотографии с точно таким же именем если фото с таким же именем попадается модуль добавляет цифру в начало имени.

Отправлено с моего Pixel через Tapatalk

[SinglWolf]

14 минут назад, Rassol2 сказал:

модуль добавляет цифру в начало имени

Я так и подумал, спасибо.

[SinglWolf]

Одинаковые картинки в доноре отсеял.
Теперь кучу дублей настрогал модуль.

Как почикать дубли?

191-raspashnaya-dver-odnostvor_1_1.jpg

191 раз повторяется... Ыыых...

[Rassol2]

4 часа назад, SinglWolf сказал:

Одинаковые картинки в доноре отсеял.
Теперь кучу дублей настрогал модуль.

Как почикать дубли?

191-raspashnaya-dver-odnostvor_1_1.jpg

191 раз повторяется... Ыыых...

тут я вам не подскажу.
А вы уверен что это дубли ?

Ведь некто не запрещает донору использовать разные фото с одинаковым названием в разных товарах.
к примеру если донор взял за стандарт именовать фото в описаниях так.
desc_1.jpg

desc_2.jpg
И так во всех товарах и сами фото разные.

ЗЫ. Фото с одинаковым названием это не миф, я уже не раз это встречал. Так что будьте аккуратны.

[Axelenz]

*

Змінено 28 липня 2020 користувачем Axelenz

[Elena86]

Добрый день! При пред просмотре парсинга в ИМ. Атрибуты не формируются в таблицу. В чем моя ошибка?

[Rassol2]

1 минуту назад, Elena86 сказал:

Добрый день! При пред просмотре парсинга в ИМ. Атрибуты не формируются в таблицу. В чем моя ошибка?

Не правильно написали разделитель.
У вас {csvns} А нужно {csvnc}
 

[Elena86]

12 минут назад, Rassol2 сказал:

Не правильно написали разделитель.
У вас {csvns} А нужно {csvnc}
 

Благодарю! Теперь все ок.

[Elena86]

32 минуты назад, Rassol2 сказал:

Не правильно написали разделитель.
У вас {csvns} А нужно {csvnc}
 

 

19 минут назад, Elena86 сказал:

Благодарю! Теперь все ок.

Еще вопрос по поводу правила замены. В атрибутах донора тег  <td> используется по разному: например <td style="height: 20px; width: 219px;">, <td>, <td style="width: 243px;">

Можно ли создать общее правило, которое будет убирать все, что начинается на <td..>  или же необходимо прописывать каждый случай отдельно: <td style="height: 20px; width: 219px;">|,  <td>| и т д

[Rassol2]

1 минуту назад, Elena86 сказал:

 

Еще вопрос по поводу правила замены. В атрибутах донора тег  <td> используется по разному: например <td style="height: 20px; width: 219px;">, <td>, <td style="width: 243px;">

Можно ли создать общее правило, которое будет убирать все, что начинается на <td..>  или же необходимо прописывать каждый случай отдельно: <td style="height: 20px; width: 219px;">|,  <td>| и т д

Попробуйте так.
<td{skip}>|
Что такое {skip} можно прочесть здесь - https://simplepars.top/index.php?page=note&note_id=9

[Deniiisss]

Помогите допилить настройки в парсере

 

[Kiyoshi]

Здравствуйте опишите подробней что у вас не получается могу помочь

[Rassol2]

Обновление v3.7_beta

Внимание!!! Поскольку навряд ли кто то дочитает до конца, напишу в начала.
С 30.07.2020 то есть с сегодняшнего дня уже. И до 02.08.2020 включительно я в сети буду только с телефона.
Лицензии будут выдаваться в обычном режиме, а вот более мение внятные поддержку с мобильного телефона не осуществить.
Так что прошу взять во внимание что меня не будет, и если я вам не отвечаю в ЛС значит я не могу это сделать.

Спасибо за понимание.

Поехали!

 

Это одно из крупнейших обновлений по части переписывания кишок модуля, так что с этой бета нужно быть аккуратнее. Не рекомендую эту бету на проект где нельзя допустить простои. Тем более что меня не будет пару дней, и быстро пофиксить что то я не смогу.

Вкладка "Кэш донора" была удалена.
Данную вкладку я удалил поскольку она была не востребована среди пользователей. Сама технология кэширования осталась и работает в штатном режиме.
Но взаимодействие с ссылками кэша под средствам вкладки Кэш донора больше не доступна.
На замену ей пришла новая страница.

Добавлена новая вкладка Менеджер URL

На этой вкладке вы сможете взаимодействовать с ссылками на парсинг.

Менеджер URL содержит четыре под вкладки.

1. Фильтр
2. Действие
3. Списки ссылок
4. Парсинг в кэш

Собственно начнем по порядку.

Спойлер

 

Вкладка Фильтр.
 

На этой вкладке вы можете произвести отфильтровать ссылки. Для дальнейших действий с ними.

Ну или банально для пред просмотра Настройки границ, Парсинга в CSV или Парсинга в ИМ

Так же вы можете увидит дату кэширования данных по ссылкам, была ли ошибка парсинга у ссылки. И в каком списке находится ссылка.
Про списки поговорим позже. Обратите внимание что первая колонка в таблице ссылок id тоже подсвечена синим, при нажатии на id ссылки у вас откроется отдельная вкладка в браузере и загрузится ссылка сайта донора, на id которой вы нажали.
Аналогично будет при нажатии на строки в колонках переход, вы будете перенаправлены на страницы модуля сразу с загруженной ссылкой в пред просмотр. Удобненько.

 

Фильтровать ссылки можно как по спискам, так и по присутствию ошибок парсинга в ссылке. Так же вы можете добавить сколько угодно фильтров по определенному тексту в ссылке.

Пример.
Хочу увидеть все ссылки которые содержат в себе следующие элементы.
/led/

12v

5w

Это будет выглядеть так.
 

Спойлер

В фильтре по тексту ссылки доступны варианта
%[значение]% - Искомое значение может находится как в начале ссылки, так и в конце, или по середине. Короче говоря везде в ссылке. Стоит по умолчанию.

[значение]% - Ссылка может начинается только на это значение.

%[значение] - Искомое значение находится в самом конце ссылки.

Так же есть переключатель.
Содержит
Не содержит

Он отвечает за отрицания выбранного фильтра. Допустим вам нужно найти все ссылки в которых НЕТ слова /led/ вы выбираете найти лед, и оператор отрицания и модуль покажет вам все ссылки где этого слова нет. Все аналогично как на вкладке редактор товара, так что ничего нового в этой схеме я не придумал.
Пример

Спойлер

 

 

Или к примеру хочу увидит все ссылки при парсинге которых были ошибки.
Обратите внимание что список ссылок по ошибкам расширяется сам в зависимости от того есть у вас в ссылках ошибки или нет.
На данный момент у меня есть только ошибка 404 и в списке фильтра я могу выбрать только ее.
 

Спойлер

Так же можно фильтровать по спискам.
Теперь вы можете создавать отдельно списки ссылок, к примеру отфильтровать только ссылки одной категории и поместить их в этот список.
Списков может быть сколько угодно, единственное ограничение одна ссылка может находится только в одном списке.

Так же все фильтры можно использовать одновременно и комбинировать между собой.

Вкладка Действие.
На этой вкладке вы может производить разные действия над отфильтрованными ссылками.
На данный момент доступны следующие действия.

1. Переместить в список
2. Сброс ошибок парсинга
3. Очищать кэш ссылок
4. Поиск замена
5. Удалить ссылки

Фундамент заложен и этот списко можно будет расширять.
Переместить в список - это действие пометит отфильтрованные ссылки как принадлежащие определенному списку. Списки создаются на следующей вкладке Списки ссылок

Спойлер

 

Сброс ошибок парсинга - данное функция обнулит пометку об ошибки при парсинге ссылок, в отфильтрованных ссылках. Тут на выбор можно обнули конкретную ошибку или все что есть.

Спойлер

Очищать кэш ссылок - очистит кеш ссылок что вы отфильтровали. Или весь кеш всех ссылок этого проекта. На выбор.

Спойлер

Удалить ссылки - удалит отфильтрованные ссылки. Я думаю тут пояснения не нужны

Поиск замена - А эта функция уже интереснее. Она умеет редактировать ссылки и делать это в двух режимах.
1. Обновить существующие ссылки используя поиск замену.
2. Взять существующие ссылки произвести поиск замену и записать как новые в список.

В поиск замене используется тот же подход что и на вкладке поиск замена, так что тут ничего нового.
Еше доступна возможность добавить в конец ссылки, пригодится тем кто спарсил кучу ссылок а затем обнаружил что описание доступно только в том случаи если в конце ссылки есть #desc , Теперь вы сможете легкостью добавить в список ссылки с нужными окончаниями, или отредактировать уже имеющийся список.

 

Внимание!!! Если вы производите поиск замену, а ничего не происходит. Причина в том что модуль несмотря на ваши желания не даст вам сделать две вредные вещи.
1. Модуль не даст вам создать дубли ссылок внутри одного проекта. Если ваши правила поиск замены приведут к получению ссылки которая уже есть в списке, модуль проигнорирует эти действия и не выполнит замену.
2. Модуль не позволит вам удалить протокол из ссылки http:// или https:// поменять да но так что бы ссылка осталась без протокола модуль не позволит.

Спойлер

 

На данный момент это все действия что доступны, но как я сказал фундамент заложен дальше только потребности и фантазия.

Вкладка Списки ссылок.
Самая убогая вкладка тут вы можете создать список и удалить его. ВСЕ. При удалении все ссылки которые были добавлены в этот список автоматически переносятся в общий.
 

Спойлер

 

 

Вкладка Парсинг в кэш
Куда же без нее, хоть она и не востребована я ее оставил

Спойлер

 

 

И главное НОВШЕСТВО !!!

 

Его вы уже заметили на скриншоте выше!

Теперь везде в модуле (кроме крона, пока что.) вы можете выбрать парсинг только определенного списка.

Вот наш любимый парсинга в ИМ

 

Теперь перед тем как запустить парсинг вы можете выбрать какие именно ссылки вы хотите парсить.
Есть два списка на выбор.
1. Выбор по спискам ссылок, который вы создаете на вкладке менеджер ссылок.
2. Парсинг ссылок с ошибками.

Что это значит?
Допустим вы парсить все ссылки их у вас 10тысяч. И после парсинга обнаружили что в определенный момент у вас не спарсилось 500 ссылок, сайт донор не отработал и отдал вам ошибку 308 или еше что то.
Раньше вам нужно было повторно все перепарсить, или в логах найти все ссылки выписать, удалить все 10тысяч, на их место добавить те что не спарсены и запустить их.
Проблема.

Теперь вам достаточно просто выбрать из списка ссылки с нужной ошибкой и запустить парсинг.

 

Обратите внимание что при выборе переключателя списков не нужно жать сохранить, модуль сам подгрузит вам количества ссылок их состояние.

 

Так же вы можете комбинировать.
Допустим хочу парсить только ссылки из моего списка под именем Тест 1 и только те ссылки которые перед этим были спарсены с ошибкой 404.

Легко

Так же тут нужно быть внимательными, потому что теперь при нажатии на Перезагрузить ссылки модуль перезагружает не все ссылки проекта. А именно те которые выбраны.

Другими словами с этого релиза модуль умеет.
Делить ссылки по спискам.
Запоминать ошибки парсинга.
Работать с определенными списками по отдельности.
Получил полнофункциональный менеджер ссылок.

Дальше только комбинировать возможности. В следующем релизе добавится возможность работать с разными списками по крону.

То есть задать задание с выбором определенного списка.

При обновлении не забудьте выполнить ./inst.php

Жду ваши отзывы.

[Axelenz]

6 часов назад, Rassol2 сказал:

Вкладка Парсинг в кэш
Куда же без нее, хоть она и не востребована я ее оставил

Благодарю. Это хорошо, что Вы не удаляете, а идёте только по пути расшинения.

Если что-то не понадобилось сегодня, это ещё не значит, что оно не может пригодиться завтра...

Интересные доработки... жаль, сейчас пока всем всё спарсил )

 

А как можно реализовать следующую схему.

Например, я спарсил сайт-донор. Получил прайс с артикулом, наименованием товара, количеством, ценой, фото, описанием и атрибутами. А через неделю мне необходимо сделать обновление по наличию товара и цене. Сейчас для этого я использую ту же форму, что и для парсинга всей информации с донора, только добавляю, например, нули "000" в границы парсинга, чтобы не парсилась лишняя информация. Потом при получении прайса удаляю этот мусор. Но всё равно это несколько неудобно, поэтому удобнее создавать по несколько форм. Можно ли добавить ещё один столбец на вкладке "CSV/Парсинг" после "Выбор параметров парсинга", где можно было бы в чекбоксе ставить подтверждение парсить эту границу или пока пропускать (т.е. в прайсе столбец сохраняется, но данные по нему В ЭТОТ РАЗ НЕ ПАРСИТЬ). На выходе мы получаем всё тот же прайс, по столбцам аналогичный прайсу, как при полном парсинге сайта, но теперь данные заполнены только в нужных столбцах, например: артикул, наличие и цена. Тогда получается, что можно избавиться от дублей форм для парсинга. А то сейчас одна форма для полного парсинга, вторая только для парсинга наличия и цены...

Змінено 30 липня 2020 користувачем Axelenz

[Rassol2]

2 часа назад, Axelenz сказал:

А как можно реализовать следующую схему.

Например, я спарсил сайт-донор. Получил прайс с артикулом, наименованием товара, количеством, ценой, фото, описанием и атрибутами. А через неделю мне необходимо сделать обновление по наличию товара и цене. Сейчас для этого я использую ту же форму, что и для парсинга всей информации с донора, только добавляю, например, нули "000" в границы парсинга, чтобы не парсилась лишняя информация. Потом при получении прайса удаляю этот мусор. Но всё равно это несколько неудобно, поэтому удобнее создавать по несколько форм. Можно ли добавить ещё один столбец на вкладке "CSV/Парсинг" после "Выбор параметров парсинга", где можно было бы в чекбоксе ставить подтверждение парсить эту границу или пока пропускать (т.е. в прайсе столбец сохраняется, но данные по нему В ЭТОТ РАЗ НЕ ПАРСИТЬ). На выходе мы получаем всё тот же прайс, по столбцам аналогичный прайсу, как при полном парсинге сайта, но теперь данные заполнены только в нужных столбцах, например: артикул, наличие и цена. Тогда получается, что можно избавиться от дублей форм для парсинга. А то сейчас одна форма для полного парсинга, вторая только для парсинга наличия и цены...

Здравствуйте.
Я подумаю над решением этого вопроса.

[Rassol2]

Внимание!!!.
С 30.07.2020 И до 02.08.2020 включительно я в сети буду только с телефона.
Лицензии будут выдаваться в обычном режиме, а вот более менее внятные поддержку с мобильного телефона не осуществить.
Так что прошу взять во внимание что меня не будет, и если я вам не отвечаю в ЛС значит я не могу это сделать.

[Pirokar]

Добрый день, подскажите в чем может быть проблема. Парсил данные с сайта и вместо данных в форме таблицы, получилось это:

[Rassol2]

Добрый день, подскажите в чем может быть проблема. Парсил данные с сайта и вместо данных в форме таблицы, получилось это:

Разделитель укажите правильный.
Он должен быть таким
{csvnc}

Отправлено с моего Pixel через Tapatalk

[Pirokar]

Спасибо:)

[khvoroffski]

4 часа назад, Axelenz сказал:

А как можно реализовать следующую схему.

Например, я спарсил сайт-донор. Получил прайс с артикулом, наименованием товара, количеством, ценой, фото, описанием и атрибутами. А через неделю мне необходимо сделать обновление по наличию товара и цене. Сейчас для этого я использую ту же форму, что и для парсинга всей информации с донора, только добавляю, например, нули "000" в границы парсинга, чтобы не парсилась лишняя информация. Потом при получении прайса удаляю этот мусор. Но всё равно это несколько неудобно, поэтому удобнее создавать по несколько форм. Можно ли добавить ещё один столбец на вкладке "CSV/Парсинг" после "Выбор параметров парсинга", где можно было бы в чекбоксе ставить подтверждение парсить эту границу или пока пропускать (т.е. в прайсе столбец сохраняется, но данные по нему В ЭТОТ РАЗ НЕ ПАРСИТЬ). На выходе мы получаем всё тот же прайс, по столбцам аналогичный прайсу, как при полном парсинге сайта, но теперь данные заполнены только в нужных столбцах, например: артикул, наличие и цена. Тогда получается, что можно избавиться от дублей форм для парсинга. А то сейчас одна форма для полного парсинга, вторая только для парсинга наличия и цены...

Нравится идея 

[Weever]

Иногда приходится допарсить только фото или только атрибуты. Было-бы удобно.

Сейчас приходится в выдаче для ИМ выключать ненужное. Не очень удобно, если нужно спарсить только фотки например  

 

[partshez]

Поработал сегодня с Менеджером URL. Очень понравилось! Именно этого мне, оказывается, не хватало в одном проекте. Рекомендую.