[Поддержка] SimplePars - Универсальный парсер для ИМ

[Alexrosy]

12 минут назад, Rassol2 сказал:

@Alexrosy В базу данных записывается как надо.
 

  Показать контент

Но действительно в карточке товара движок вырезает переносы строк.
Лечится легко.
укажите вместо переноса каретки {br}
html тег перенос строки <br>
 

  Показать контент

Результат.
 

  Показать контент

 

 

Сделал так, но в предварительном просмотре появилась белеберда.

[Rassol2]

5 минут назад, Alexrosy сказал:

Сделал так, но в предварительном просмотре появилась белеберда.

не белеберда
Это сложный вопрос. Который будет преследовать еше долго
так уж сложилось что нельзя в пред просмотре вывести html теги, потому что браузер их воспринимает как код который нужно обработать.
По этому теги нужно преобразовать как сущности html.

Пока что я варюсь в этом котле и ишу оптимальный алгоритм. Что бы и пред просмотр организовать максимально правильно и что бы браузер не обрабатывал код.
Меняя подход каждый раз меняя подход в одном месте нарушается вид в другом. Пока что я поиске правильного решения что бы максимально все было правильно.

[Alexrosy]

4 минуты назад, Rassol2 сказал:

не белеберда
Это сложный вопрос. Который будет преследовать еше долго
так уж сложилось что нельзя в пред просмотре вывести html теги, потому что браузер их воспринимает как код который нужно обработать.
По этому теги нужно преобразовать как сущности html.

Пока что я варюсь в этом котле и ишу оптимальный алгоритм. Что бы и пред просмотр организовать максимально правильно и что бы браузер не обрабатывал код.
Меняя подход каждый раз меняя подход в одном месте нарушается вид в другом. Пока что я поиске правильного решения что бы максимально все было правильно.

понятно) Спасибо за помощь, в ИМ загружается как надо!)

[ilyer]

12 часов назад, stas2010 сказал:

я давал методику создания таблицы несколько страниц назад.

если кратко, то после статических данных, как Название, цена и т.п., где одно значение = 1 столбец, размещаем столбцы с картинками - на практике картинок более 15 шт очень редко встречается, соответственно просто заранее выделяем для картинок это количество столбцов после статических данных. В АОП, например, сразу задаем номера столбцов для всех 15 картинок, если их там не будет модуль просто проигнорит пустые. После вставляем столбцы с атрибутами. В таком порядке таблица не деформируется.

получим таблицу вида, например, для трёх картинок:

Название|Цена|Описание|Производитель|Картинка 1|Картинка 2|Картинка 3|Атрибуты --->|

 

Хм. Вы меня не поняли

У донора в товарах разное количество фото и разное количество атрибутов.

Пока решаю этот вопрос в несколько заходов, типа артикул + фото, потом артикул + атрибуты. Потом копирую вручную.

Втупую попробовал как вы говорите, все-равно сдвигается, он построчно пишет.

Спасибо за ответ)

[Rassol2]

1 минуту назад, ilyer сказал:

Хм. Вы меня не поняли

У донора в товарах разное количество фото и разное количество атрибутов.

Пока решаю этот вопрос в несколько заходов, типа артикул + фото, потом артикул + атрибуты. Потом копирую вручную.

Втупую попробовал как вы говорите, все-равно сдвигается, он построчно пишет.

Спасибо за ответ)

лучший вариант выберите разделитель ~
и у вас все будет в одной ячейке. Я имею в виду атрибуты. И фото в отдельных ячейках с разделителем ~

затем открываем в экселе, в разделе Данные.
Текст по столбцам
С разделителями

 

выбираете разделитель ~ и ячейка поделится на много.
Затем с второй ячейкой также.

Обратите внимание что в момент деления справа должны быть пустые ячейки.

1.
 

Спойлер

 

2.

Спойлер

 

3.

Спойлер

 

делите последний столбец потом смотрите сколько занято ячеек максимум. Затем копируете в конец другой столбец и делите.

 

[Rassol2]

1 час назад, Alexrosy сказал:

понятно) Спасибо за помощь, в ИМ загружается как надо!)

не за что.

 

[Rassol2]

.

[Rassol2]

Обновление v2.9-13

Исправление найденных ошибок.

1. Исправлен баг с заменой главного фото у товаров.
описанный здесь
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1504391
За найденную ошибку спасибо @partshez

2. Исправлено повторная фильтрация ссылок. Спасибо @Andruxa30

3. Так же теперь если у вас в браузере выбрано не использовать юсер агент
 

Спойлер

То модуль все равно будет отправлять юсер агент по умолчанию
По умолчанию агент будет такой.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36
Поскольку из за отсутствия юсер агента в запросе много сайтов блокируют эти запросы, и тем самым у неопытных пользователей начинаются проблемы на ровном месте.

И мелкие правки.

Рекомендую всем обновится до актуальной версии.
Потихоньку возвращаемся к продолжению развития модуля

[stas2010]

про юсер агент - почему бы сразу в модуль не вписать готовый набор агентов и других примеров по-больше? а пользователь пусть лучше удалит лишнее, чем ищет где-то и вписывает неправильны значения.

[Rassol2]

1 минуту назад, stas2010 сказал:

про юсер агент - почему бы сразу в модуль не вписать готовый набор агентов и других примеров по-больше? а пользователь пусть лучше удалит лишнее, чем ищет где-то и вписывает неправильны значения.

Потому что они устаревают. А для обновления нужно будет делать запросы в базу данных. и тем самым затирать те данные что там есть.
То есть через год будет не актуальный набор. И мне нужно будет его обновить для этого нужно будет делать запрос в базу данных который обновит это поле. А если у пользователя там свои агенты они затрутся.

А так есть сервисы которые предоставляют эти данные в готовом для модуля формате.
Все желающие могут взять скопировать и вставить в модуль.
К примеру - https://developers.whatismybrowser.com/useragents/explore/software_name/chrome/

[stas2010]

В 25.12.2019 в 22:44, ilyer сказал:

Хм. Вы меня не поняли

У донора в товарах разное количество фото и разное количество атрибутов.

да пофиг сколько фото и атрибутов.

еще раз повторю - создаете заранее максимальное количество столбцов под фото - смотрите на доноре, например, нашли товар с максимальным количеством фото в 10 шт. Всё, это количество столбцов и резервируете, туда и кидаете фото получите что-то типа этого:

 

Название колонки в прайс листе CSV - Значение

Название - граница

цена   - граница

фото 1- граница

фото 2- граница

фото 3- граница

фото 4- граница

фото 5- граница

фото 6- граница

фото 7- граница

фото 8- граница

фото 9- граница

фото 10- граница

Атрибуты - граница

Здесь в границе для фото 1 - фото 10 можно границами вырезать каждое фото, либо просто вставить повторяющуюся границу, которая в результате заполнит ячейки для фото1-фото10

 

В итоге:

Название|цена      | фото 1| фото 2| фото 3| фото 4| фото 5| фото 6| фото 7| фото 8| фото 9| фото 10| Атрибуты  |           |                       |          |||||||||||||||||||||||||||||||||||

товар 1    | 100 руб|  1.jpg  | 2.jpg    | 3.jpg    | 4.jpg   |             |             |            |            |             |               | Мощность| 96 Вт | Напряжение | 220 В|||||||||||||||||||||||||||||||||||

товар 2    | 200 руб|  1.jpg  | 2.jpg    | 3.jpg    | 4.jpg   | 5.jpg    | 6.jpg    |            |            |             |               | Мощность| 96 Вт | Напряжение | 220 В|Ток|10 А|||||||||||||||||||||||||||||||||

 

таблица никуда не съезжает. расширяется только вправо атрибутами, а остальное остается на своих местах.

В том же АОП прописывает в "Номера колонок, содержащих прямые ссылки на фото , через запятую или текст начала,конца парсинга" - 3,4,5,6,7,8,9,10,11,12 - возьмет все фото из заполненных колонок. 

 

Змінено 26 грудня 2019 користувачем stas2010

[Rassol2]

Обновление v2.10

 

Добавлена возможность полноценно собирать ссылки с sitemap
 

Спойлер

Теперь у вас есть возможность переключить режим сбора ссылок.
По умолчанию модуль настроен на сбор ссылок с страниц сайта, но вы можете переключить на сбор ссылок с сайт мапа.
Для того что бы модуль собирал ссылки с sitemap вам нужно указать стартовую ссылку на sitemap.xml
Далее модуль соберет ссылки с сайт мапа и отфильтрует по вашим данным как и ранние.

Обратите внимание что ели будет выбран режим парсинга сайт мап xml а указана ссылка на обычные страницы сайта то модуль не найдет не одну ссылку. Нужно быть внимательными при выборе режима!

Так же при сборе ссылок с сайт мапа не используйте текст начала и конца, эти настройки скорее будут заводить вас в заблуждения и при париснге сайт мапа это бессмысленно.
Во всем остальном логика осталась прежняя.

Парсинг сайт мап дает возможность быстро собрать все ссылки с минимальным количеством запросов к донору. Но что бы модуль проходил только по ссылкам карты сайта необходимо настроить фильтры так что бы в них попадали только ссылки на страницы формата .xml

 

Ссылку на карту сайта вам нужно будет искать самим. Но как правило можно добавить к доменному имени донора mysite.com/robots.txt и получите настройки сайта для поисковика и где то среди этого текста будет ссылка на карту сайта.

Пример

Спойлер

Пример сайт мап.
 

Спойлер

Это позволит ускорить вашу работу
Обещал сделал.

При обновлении необходимо выполнить /inst.php

[CtFelix]

Добрый день!

Хочу купить парсер, но есть несколько вопросов.

1. Можно ли парсить товары в интернет магазин с нескольких сайтов? Точнее, товар уже добавлен и мне нужно дополнить карточки с 2-3 других ИМ.

2. Если товары уже есть, но цены мне нужно указать из прайса, можно ли как-то к существующим товарам загрузить нужные совсем из другого прайса?

3. Когда парсим товара можно хешировать артикул в MD, но это не очень удобно, так как в артикуле тогда будут буквенные символы, есть ли возможность задавать только цифровой артикул?

4. Смотрел видео инструкцию и там вы рассказывали о некоторых вкладках, что сделаете для них отдельные инструкции так, как там много возможностей и параметров, где их посмотреть?

[Rassol2]

3 часа назад, CtFelix сказал:

1. Можно ли парсить товары в интернет магазин с нескольких сайтов? Точнее, товар уже добавлен и мне нужно дополнить карточки с 2-3 других ИМ.

Здравствуйте.
С разных сайтов можно. Но одновременно с двух сайтов в одну карточку товара нет. А по очереди каждый сайт да.
 

 

3 часа назад, CtFelix сказал:

2. Если товары уже есть, но цены мне нужно указать из прайса, можно ли как-то к существующим товарам загрузить нужные совсем из другого прайса?

Да можно обновлять товары в магазине парся сторонний сайт.

 

3 часа назад, CtFelix сказал:

3. Когда парсим товара можно хешировать артикул в MD, но это не очень удобно, так как в артикуле тогда будут буквенные символы, есть ли возможность задавать только цифровой артикул?

Можете парсить артикул. Или любой кусок хеширование в MD5 но вот хеширование в цифровой формате пока нет. Такого хеша нету.

 

4 часа назад, CtFelix сказал:

4. Смотрел видео инструкцию и там вы рассказывали о некоторых вкладках, что сделаете для них отдельные инструкции так, как там много возможностей и параметров, где их посмотреть?

Возможно вы про это ?
https://simplepars.top/index.php?page=notes

[CtFelix]

1 час назад, Rassol2 сказал:

Можете парсить артикул. Или любой кусок хеширование в MD5 но вот хеширование в цифровой формате пока нет. Такого хеша нету.

А возможно ли как-то иначе сгенерировать артикул для сайта, чтобы он был цифровым, уникальным и не повторял артикул сайта с которого парсим? 

[Rassol2]

8 минут назад, CtFelix сказал:

А возможно ли как-то иначе сгенерировать артикул для сайта, чтобы он был цифровым, уникальным и не повторял артикул сайта с которого парсим? 

Можно через смекалку.
Допустим если у вас у донора артикул цифровой. Вы можете спарсить артикул и указать наценку на эти цифры. Допустим умножить артикул на 7.
Вот у вас появятся цифры которые не соответствую донору но всегда при парсинге этого артикула и умножая на него будет тоже самое значение.
Про наценку.
 

Спойлер

как делать наценку и округлять можно прочесть здесь.
https://simplepars.top/index.php?page=note&note_id=4

https://simplepars.top/index.php?page=note&note_id=5

[CtFelix]

Так, ок, можно будет попробовать.

Ещё вопрос, по парсингу с нескольких источников, мне в ручную всегда нужно будет указывать откуда и в какую карточку парсить или как происходит поиск соответствия, что и куда?

[Rassol2]

18 часов назад, CtFelix сказал:

Так, ок, можно будет попробовать.

Ещё вопрос, по парсингу с нескольких источников, мне в ручную всегда нужно будет указывать откуда и в какую карточку парсить или как происходит поиск соответствия, что и куда?

По артикулу у вас в магазине и у донора. 

[CtFelix]

А как быть если парсинг идёт с 2 разных ИМ на мой, как тогда сопоставить артикулы? Они же будут разные на разных ИМ.

В этом случае же создастся новый товар и он будет дублировать имеющийся, а его нужно дополнить.

[Kiyoshi]

15 часов назад, Rassol2 сказал:

Добавлена возможность полноценно собирать ссылки с sitemap

Как мед для моих ушей

 

45 минут назад, CtFelix сказал:

А как быть если парсинг идёт с 2 разных ИМ на мой, как тогда сопоставить артикулы? Они же будут разные на разных ИМ.

Код товара (модель) у доноров имеется?

[CtFelix]

1 час назад, Kiyoshi сказал:

Код товара (модель) у доноров имеется?

Не всегда, чаще только название товара, оно может быть одинаковым

[Rassol2]

28 минут назад, CtFelix сказал:

Не всегда, чаще только название товара, оно может быть одинаковым

как вы понимаете сравнивать как то нужно.
для этого есть сравнение по имени или по артикулу. Или по модели.

Но нужно что бы товары имели одинаковое значение на донорах и у вас по другому никак.
 

[partshez]

19 часов назад, CtFelix сказал:

А как быть если парсинг идёт с 2 разных ИМ на мой, как тогда сопоставить артикулы? Они же будут разные на разных ИМ.

В этом случае же создастся новый товар и он будет дублировать имеющийся, а его нужно дополнить.

Я сделал так. С одного сайта спарсил товар с артикулами. Возникла необходимость добавить информацию со второго сайта в эти же товары. Артикулы со второго сайта (или с прайса) завел вручную в КОД ТОВАРА в карточках. 

В итоге в Парсинге в ИМ выбираю Обновить. С первого сайта Идентификатор - артикул, со второго - код товара. 

Змінено 28 грудня 2019 користувачем partshez

[partshez]

Обновился до 2-10. Нашел sitemap.xml через robots.txt. http://prntscr.com/qgsg80

Спарсил немного для начала. Получается отлично!!! Советую всем воспользоваться новым функционалом. Спасибо автору!

 

 

Змінено 28 грудня 2019 користувачем partshez

[Rassol2]

1 час назад, partshez сказал:

Обновился до 2-10. Нашел sitemap.xml через robots.txt. http://prntscr.com/qgsg80

Спарсил немного для начала. Получается отлично!!! Советую всем воспользоваться новым функционалом. Спасибо автору!

 

 

Я знал что понравится.