[Поддержка] SimplePars - Универсальный парсер для ИМ

[stas2010]

по спецсимволам более простая таблица - http://htmlbook.ru/samhtml/tekst/spetssimvoly. пока всё работает из встреченного.

а если в модуле реализовывать, то надо сделать обработку еще полей "до" и "после", а также полей при создании таблицы - там тоже не обрабатывается.

[Rassol2]

1 минуту назад, stas2010 сказал:

по спецсимволам более простая таблица - http://htmlbook.ru/samhtml/tekst/spetssimvoly. пока всё работает из встреченного.

а если в модуле реализовывать, то надо сделать обработку еще полей "до" и "после", а также полей при создании таблицы - там тоже не обрабатывается.

Когда буду над этим работать, я просто сделаю галочку где то на подобие. Преображать все сущности в теги. 
Все сущности что попадают в модуль будут преображаться на лету на символы. 
 

[rozario888]

10 часов назад, stas2010 сказал:

пересоздайте блок вручную при наличии ссылки

как вариант, да

 

10 часов назад, stas2010 сказал:

не скажу про парсинг напрямую в им

Вчера на 7К товаров обновлял описание со склейкой с инструкцией, все отлично зашло со всеми иконками и тд от донора - т.е. напрямую отлично работает. Фотки аналогично обновляет

[rozario888]

Вспомнил что спросить хотел: если я закрою вкладку с активным парсингом, то он прекратится или задание выполнится до конца? 

Например, выгружаю сейчас фотки в файл, 6500 ссылок, часа полтора на это уходит...и чтобы не морочить ноут и самому не ждать, закрыл, выключил и ушел.

 

[Rassol2]

1 минуту назад, rozario888 сказал:

Вспомнил что спросить хотел: если я закрою вкладку с активным парсингом, то он прекратится или задание выполнится до конца? 

Например, выгружаю сейчас фотки в файл, 6500 ссылок, часа полтора на это уходит...и чтобы не морочить ноут и самому не ждать, закрыл, выключил и ушел.

 

нет нужно вкладку держать открытой. 
Но можно открыть 2 вкладки в одной парсинг в другой что хотите. 

[Rassol2]

к примеру я делаю так открываю 2 вкладки.
1. парсинг.
2. Просмотр логов. 

и так все контролирую. 

[Rassol2]

Обновление 2.3-5_Beta-2

Исправлены недочеты парсинга в интернет магазин для версии движка Opencart .
Так же сделал полноценный экспорт импорт настроек между Opencart и ocStore теперь бес проблем можно передавать настройки, и не важно на какой версии были произведены настройки они будут работать на обеих версиях движка. 

Собственно вроде исправил все известные мне недочеты.

При этом обновлении необходимо выполнить /inst.php

[Rassol2]

Теперь можно приступать к вопросу адаптации модуля под версии
ocStore 3*

Opencart 3* 
 

 

[stas2010]

еще бы сделать быстрый сбор названий всех атрибутов, производителей с сайта донора и т.п. с возможностью записи в таблицу, в файл - именно создать списков атрибутов и производителей, чтобы заранее создать их в магазине или же знать какие придут с донора идентичные по названиям и сделать их обработку и не плодить похожие дубли.

 

может кто знает какой код вписать в адресную строку для сайтов на opencart, чтобы открывалась страница с товаром (для парсинга), а не страница с результатом поиска. 

для многих подходит, например, https://сайт.ru/search/?q=артикул - и получаем открытую страницу с товаром. 

для ос https://сайт/index.php?route=product/search&search=артикул - получим страницу результата поиска, на которой может быть несколько товаров.

[Axelenz]

3 часа назад, stas2010 сказал:

может кто знает какой код вписать в адресную строку для сайтов на opencart, чтобы открывалась страница с товаром (для парсинга), а не страница с результатом поиска. 

для многих подходит, например, https://сайт.ru/search/?q=артикул - и получаем открытую страницу с товаром. 

для ос https://сайт/index.php?route=product/search&search=артикул - получим страницу результата поиска, на которой может быть несколько товаров.

 

Наверное можно использовать для этого: iMacros, AutoHotkey, AutoIt, Selenium, Kantu, UiPath... и т.д.

Я подобное использовал, когда у меня было задание по заранее заданным артикулам найти соответствующие товары на сайте и собрать ссылки на эти товары для дальнейшего парсинга... Когда артикулов тысячи, то без автоматизации сбор ссылок просто не реален.

Змінено 22 травня 2019 користувачем Axelenz

[Rassol2]

6 часов назад, stas2010 сказал:

может кто знает какой код вписать в адресную строку для сайтов на opencart, чтобы открывалась страница с товаром (для парсинга), а не страница с результатом поиска. 

для многих подходит, например, https://сайт.ru/search/?q=артикул - и получаем открытую страницу с товаром. 

для ос https://сайт/index.php?route=product/search&search=артикул - получим страницу результата поиска, на которой может быть несколько товаров.

а как насчет того что бы получить страницу поиска товаров. А затем уже спарсить ссылку. Опенкарт в стандартном виде не отдает товар через поиск. 

 

7 часов назад, stas2010 сказал:

еще бы сделать быстрый сбор названий всех атрибутов, производителей с сайта донора и т.п. с возможностью записи в таблицу, в файл - именно создать списков атрибутов и производителей, чтобы заранее создать их в магазине или же знать какие придут с донора идентичные по названиям и сделать их обработку и не плодить похожие дубли.

только производить настройку через границы так, что бы получить именно имена атрибутов. 
А вот сделать так как что бы одна колонка один атрибут я не могу придумать. 
По сколько модуль по сути не знает сколько ему парсить он парсит одну ссылку, и записывает ее результат. По сути это один жизненный цикл. Затем берется вторая. и третя и четвертая. 

Так вот если представим что атрибутов нет в первых 10 ссылках. то колонка будет пустая. А в одиннадцатой ссылки 100 атрибутов. А в таком случаи нужно сдвигать все что было спарсено в файл до 11 ссылки. А затем в 120000 ссылке уже 200 атрибутов. И получается весь файл нужно переколошматить. 

Поскольку мы не знаем сколько атрибутов максимум на сайте, да и есть ли они в принципе. Я не могу придумать реализацию записи атрибутов в прайс отдельными личными колонками.
Как то так.  

[Axelenz]

48 минут назад, Rassol2 сказал:

А вот сделать так как что бы одна колонка один атрибут я не могу придумать. 

 

Это разве что добавить ещё одну закладку, в которой велась бы обработка уже готового наполненного товарами прайса. Т.е. в предыдущих закладках идёт сбор данных, а в этой уже чистовая обработка их с этого прайса, сортировка, удаление ненужных строк и пр. Но это уже будет не модуль, а комбайн целый ))) Хотя всё возможно реализовать... можно даже заложить возможность в этой закладке вписывать свои формулы php для обработки... Как вариант - вынести в эту закладку часть кода с модуля, чтобы можно было дописывать/переделывать, но конечно с возможностью "вернуть по умолчанию", без этой волшебной кнопки не обойтись... )))

Змінено 22 травня 2019 користувачем Axelenz

[Rassol2]

14 минут назад, Axelenz сказал:

 

Это разве что добавить ещё одну закладку, в которой велась бы обработка уже готового наполненного товарами прайса. Т.е. в предыдущих закладках идёт сбор данных, а в этой уже чистовая обработка их с этого прайса, сортировка, удаление ненужных строк и пр. Но это уже будет не модуль, а комбайн целый ))) Хотя всё возможно реализовать... можно даже заложить возможность в этой закладке вписывать свои формулы php для обработки... Как вариант - вынести в эту закладку часть кода с модуля, чтобы можно было дописывать/переделывать, но конечно с возможностью "вернуть по умолчанию" )))

идея хорошая но я такое замыслил для парсинга в им. Сделать функцию предварительный парсинг. 
Куда будет попадать все товары списком. 
Затем пользователь может пройти просмотреть их поправить руками или доделать фунции массового редактировать. 
После чего выделив определенные товары и нажав одну кнопку все загрузится в магазин. 

И для товаров это более чем оправдано. Так сказать промежуточное состояние когда можно все проконтролировать подправить и загрузить. 
Но вот для прайса не знаю насколько это актуально, поскольку прайс сам по себе это промежуточное состояние данных когда вы можете выкачать прайс и сами все в экселе поправить. 
Не разумно считать что я смогу для прайса сделать такой промежуточный шаг где функционал будет более широкий чем в таком комбайнере как эксель. 

по поводу свои php коды. Я бою внедрить в парсинг им фунцию выполнения до парсинга файла и после куда пользователь может записать любой sql запрос используя параметры парсинга.
Что то на подобие 
 

UPDATE `oc_product` SET `stock_status_id`=5 WHERE `sku`={gran_10}

Боюсь что это приведет к катастрофе. Если люди не будут знать как это использовать, можно и базу навернуть.

А вы пишите про то что бы дать возможность пользователя вставлять свои php скрипты.

[Axelenz]

8 минут назад, Rassol2 сказал:

 А вы пишите про то что бы дать возможность пользователя вставлять свои php скрипты. 

 

А для этого в некоторых прогах и ставят галочку соглашаясь: "Я согласен с тем, что мои действия могут привести... бла-бла-бла..." ))) Парсинг вообще занятие для тех, кто хоть немного склонен к анализу и имеет общее представление о том, что делает... А ограничивать возможности модуля только потому, что кто-то может не на то нажать стоит ли ? Ведь всегда найдётся... Обычно после пары удачных попыток отформатировать свой винчестер приходить понимание того, как это работает )

[Rassol2]

19 минут назад, Axelenz сказал:

 

А для этого в некоторых прогах и ставят галочку соглашаясь: "Я согласен с тем, что мои действия могут привести... бла-бла-бла..." ))) Парсинг вообще занятие для тех, кто хоть немного склонен к анализу и имеет общее представление о том, что делает... А ограничивать возможности модуля только потому, что кто-то может не на то нажать стоит ли ? Ведь всегда найдётся... Обычно после пары удачных попыток отформатировать свой винчестер приходить понимание того, как это работает )

я подумаю над вашими словами. 

[Rassol2]

@Axelenz особенно когда доделаю поддержку регулярных выражений в поиск замену.
И вместе с обновлением скину ссылку на инструкцию к регулярным выражениям. 
- http://joxi.ru/v29P0RjsZj85Pm

[Axelenz]

...или тогда у Вас один выход - разделять модуль на две ветки: lite и pro...

[Rassol2]

4 минуты назад, Axelenz сказал:

...или тогда у Вас один выход - разделять модуль на две ветки: lite и pro...

ветка будет одна. 
По умолчанию курс на массы. По умолчанию настройки будут соответствовать большинству пользователей. Но будет возможность изменять при необходимости. 
как сейчас реализовано в повторяющихся границах парсинга, пропустить с начала и с конца. Если не трогать эти настройки все парсится как есть. Но если вмешается можно довольно тонко все настроить. 

[stas2010]

3 часа назад, Rassol2 сказал:

А вот сделать так как что бы одна колонка один атрибут я не могу придумать.

пока ручками делается

а просто спарсить названия атрибутов - http://prntscr.com/nrzef2, не составляет труда на большинстве сайтов.

можно один раз настроить на дополнительной странице парсинга атрибутов, производителей, категорий и т.п. или в общих границах, такой список, разложить его на ячейки труда не составит - это просто алгоритм написать надо, а он не сложный.

1. Создаем таблицу атрибутов для донора - её же и храним в конфиге.

2. берем такую линейку http://prntscr.com/nrzef2 атрибутов со страницы товара.

3. проверяем наличие каждого атрибута в базе, если нет, то добавляем.

4. нажимаем кнопку - сохраняем список в файл. получим типа такого - http://prntscr.com/nrzoom. можно дополнительно выделить как-то новые атрибуты, чтобы быстро добавить только их. - тут вариантов много, чего уже с готовыми сделать.

5. можно из этой таблицы атрибутов создать строки-столбцы на странице парсинга (только добавлять надо потом в конец, иначе всё перенастраивать придется).

 

тоже самое со списком производителей - просто собрать со всех страниц товаров производителей. и тоже сохранить.

пока проблема заключается только в одном - нет загрузки данных с файла, чтобы заранее обработал в экселе, а затем на сайт загрузил скопом.

в принципе, первая задача такого функционала - получить атрибуты и узнать какие атрибуты есть в магазине, а какие надо добавить, может какие-то из существующих уже есть и их потом соотнести с донором, чтобы не плодить дублей. идеально бы было автоматическое создание атрибутов, производителей и категорий как у донора и как вариант - по обработанному заранее списку, т.к. само по себе это действие отнимает много времени.

 

[stas2010]

2 часа назад, Rassol2 сказал:

разделять модуль на две ветки: lite и pro

на ветки можно не разделять - можно просто поставить где-нибудь галочку "Включить PRO-режим" - и открыть полный набор настроек и возможностей.

второй вариант - отдельная страница настроек, на которой можно указать, какой функционал будет показан и включен на страницах парсера. а для новичков оставить простой набор необходимых функций по-умолчанию, тогда без перехода в PRO-режим новичек ничего не натворит, а если уже сунулся туда, где не соображает, то уж не обесудьте - сам виноват - читай мануал или на форуме спрашивай. 

[Rassol2]

2 часа назад, stas2010 сказал:

на ветки можно не разделять - можно просто поставить где-нибудь галочку "Включить PRO-режим" - и открыть полный набор настроек и возможностей.

второй вариант - отдельная страница настроек, на которой можно указать, какой функционал будет показан и включен на страницах парсера. а для новичков оставить простой набор необходимых функций по-умолчанию, тогда без перехода в PRO-режим новичек ничего не натворит, а если уже сунулся туда, где не соображает, то уж не обесудьте - сам виноват - читай мануал или на форуме спрашивай. 

пока еше не дорос до таких мега функций, по этому выкатываю как есть если будут сложности и проблемы подобный вариант будет реализован. 

[Rassol2]

2 часа назад, stas2010 сказал:

4. нажимаем кнопку - сохраняем список в файл. получим типа такого - http://prntscr.com/nrzoom. можно дополнительно выделить как-то новые атрибуты, чтобы быстро добавить только их. - тут вариантов много, чего уже с готовыми сделать.

а можно скопировать их в поиск замену границы парсинга атрибутов. Добавить вконец имени атрибута | и при парсинге будут собираться только новые атрибуты те которых нет у вас в базе. 
Тем более что в файле они записаны в столбик скопировать и вставить вообще не составит труда. 

2 часа назад, stas2010 сказал:

тоже самое со списком производителей - просто собрать со всех страниц товаров производителей. и тоже сохранить.

пока проблема заключается только в одном - нет загрузки данных с файла, чтобы заранее обработал в экселе, а затем на сайт загрузил скопом.

в принципе, первая задача такого функционала - получить атрибуты и узнать какие атрибуты есть в магазине, а какие надо добавить, может какие-то из существующих уже есть и их потом соотнести с донором, чтобы не плодить дублей. идеально бы было автоматическое создание атрибутов, производителей и категорий как у донора и как вариант - по обработанному заранее списку, т.к. само по себе это действие отнимает много времени.

при парсинге товара модуль сам создает категории, производителей, атрибуты, все создает сам. 
Причем категории создаются учитывая всю структуру то есть модуль понимает разницу между
Женское->Штаны
Мужское->Штаны
То что мне доставляло много неудобств в свое время, в это модуле в первую очередь решил. 

По поводу загрузки с экселя в магазин, это не совсем то что я бы хотел реализовывать. Есть два довольно мошны модуля на данном форуме которые с лихвой перекрывают бешенство потребностей в работе с прайс листами. 

[rozario888]

@Rassol2 я в теме АОП к чему спрашивал: через вот это действие http://prntscr.com/nsdmpv в товаре получаются дубли, которые после обновления надо будет чистить.  

 

Внутри вашего модуля можно нечто подобное реализовать, чтобы после обновления сразу дубли почистить? Либо при добавлении можно модуль научить смотреть уже имеющиеся и не загонять такую же фотку. Либо доп.галочку типа "Заменить все фото, удалить старые с сервера". 

Если фотки не крутятся в поисковике и ты их хочешь в товаре заменить, смысл их хранить в БД 

[Rassol2]

1 час назад, rozario888 сказал:

@Rassol2 я в теме АОП к чему спрашивал: через вот это действие http://prntscr.com/nsdmpv в товаре получаются дубли, которые после обновления надо будет чистить.  

 

Внутри вашего модуля можно нечто подобное реализовать, чтобы после обновления сразу дубли почистить? Либо при добавлении можно модуль научить смотреть уже имеющиеся и не загонять такую же фотку. Либо доп.галочку типа "Заменить все фото, удалить старые с сервера". 

Если фотки не крутятся в поисковике и ты их хочешь в товаре заменить, смысл их хранить в БД 

на данном этапе реализована возможность парсить фото, и парсить так что бы 2 одинаковые фото не попали к вам. 
Кроме тех случаев когда у самого донора дубли  

так же реализована функция 
http://joxi.ru/gmvvL1Jhq0657m

Она позволяет полностью перезаписать фото. Но они не удаляются физически с диска по сколько модуль не может отследить что было с фото которое загрузилось.
Допустим вы спарсили фото. А затем одно из фото сделали как фото категории. И если модуль удалит такое фото, то и удалится обложка категории.

В планах есть реализовать галочку не загружать дубли фото.
Дубли будут проверятся при загрузке фото будут браться все фото что есть у товара вычисляться хеш сумма фото что есть у товара. 
Вычисляться хеш сумма фото что спалилось. Если хеш совпадает с одним из существующих фото то такое фото не будет загружается. 

Сейчас могу вам посоветовать такой вариант.
1. Загрузить фото без дублей (для этого есть повторяющаяся граница парсинга , и пропуск вхождения)
2. Не обновлять фото. Я незнаю таких доноров которые реально обновляют фото товара. ХОТЯ БЫ РАЗ В ГОД. просто нету таких. 
Значит и у вас обновлять фото не вижу смысла. 

Но функция будет мне она самому интересна. 

[rozario888]

51 минуту назад, Rassol2 сказал:

Я незнаю таких доноров которые реально обновляют фото товара. ХОТЯ БЫ РАЗ В ГОД. просто нету таких.

Мы как филиал от производителя работаем, торгуем  внесезонным товаром. Какие то новинки заходят, иногда может по одному фото добавиться к прошлогоднему товару. Поэтому раз в полгода точно что-то обновляется.

Я на днях выгрузил все фото с оф.каталога, выгрузил свои с сайта и получилось много расхождений по кол-ву фотографий - их вот сейчас и обновляю (дополняю).

 

В общем пока буду использовать ваш модуль + АОП, вроде все корректно отработало, дубли убрались.