[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

16 минут назад, strateg2010 сказал:

И сможет допустим справится с задачей на парсинг от 10.000 товаров +? Или все таки от хостинга что-то зависит?

Да. сможет. От хостинга зависит только нагрузка, все же парсинг это трудоемкая задача. Но если АОП справляется этот тоже будет справятся. 
 

Цитата

Планируется планировщик задач? Типа 1 раз в неделю или в день проверять на наличие новых товаров или измененных цен/количества?

Да планирую и даже более гибко. Все впереди. 
 

Цитата

и можно ли допустим сразу под конкретные модули импорта\экспорта догонять прайсы? или сразу в базу лить товары?

Под АОП уже можно подогнать. Есть конечно вопросы касающиеся неопределенного количества фото в товарах, и атрибутов. Что не позволяет точно определить номера колонок, но это решается при помощи повторяющихся границ и разделителя. 

По проводу других модулей импорта я тоже думаю проблем не будет. 
К примеру на скриншоте в описании модуля прайс составлен с применением разделителя | он же применяется в моделе CSV import/export я думаю каждый что то найдет для себя. 

Для составления прайса обновления вообще проблем нет. 

 

Цитата

Еще такой вопрос, будет ли он платным?

По поводу платной версии. Когда выйдет версия 2 модуль будет платным. Но кто поддерживал модуль здесь и подписан на данный модуль не будут обижены. И к старту продаж я выставлю модуль по самой низкой цене что можно поставить на данном ресурсе, и кто подписан сможет зайти и приобрести его по 300р если не ошибаюсь. 
Приобретение даст возможность дальше обновляться. 

[stas2010]

Добрый день, с трудом, но осилил 16 страниц темы ....

просмотрел эволюцию модуля - многое уже сделано. 

буду тестировать - идея хорошая и нужная.

 

в свое время отказался от популярных парсеров по одной причине - парсится всё подряд, даже учитывая ограничения - на выходе много не нужного. 

у вас был хороший пример с такси - я заказал такси и приехал по конкретному 1-му адресу и вышел, где мне надо, а не по 1000 адресам с остановкой на каждом и потратив время в 1000 раз больше. 

 

уже как-то вопрос поднимался и ваш ответ не совсем устроил, т.к. также были лишние ссылки.

объясню, как я делаю и, надеюсь, многие тоже так поступают, когда нет парсера.

1. беру sku (не всегда совпадает с донорами) или ean (практически всегда при поиске дает нужный товар, если на сайте правильно реализован поиск и он есть в базе), реже название товара. вставляю в строку поиска донора. 

2. Результаты поиска чеще всего:

    а. Страница результата поиска с одним этим товаром

    б. страница самого товара

    в. очень редко - страница с найденным товаром и лишними совпадениями

3. в зависимости от результата п.2 либо сразу получаем нужную ссылку, либо имеем ссылку на товар на странице результата поиска.

4. берем необходимые данные, если надо с полученной ссылки.

 

К чему пришли - было бы реально круто, если бы модуль умел следующее:

1. взять из прайса поставщика из указанной колонки данные для поиска, например, тот же ean.

2. по указанной ссылке + поисковое слово на сайте донора найти действительно нужную ссылку.

3. поместить найденную ссылку назад в прайс в указанную колонку.

4. получить дополнительные данные с сайта донора и добавить в прайс поставщика в указанные колонки.

5. можно также реализовать (иногда встречается, что ссылка на товар на доноре меняется), как и в АОП функцию Обновлять ссылки или только добавлять. Тогда будут добавлены ссылки только для новых товаров - опять же сильно сократит время.

 

реализовав это получим следующее:

1. сократим время на ненужный сбор ненужных ссылок, например, если у меня у донора 140000 товаров, а у меня в магазине даже 30000, то на поиск, сбор, обработку уйдет очень много времени. согласен, что уже сильно сократится время на сбор ссылок при текущем функционале, но в предложенном варианте это время сократится еще в разы.

2. легко будет осуществить добавление именно новых товаров и именно для вашего магазина. опять же,  у донора может обновиться/добавиться 5000 товаров, а у вашего поставщика только 100. зная эти 100 товаров уйдет намного меньше времени, чем на скан донора с нуля и обработку/подгонку под свои прайсы и магазин.

 

как-то такая вот хотелка

 

Ну, или по-этапная её реализация, начиная с того, что именно необходимые ссылки на указанный в поисковом запросе товар и в том же порядке будут получены в итоге. напомню, что в вашем решении, которое было выше, вы в результате на запрос по sku получили более 5 ссылок. сейчас функционал для этого, судя по теме, уже практически готов.

 

Хотелось бы тоже для opencart 3.0  но, можно получить ссылки и через 2.3.

 

 

 

Змінено 16 березня 2019 користувачем stas2010

[stas2010]

а есть ли для ссылок переменные?

например, попадаются /v9=12 или /318. тут бы хорошо сделать, например /v[n]=[n], где [n]-любое число, можно также и для символов,например, /v 9= 12,  или просто для любой  строки длиной S, например, /v[2]12.

 

еще может быть проблема со ссылками на сторонние ресурсы. случайно нашел на vk и другие - попадают в списки. может можно будет как-то выделить эти ссылки, пометить другим цветом, чтобы в обработку не попадали и по ним переходов не было? хотя надо еще будет учесть, что некоторые магазины используют несколько адресов, например, для хранения изображений - их можно просто будет дополнительно прописать.

 

и, возвращаясь к предыдущему посту, сейчас у меня есть два сайты, где ссылки получить не вопрос и спарсить можно, но! в части товаров не к чему зацепиться - sku и ean периодически отсутствует на доноре, а название точно не совпадает с тем, что в прайсе поставщика или у меня в магазине. нормальное название как раз и планируется взять с этих сайтов. но! если искать ссылки по sku, ean,  названию (иногда прокатывает), то ссылки и товары  можно найти на доноре. по-этому необходимо парсинг ссылок привязывать к данным из прайсов. иначе у меня будут в магазине 140000 товаров залитых по полученным ссылкам, которые сами по себе болтаются без привязки к прайсам, а накатив через АОП еще и прайсы поставщиков получим еще 30000 дублей. к тому же из 140000 большая часть нафиг не нужна будет.

отсюда еще вопрос знатокам - как определить/задать/создать ссылку с запросом, чтобы получить результат, аналогичный тому, что получают при вводе слова в поисковик сайта донора?

может я в чем то и заблуждаюсь или не понимаю в науке парсинга, но пока у меня такое видение этого вопроса.

Змінено 16 березня 2019 користувачем stas2010

[stas2010]

уже два раза наблюдал небольшой баг - если сохранить настройки и запустить "Повторить фильтрацию", то по какой-то причине "Очередь сканирования ссылок" открывается пустой, Обработано ссылок: 1283 | Ссылок в очереди: 0

повторное сканирование сразу пишет, что завершено.

очистил список - запустил сканирование, очередь сканирования - так и остается пустой.

Змінено 16 березня 2019 користувачем stas2010

[Rassol2]

Цитата

К чему пришли - было бы реально круто, если бы модуль умел следующее:

1. взять из прайса поставщика из указанной колонки данные для поиска, например, тот же ean.

2. по указанной ссылке + поисковое слово на сайте донора найти действительно нужную ссылку.

3. поместить найденную ссылку назад в прайс в указанную колонку.

4. получить дополнительные данные с сайта донора и добавить в прайс поставщика в указанные колонки.

5. можно также реализовать (иногда встречается, что ссылка на товар на доноре меняется), как и в АОП функцию Обновлять ссылки или только добавлять. Тогда будут добавлены ссылки только для новых товаров - опять же сильно сократит время.

Я так понял что вы говорите о реализации функции что бы в момент поиска ссылок можно было открыть ссылку проверить есть ли в ней какие то данные и сохранить ее в случаи спадения. Если да такое обсуждалось. + - я понимаю как это сделать , но сейчас я полностью погружен в реализацию версии 2.
А то что вы говорите будет можно будет сделать когда я начну переделывать страницу сбора ссылок. 
Страницу сбора ссылок я делал просто для помощи и решил обернуть в модуль и сейчас ее нужно переделывать под новые реалии и задачи.
Скорее всего она будет переписыватся после 2 версии и крона. И вот когда я начну над най работать я буду собирать и обсуждать все хотелки. По поводу данной хотелки я пометку уже поставил. 

 

Цитата

1. сократим время на ненужный сбор ненужных ссылок, например, если у меня у донора 140000 товаров, а у меня в магазине даже 30000, то на поиск, сбор, обработку уйдет очень много времени. согласен, что уже сильно сократится время на сбор ссылок при текущем функционале, но в предложенном варианте это время сократится еще в разы.

Не уверен что здесь идет про сокращение времени. Поскольку получаем список ссылок, к примеру 100, а дальше модуль их фильтрует и остается 20, и затем модуль должен зайти в все 20 ссылок и проверить присутствие слова. Я думаю это не сильно убыстрит время. Зато повысит точность выборки. 
Хотя если повысить точность выборки уменьшится количество шумовых ссылок. Короче говоря может и сократит время, сложно предсказать 
 

Цитата

2. легко будет осуществить добавление именно новых товаров и именно для вашего магазина. опять же,  у донора может обновиться/добавиться 5000 товаров, а у вашего поставщика только 100. зная эти 100 товаров уйдет намного меньше времени, чем на скан донора с нуля и обработку/подгонку под свои прайсы и магазин.

 

как-то такая вот хотелка 

Тут примерно ответ тот же, я буду переделывать сбор ссылок и туда занесем все пожелания.В нынешних реалиях слабоват фунционал сбора ссылок по сравнению с остальным и я уже знаю что я сделаю  

 

Цитата

Хотелось бы тоже для opencart 3.0  но, можно получить ссылки и через 2.3.

На данный момент это моя боль. Этот твиг. Я как представлю что нужно будет вести 2 ветки у меня копчик потом покрывается. Но тоже буду делать адаптацию. Версия 1.5 уже не интересна но на 3+ все буду пилить. 

[Rassol2]

2 часа назад, stas2010 сказал:

например, попадаются /v9=12 или /318. тут бы хорошо сделать, например /v[n]=[n], где [n]-любое число, можно также и для символов,например, /v 9= 12,  или просто для любой  строки длиной S, например, /v[2]12.

да можно. Это уже сложный функционал и даже не в реализации, а понимании и правильном составлении таких ссылок. Не исключаю что я сделаю но за 5 лет я им таки не пользовался. Не исключаю что сделаю в зависимости от востребованности данного модуля и хотелок пользователей. Но это далеко не первоначальные задачи. Тут еше на много месяцев вперед тестировать править уже существующие алгоритмы. 

 

2 часа назад, stas2010 сказал:

еще может быть проблема со ссылками на сторонние ресурсы. случайно нашел на vk и другие - попадают в списки. может можно будет как-то выделить эти ссылки, пометить другим цветом, чтобы в обработку не попадали и по ним переходов не было? хотя надо еще будет учесть, что некоторые магазины используют несколько адресов, например, для хранения изображений - их можно просто будет дополнительно прописать.

Это уже реализовано http://joxi.ru/V2VLx6QId8qwqr в том случаи если сайт отдает не относительные а полные ссылки. 
Если относительные тогда можно тогда после того как собрали ссылки можно добавить настройку и выполнить повторную фильтрацию. Думаю это решит данную проблему. 
Перед выполнением повторной фильтрации ссылок рекомендую скопировать их и сохранить отдельно в файл. http://joxi.ru/Y2LYdlgu7MqRXA
 

Цитата

и, возвращаясь к предыдущему посту, сейчас у меня есть два сайты, где ссылки получить не вопрос и спарсить можно, но! в части товаров не к чему зацепиться - sku и ean периодически отсутствует на доноре, а название точно не совпадает с тем, что в прайсе поставщика или у меня в магазине. нормальное название как раз и планируется взять с этих сайтов. но! если искать ссылки по sku, ean,  названию (иногда прокатывает), то ссылки и товары  можно найти на доноре. по-этому необходимо парсинг ссылок привязывать к данным из прайсов. иначе у меня будут в магазине 140000 товаров залитых по полученным ссылкам, которые сами по себе болтаются без привязки к прайсам, а накатив через АОП еще и прайсы поставщиков получим еще 30000 дублей. к тому же из 140000 большая часть нафиг не нужна будет.

Если собрать ссылки, затем добавить из прайса и у вас в окне будут дубли 
http://joxi.ru/l2ZR7KafzRL0n2
Выбираете сохранить и модуль делает следующее, удаляет все ссылки с базы затем он берет одну ссылку сохраняет ее в базу. Затем берет вторую ссылку и проверяет есть ли в базе такая ссылка, если ее нету добавляет если есть пропускает. Такими образом можно очистить ссылки от дублей. 
Но если идет речь о очень большом количеству ссылок нужно помнить об ограничениях на выполнение скриптов и объему пост запроса. По этому всегда делайте бэкап ссылок. 
Это те данные которых может быть огромное количество и нужно считаться с условиями работы веб сервера. Когда будут постоянное использование модуля у меня будет больше информации по этому вопросы и можно будет думать что исправить и в каком направлении двигаться, и как реализовывать. 
 

 

2 часа назад, stas2010 сказал:

отсюда еще вопрос знатокам - как определить/задать/создать ссылку с запросом, чтобы получить результат, аналогичный тому, что получают при вводе слова в поисковик сайта донора?

Сделать запрос поиска на сайт и посмотреть какой url выдает донор /
Пример - svetavto.com.ua/search/?search=000083
Выделил то что нужно найти. Если у вас есть список в эксель таких артикулов вы можете открыть ексель и протянуть по всем колонкам 
svetavto.com.ua/search/?search=

svetavto.com.ua/search/?search=

svetavto.com.ua/search/?search=

svetavto.com.ua/search/?search=

А второй колонке будут написаны артикула 
000083

000084

000085

000086

И затем через фунцию сцепки сделать себе ссылки на поиск такого артикула. И записать в поле Выдача ссылок эти ссылки и приступить к настройке парсинга. 

 

2 часа назад, stas2010 сказал:

может я в чем то и заблуждаюсь или не понимаю в науке парсинга, но пока у меня такое видение этого вопроса.

Теперь не забываем еше вот о таком методе где нужно собирать не сами ссылки на товар. А ссылки на категории. 
И парсить их в поиски ссылок на товар. 
Нам же никто не запрещает так делать 
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1254374/

Получив прайс с ссылками на товар копируем их в оно выдачи и приступаем к настройке парсинга товаров. 

 

[stas2010]

33 минуты назад, Rassol2 сказал:

Я так понял что вы говорите о реализации функции что бы в момент поиска ссылок можно было открыть ссылку проверить есть ли в ней какие то данные и сохранить ее в случаи спадения

не так поняли.

я про то, чтобы в ваш модуль можно было подгрузить прайс поставщика. далее модуль берет из столбца, указанных в настройках поисковое слово и подставляет его на сайт донора, а далее вытягивает уже правильную ссылку, которую записывает в указанную в настройках колонку в прайс поставщика. далее при необходимости по собранным правильным ссылкам или сразу модуль парсит в прайс поставщика данные согласно настроек модуля (артикулы, описания, атрибуты и т.п.).

вот тогда получим действительно и экономию и завершенный функционал, миную ручную работу по удалению ненужных ссылок.

т.е. наша задача получить ссылки для товаров в прайсе, а также другую информацию будет реализована в полном объеме. и тогда, действительно, останется только скормить в АОП один раз всё тот же прайс поставщика, при этом не размножая формы в АОП.

а далее по той же схеме и новые товары будут добавляться, а те, на которые не нашлось сразу ссылок (и такое бывает) - также получат их и необходимые данные.

при этом не нет необходимости полностью парсить всю структуру донора, и все ссылки. максиму, что на парсинг потратится - это разбор того, что будет на странице результатов поиска донора (описал выше - три варианта).

вот только на это и уйдет время работы модуля.

на текущий момент, чтобы мне получить инфу на 10 или даже 500 конкретных товаров мне необходимо (и это при условии, что на доноре будет sku, ean или название):

1. спарсить все ссылки с сайта донора (предположим, что товары находятся в разных категориях).

2. спарсить для всех товаров данные, хотя мне необходимо только на 10 конкретных товаров.

3. запустить спарсенный прайс на хрен знает сколько позиций   и дай бог не на очень большое их количество, т.к. АОП спарсенный прайс на 10000+ будет лопатить довольно долго, а если еще и без крона......

 

даже, если предположить, что всё-таки со спарсенного прайса и не зальется всего шлака, а сделается выборка на 500 позиций, то всё-равно весь этот процеесс сейчас занимает довольно много времени.  в моем же варианте 500 конкретных товаров вместе с данными спарсятся даже быстрее, чем вы спарсите структуру донора сейчас.

 

самая сложная задача - впихнуть в поиск донору поисковое слово. какая-то программа для парсинга как-то такое делала, или заявлялось, что может делать - не помню.

 

 

[Rassol2]

1 час назад, stas2010 сказал:

уже два раза наблюдал небольшой баг - если сохранить настройки и запустить "Повторить фильтрацию", то по какой-то причине "Очередь сканирования ссылок" открывается пустой, Обработано ссылок: 1283 | Ссылок в очереди: 0

повторное сканирование сразу пишет, что завершено.

очистил список - запустил сканирование

Это не баг а ФИЧА!

Обработано ссылок: 1283 | Ссылок в очереди: 0
Обратите внимание что написано обработано ссылок 1283 !
Откуда модуль может знать вы нажали стоп для того что бы проверить какие ссылки собираются внести правки и продолжить, или вы решили запустить заново ?

Он получил 1283 ссылок и пометил их как пройденные. И после того как вы нажимаете старт, модуль продолжает сбор с того же места где закончил.
А если хотите начать заново сканирование нужно их удалить. 
На этой странице http://joxi.ru/eAOYZEpu96DyXm я реализовал другой подход при нажатии Перезагрузить ссылки, ссылки из списка обработанные возвращаются в список к обработке.
Оба метода имеют право на жизнь. И при необходимости я добавлю такую кнопку в функцию поиска ссылок. 
Наверное это даже логично сделать, что бы экономить время и лишние запросы 

[Rassol2]

4 минуты назад, stas2010 сказал:

я про то, чтобы в ваш модуль можно было подгрузить прайс поставщика. далее модуль берет из столбца, указанных в настройках поисковое слово и подставляет его на сайт донора, а далее вытягивает уже правильную ссылку, которую записывает в указанную в настройках колонку в прайс поставщика. далее при необходимости по собранным правильным ссылкам или сразу модуль парсит в прайс поставщика данные согласно настроек модуля (артикулы, описания, атрибуты и т.п.).

вот тогда получим действительно и экономию и завершенный функционал, миную ручную работу по удалению ненужных ссылок.

То есть что бы мой модуль разбирал прайс лист брал с определенной колонки данные и отправлял их на какую то ссылку на сайт поставщика предположительно поиск, составив поисковый запрос , получить результат распарсить его на поиск ссылок и записать эти ссылки. 
Хорошо когда есть смелые идеи, но это замах на реализацию кнопки сделай все хорошо. 
Если все правильно понял, то наврядли я такое буду реализовывать это безумно сложно. Это конечно хорошо что есть люди готовые мыслить без ограничений но это действительно что то невероятное.
 

Цитата

1. спарсить все ссылки с сайта донора (предположим, что товары находятся в разных категориях).

2. спарсить для всех товаров данные, хотя мне необходимо только на 10 конкретных товаров.

3. запустить спарсенный прайс на хрен знает сколько позиций   и дай бог не на очень большое их количество, т.к. АОП спарсенный прайс на 10000+ будет лопатить довольно долго, а если еще и без крона......

В модуль я пытаюсь не закладываю конкретные задачи которые он будет решать, я хочу взять список задач, и написать инструменты которые пользователь может использовать для решения этих задач. Но имея эти инструменты можно придумать много схем которые будут решать те задачи о которых ни я ни вы еше не думали.
К чему я это.
Вместо того что бы делать такой алгоритм можно воспользоватся моим советом по поводу формирования ссылок на страницы поиска в экселе. Получить 10 ссылок на страницы выдачи ссылок. Скормить моему модулю получить ссылки на конкретные товар и спарсить их. Можно всегда что то придумать. 

Нужно заводить на сайте список лайфхаков. И записывать туда разные решения на базе этого модуля. И других подручных инструментов. 

[stas2010]

6 минут назад, Rassol2 сказал:

Это уже реализовано http://joxi.ru/V2VLx6QId8qwqr

так и сделал, но, тут обработка И или ИЛИ, а если на стороннем ресурсе будет также /LED/, то, я думаю, что будет добавлена ссылка со стороннего ресурса. маловероятно, но бывают случаи.

 

8 минут назад, Rassol2 сказал:

Если собрать ссылки, затем добавить из прайса и у вас в окне будут дубли

я не про дубли в ссылках, а про дубли после АОП. про то, что АОП привязывается к sku, в крайнем случае дополнительному sku.

но, очень часто бывает такое, что на странице донора нет именно этих данных. и по вашей, полученной ссылке придет в магазин "новый" товар, т.к. , например, артикул донора может быть его складским номером (у меня такая ситуация проскакивала - приходилось брать sku склада поставщика, т.к. у него только в этой колонке всегда были данные, а ean и артикул производителя периодически отсутствовали) - для АОП это будет новый товар, т.к ранее этого sku не было. т.е. я о том, что такой поиск товаров не совсем корректен. АОП не за что зацепиться, чтобы данные попали именно к тому товару, который уже в базе. 

тоже будет и наоборот, если сначала залить прайс, который был получен путем парсинга ссылок, а наверх прайс поставщика.

Хорошо, если товаров 10-100, а если несколько тысяч или десятков тысяч, то потом вылавливать их будет не реально.

41 минуту назад, Rassol2 сказал:

Сделать запрос поиска на сайт и посмотреть какой url выдает донор

в том то и проблема, что, например, ваш запрос не работает на нужных сайтах, а на одном только так можно search/result/?q=, на другом не знаю что скормить, т.к. через ввод ean на сайте работает, а через url - надо еще подбирать. это есть самое сложное, чтобы найти эту комбинацию, если знаете как - подскажите, пожалуйста.

 

27 минут назад, Rassol2 сказал:

это замах на реализацию кнопки сделай все хорошо

как бы да  - было бы круто. 

автоматизация процессов по кусочкам как бы улучшает жизнь, но .... покупатели стремятся именно к "одной кнопке". 

 

29 минут назад, Rassol2 сказал:

Вместо того что бы делать такой алгоритм можно воспользоватся моим советом по поводу формирования ссылок на страницы поиска в экселе.

это можно, знать бы что в конкретном случае вставлять. и еще останется каким-то образом на выходе в артикул вставить правильный sku (т.к. в поиске может быть не sku, а что-то другое), либо строго соблюдать порядок, чтобы не было потом смещения в таблице, когда обратно вставлять будем или новую создавать. опять же потом возникнет вопрос - скормили 100 ссылок, а на выходе получили таблицу с 20-ю строками, т.к. часть страниц с 404 или без товара. тут важно, чтобы в таблицу попадала первоначальная ссылка с исходным поисковым словом или пустые строки вместо нее, тогда и соотнести с товарами полученную ссылку будет возможно.

[Rassol2]

8 минут назад, stas2010 сказал:

так и сделал, но, тут обработка И или ИЛИ, а если на стороннем ресурсе будет также /LED/, то, я думаю, что будет добавлена ссылка со стороннего ресурса. маловероятно, но бывают случаи.

тогда берем заполняем исключения )

 

10 минут назад, stas2010 сказал:

я не про дубли в ссылках, а про дубли после АОП. про то, что АОП привязывается к sku, в крайнем случае дополнительному sku.

но, очень часто бывает такое, что на странице донора нет именно этих данных. и по вашей, полученной ссылке придет в магазин "новый" товар, т.к. , например, артикул донора может быть его складским номером (у меня такая ситуация проскакивала - приходилось брать sku склада поставщика, т.к. у него только в этой колонке всегда были данные, а ean и артикул производителя периодически отсутствовали) - для АОП это будет новый товар, т.к ранее этого sku не было. т.е. я о том, что такой поиск товаров не совсем корректен. АОП не за что зацепиться, чтобы данные попали именно к тому товару, который уже в базе. 

тоже будет и наоборот, если сначала залить прайс, который был получен путем парсинга ссылок, а наверх прайс поставщика.

Хорошо, если товаров 10-100, а если несколько тысяч или десятков тысяч, то потом вылавливать их будет не реально.

Тут да это довольна тяжёлый случай. На бегу такую задачу не решить. Нужно думать. 
Вообще любая ситуация в аоп без конкретно артикула у донора или у прайса превращается в сражение с донором или с прайсом. Все же нужен уникальный идентификатор. И что бы он был постоянный. И это наверное правильно потому что без sku в любом случаи будут заводится и проскакивать дубли. 

 

14 минут назад, stas2010 сказал:

в том то и проблема, что, например, ваш запрос не работает на нужных сайтах, а на одном только так можно search/result/?q=, на другом не знаю что скормить, т.к. через ввод ean на сайте работает, а через url - надо еще подбирать. это есть самое сложное, чтобы найти эту комбинацию, если знаете как - подскажите, пожалуйста

какая ссылка на поиск нужно смотреть в конкретном сайте. Я привел на базе своего тестового. Понятное дело что у всех будет разная. Но в 80 случаях их можно получить. Хотя я не сторонник такого метода, но иногда приходится прибегать к подобным решениям. 

Цитата

как бы да  - было бы круто. 

автоматизация процессов по кусочкам как бы улучшает жизнь, но .... покупатели стремятся именно к "одной кнопке". 

Мы идем к этому. Еше пару лет и модули начнут работать на базе ИИ тогда будет такая кнопка. Причем модуль еше и под настроение будет подстраиваться 

 

18 минут назад, stas2010 сказал:

это можно, знать бы что в конкретном случае вставлять. и еще останется каким-то образом на выходе в артикул вставить правильный sku (т.к. в поиске может быть не sku, а что-то другое), либо строго соблюдать порядок, чтобы не было потом смещения в таблице, когда обратно вставлять будем или новую создавать. опять же потом возникнет вопрос - скормили 100 ссылок, а на выходе получили таблицу с 20-ю строками, т.к. часть страниц с 404 или без товара. тут важно, чтобы в таблицу попадала первоначальная ссылка с исходным поисковым словом или пустые строки вместо нее, тогда и соотнести с товарами полученную ссылку будет возможно.

Во вашем случаи нужно только тестировать, и проверять на что донор реагирует. Если на sku то делать через прайс с ку, что то иное подойдет то делать его. 
на базе модуля это реализовать почти не возможно. Вам к каждому донору нужно придумывать решение. А автоматизировать этот процесс, в таком виде как мы обсуждаем мне кажется вообще не реально. 
Будем просто двигаться в сторону прошения парсинга. Но ваша задача пока что за гранью. 

[stas2010]

44 минуты назад, Rassol2 сказал:

Причем модуль еше и под настроение будет подстраиваться 

во-во это надо, а то постоянно хреновое настроение

[Rassol2]

Обновление 
Очередной патч связанный с кодировками. Теперь принципе я понял направление  думаю скоро этот вопрос можно будет полностью закрыть. 

@stas2010  спасибо за предоставленные доноры. 

[strateg2010]

на стандартном экране ноутбука около 15 дюймов: http://joxi.ru/823OPDRh98dRv2

Решение: col-sm-2 col-sm-offset-3

для блока с этой кнопкой

Змінено 17 березня 2019 користувачем strateg2010

[Rassol2]

11 часов назад, strateg2010 сказал:

на стандартном экране ноутбука около 15 дюймов: http://joxi.ru/823OPDRh98dRv2

Решение: col-sm-2 col-sm-offset-3

для блока с этой кнопкой

Спасибо за совет, поправил. +

[Axelenz]

При изменении одного из наименования границ почему-то переименовались сразу все границы (

Пользуюсь самой последней версией. Зря Вы не меняете нумерацию версий при внесении изменений...

[Rassol2]

32 минуты назад, Axelenz сказал:

При изменении одного из наименования границ почему-то переименовались сразу все границы (

Пользуюсь самой последней версией. Зря Вы не меняете нумерацию версий при внесении изменений...

только что проверил на чистой последней версии. Все переименовывается нормально.
Попробуйте еше раз скачать архив залить по верх и выполнить inst.php а затем попробовать переименовать. Если нет, то пишит лс доступ буду смотреть. 

[Axelenz]

Попробуйте создать "не удобные" условия, в которые может загнать модуль любой пользователь. Запустите парсинг и перейдите в это время на вторую закладку и переименуйте название границы (я попробовал переименовать границу, которая потом используется дальше как "Область для повторяющей границы парсинга "). Наверное нужно сделать так, чтобы при переходе на любую из страниц парсинг автоматически останавливался, как при нажатии на "стоп" ?

С доступом проблема, мучаю модуль на локалке )

Змінено 19 березня 2019 користувачем Axelenz

[pomansur]

5 минут назад, Axelenz сказал:

Попробуйте создать "не удобные" условия, в которые может загнать модуль любой пользователь. Запустите парсинг и перейдите в это время на вторую закладку и переименуйте название границы (я попробовал переименовать границу, которая потом используется дальше как "Область для повторяющей границы парсинга "). Наверное нужно сделать так, чтобы при переходе на любую из страниц парсинг автоматически останавливался, как при нажатии на "стоп" ?

С доспупом проблема, мучаю модуль на локалке )

Держите Тестера)))))

[Rassol2]

2 часа назад, Axelenz сказал:

Попробуйте создать "не удобные" условия, в которые может загнать модуль любой пользователь. Запустите парсинг и перейдите в это время на вторую закладку и переименуйте название границы (я попробовал переименовать границу, которая потом используется дальше как "Область для повторяющей границы парсинга "). Наверное нужно сделать так, чтобы при переходе на любую из страниц парсинг автоматически останавливался, как при нажатии на "стоп" ?

С доступом проблема, мучаю модуль на локалке )

Если в одной и той же вкладке запущен парсингу и вы нажмёте перейти в другую, модуль остановит парсингу. А если 2 вкладки в браузера и в них открыт модуль то тут не отследить. А ток если вы уходите с вкладки где прогресс сканирования сканирование прекращается. 

[Rassol2]

2 часа назад, pomansur сказал:

Держите Тестера)))))

Ну тут все добровольно. Кто не хочет тот не пользуется. 

 

Это обоюдная выгода. 

[Rassol2]

Мне сегодня накидал уже столько репортаж что всю ночь делать буду ))) 

[Rassol2]

Обновление 1.3.2-1 

По просьбе сделал нумерацию, не хотел я раньше нумеровать всякие мелкие фиксы. Но если вам нужно такая информация тогда буду делать. 
 

За потраченный день спасибо @stas2010  
 

Исправлен баг когда при пред просмотре повторяющейся границы парсинга, если не ведены параметры парсинга сбрасывает на добавления новой границы, вместо кнопки сохранить. И это приводило к созданию дубля границы. Мелочь но не приятно. 
На странице Настройка CSV / Запуск парсинга данных , стандартную переменную Ссылки переименовал в [Ссылка на товар] и сделал доступной в любое время. И при создании колонки и при редактирование.
 

Ну и всякого по мелочи. 

[Rassol2]

Обновление 1.3.2-2

 

Исправлен о котором я недавно писал.
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1296643

Так же стандартизировал вывод ссылок на вкладке Настройки парсинга. Теперь они выводятся в том же порядке что и на вкладке сбор ссылок.
http://joxi.ru/E2p1Y3RC74DLVA
http://joxi.ru/J2bV0xMF0gb752

 

[stas2010]

15 минут назад, Rassol2 сказал:

Обновление 1.3.2-2

вот маладэц! не успел подумать или написать, а оно уже тут!