[Поддержка] SimplePars - Универсальный парсер для ИМ

[asiat11]

 спарсил ссылки, хотел сохранить, получаю внутреннюю ошибку сервера.

[Rassol2]

1 минуту назад, asiat11 сказал:

 спарсил ссылки, хотел сохранить, получаю внутреннюю ошибку сервера.

мне не понятно что заначит хотел сохранить.
Если вы их спарсили то они уже у вас.

Объясните что значит сохранил куда вы нажали что бы я мог проверить.

[Rassol2]

@Tim1703 я могу сказать какие сайты парсить я не рекомендую.
Яндекс маркет.
Екаталог
Хотлаин
Розетка

пром юа
Короче все агрегаторы с разных магазинов. Они все трепетно относятся к информации и будут отслеживать каждый чих что бы не допустить парсинг.
Дальше такие сайты как olx и авито они тоже просто так не готовы расстаться с информацией.

Подобные сайты повышают уровень сложности до такого что парсить их просто не целесообразно.

[asiat11]

[asiat11]

модуль обновил без проблем, спасибо, ошибка осталась

[asiat11]

[asiat11]

нажимаю на сохранить и получаю ошибки

[Rassol2]

3 минуты назад, asiat11 сказал:

нажимаю на сохранить и получаю ошибки

эту кнопку нужно нажимать в том случаи если вы вручную вставили ссылки в после. А не парсили.
Это нужно что бы занести ссылки в модуль с стороннего источника.

Так же эта ошибка может быть связана с тем что у вас много ссылок и веб сервер не может их проглатить за один запрос.
Если вам нужно занести ссылки с стороннего ресурса используйте вот эту кнопку.
 

Спойлер

выберите файл с вашими ссылками. Выберите в какой список вы хотите занести их.
И нажмите импортировать ссылки.

Если вы парсите модулем ссылки то нажимать туда ненужно.
В момент сохранения модуль отправляет POST запросом все ссылки на сервер, а это может быть и 20 и 100мб не каждый хостинг проглотит это.

[Rassol2]

@asiat11 Еше добавлю, файл ссылок должен быть вот таким.
каждая ссылка с новой строки.

Спойлер

Или же csv файл вот такого формата.
 

Спойлер

Хотя по сути это одно и тоже.
Если у вас есть поставщик который скидывает вам прайс где есть ссылки в лбом формате вы можете с легкостью очистить файл от всех данных кроме ссылок, оставив их в первой колонке.
Затем через эксель сохранить в файл в формат csv и загрузить ссылки в модуль.

[asiat11]

Плиз помогите настроить, голова кругом

[asiat11]

Тим веер есть? Можно завтра, когда вам будет удобно

[Rassol2]

4 минуты назад, asiat11 сказал:

Плиз помогите настроить, голова кругом

я теперь в ступоре, что настроить ?

[Rassol2]

Я же вроде все подробно по полочкам расписал, и привел скриншоты.
В вашем случаи проблема решается просто.

не жмите на это кнопку. Она вам ненужна.

[asiat11]

Настроить модуль чтобы спарсить товары на мой сайт. У меня ос Сторе3. Каким образом и как эти товары появятся на самом сайте? Для вас это просто для меня темный лес сайт https://gelannaja.ru

[Axelenz]

13 часов назад, Rassol2 сказал:

Я не рекомендую парсить розетку, тут нужно много прокси и терпение. Оно того не стоит. 

Согласен с уважаемым разработчиком, парсить Розетку вот так сходу в лоб не получится.

Но я парсил под заказ Розетку и если нужно, то всё возможно, если конечно заказчик готов платить за "терпение" )

К сожалению, приходится постоянно работать только с "неудобными сайтами" для парсинга, типа Розетки или сайтов для дропшиппинга )

Парсю только тысячи, десятки тысяч товаров... Если есть реальная необходимость спарсить что-то подобное и желание заплатить за подобную работу - обращайтесь.

Змінено 8 квітня 2020 користувачем Axelenz

[stas2010]

13 часов назад, asiat11 сказал:

нажимаю на сохранить и получаю ошибки

вам необходимо на хостинге увеличить время выполнения скриптов. обратитесь к хостеру (некоторые параметры надо менять в настройках сервера), но не все хостеры пойдут на увеличение этого параметра, т.к. в случае ошибки скрипта вы можете подвесить хостинг. поищите в интернете, как исправить ошибку "500".

[asiat11]

5 минут назад, stas2010 сказал:

вам необходимо на хостинге увеличить время выполнения скриптов. обратитесь к хостеру (некоторые параметры надо менять в настройках сервера), но не все хостеры пойдут на увеличение этого параметра, т.к. в случае ошибки скрипта вы можете подвесить хостинг. поищите в интернете, как исправить ошибку "500".

понял спс

[Rassol2]

4 часа назад, asiat11 сказал:

Настроить модуль чтобы спарсить товары на мой сайт. У меня ос Сторе3. Каким образом и как эти товары появятся на самом сайте? Для вас это просто для меня темный лес сайт https://gelannaja.ru

У меня нету времени на выполнение заказов.
Все время уделяю разработке самого модуля. Обратитесь к одному из пользователей в этой ветке за помощью на платной основе.
 

К примеру вот пользователь написал что он занимается загрузкой

@Axelenz
https://opencartforum.com/profile/711240-axelenz/

Так же можете обратится к
 

Kiyoshi
https://opencartforum.com/profile/670863-kiyoshi/

 

partshez
https://opencartforum.com/profile/832585-partshez/

 

hippvik
https://opencartforum.com/profile/795383-hippvik/

Они писали что готовы выполнять заказы на базе модуля SimplePars.

[stas2010]

21 час назад, Rassol2 сказал:

А я хочу сделать протсо переключатель где вы можете выбрать сразу посмотреть ссылки которые парсились с ошибкой.
Удалить или запустить парсинг только тех ссылок у которых была ошиюбка. Затем переключится обратно на весь список.

Ну 404 ошибка это как пример, в это список будут попадать все ссылки которые небыли спарсены.
Это будет более комфортно и интуитивно понятно.

как вариант.

еще с чем сталкивался. страница на доноре открывается, но вот не с товаром, а какая-нибудь другая, например, когда ссылка на товар получается из ссылки на поиск товара https://site.site/search/?q=97823983. хотя во время бана может также открыться не 404, а просто спец страница. тут бы вставить проверку на существование какой-нибудь из границ. если граница пустая, то ссылка спарсилась с ошибкой.

[Rassol2]

31 минуту назад, stas2010 сказал:

как вариант.

еще с чем сталкивался. страница на доноре открывается, но вот не с товаром, а какая-нибудь другая, например, когда ссылка на товар получается из ссылки на поиск товара https://site.site/search/?q=97823983. хотя во время бана может также открыться не 404, а просто спец страница. тут бы вставить проверку на существование какой-нибудь из границ. если граница пустая, то ссылка спарсилась с ошибкой.

В данном случаи
https://site.site/search/?q=97823983
Это же не ошибка. Это полноценная страница сайта которую генерирует донор и отдает ее. Причем отдает с кодом запроса 200 что гласит о том что все в порядке. Проблем нету.
А то что это не так страница что вы могли бы ожидать то тут ничего не поделаешь. Здесь нужно менять подход в таком случаи.
 

 

Спойлер

а просто спец страница. тут бы вставить проверку на существование какой-нибудь из границ. если граница пустая, то ссылка спарсилась с ошибкой.

Это да такое может помочь. Но это наверное стоит обсуждать когда начну пилить расширение функционала по определению гранить товар или нет.

Когда буду реализовывать возможность указать без каких данных товар не загружать.

[Rassol2]

Писал что следующий релиз будет стабильный, но нет не будет.  

Но есть и хорошие новости
Есть одна задача которая периодически всплывает у пользователей, и решение которой в модуле не было.
Поднял свои архивы наработки, и всю ночь просидел и вроде как реализовал одну вещь которая периодически не давала мне спать.

Что я сделал заметят те кому это нужно


А я ушел спать, и походу меня не будет почти до вечера.
Так что сильно не злитесь. Если не буду спать я в ветке этого модуля и помру

Кто первый поймет что будет в следующем релизе ?

[dedvandal]

Помогите разобраться, парсю свой же сайт (переезжаю на более свежий движок), SEO url привязываю к арт товара, т.е главная-категория-подкатегория-123.html, где 123 арт товара. При парсинге в ИМ, при предпросмотре, в SEO шаблоне -SEO URL Ссылка на товар указан верный вариант (арт товара), но когда запускаю парсинг страниц, в карточке товара во вкладке SEO пусто, и включается в работу ЧПУ движка и все переименовывает

 

Очень старался понятно изложить

(ссылки на картинках разные, но суть думаю ясна)

Спойлер

Змінено 9 квітня 2020 користувачем dedvandal

[Rassol2]

Помогите разобраться, парсю свой же сайт (переезжаю на более свежий движок), SEO url привязываю к арт товара, т.е главная-категория-подкатегория-123.html, где 123 арт товара. При парсинге в ИМ, при предпросмотре, в SEO шаблоне -SEO URL Ссылка на товар указан верный вариант (арт товара), но когда запускаю парсинг страниц, в карточке товара во вкладке SEO пусто, и включается в работу ЧПУ движка и все переименовывает [emoji20]
 
Очень старался понятно изложить [emoji4]
(ссылки на картинках разные, но суть думаю ясна)
Спойлер

В настройках парсинга в им. В вкладке парсинг названия товара есть переключатель там вы можете выбрать формировать url по seo шаблону или по имени товара. По умолчанию выбрано формировать по имени. Переключите на сео шаблон .

Более детально смогу все рассмотреть и ответить только вечером.

Отправлено с моего Pixel через Tapatalk

[partshez]

4 часа назад, Rassol2 сказал:

Кто первый поймет что будет в следующем релизе ?

Увидел Резервацию колонок

[stas2010]

4 часа назад, Rassol2 сказал:

Что я сделал заметят те кому это нужно

вещь нужная и снимает головную боль с кривыми таблицами! 

к ней надо еще добавить "+" около "-", чтобы можно было вставлять колонки в середине, а не только добавлять в конец, а то приходится переносить все данные из ячейки в ячейку - и тогда вообще будет супер