[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

19 минут назад, cmamonov сказал:

Понял. А если например я парсил товары в файл эксель, потом их подравнивал для своего сайта, после на сайте донора появляются новые товары и я хочу добавить для редактирования только их.

Можно как то спарсить в эксель только новые товары которых не было в прошлой загрузке?

Ведь при парсенге в файл эксель будут добавлены все товары, и там будет сложно найти новые.

Да можно, запускаете сбор ссылок. Собираете новые ссылки и они будут как не обработанные.
А все которые были спарсены ранние будут как обработаны.

Так же вы можете воспользоваться инструментом Менеджер ссылок, где вы можете создавать списки с разными ссылками. И дирижировать этот процесс как вам будет угодно.
Вы можете создать новый список ссылок куда поместить те ссылки которые к примеру не были закешированы.

Спойлер

 

[cmamonov]

8 минут назад, Rassol2 сказал:

Да можно, запускаете сбор ссылок. Собираете новые ссылки и они будут как не обработанные.
А все которые были спарсены ранние будут как обработаны.

Так же вы можете воспользоваться инструментом Менеджер ссылок, где вы можете создавать списки с разными ссылками. И дирижировать этот процесс как вам будет угодно.
Вы можете создать новый список ссылок куда поместить те ссылки которые к примеру не были закешированы.

  Показать контент

 

Спасибо. Будем пробовать.

[kulinenko]

У меня довольно сложная структура сайта - битрикс - как модуль работает с ним ?

[Rassol2]

21 минуту назад, kulinenko сказал:

У меня довольно сложная структура сайта - битрикс - как модуль работает с ним ?

Нормально. Очень много магазинов работают на битриксе.
Для парсинга движок не имеет значение. Больше имеет значение шаблон и данные которые предоставлены на странице товара.

[kulinenko]

12 minutes ago, Rassol2 said:

Нормально. Очень много магазинов работают на битриксе.
Для парсинга движок не имеет значение. Больше имеет значение шаблон и данные которые предоставлены на странице товара.

можете кого то порекомендовать для работы с вашим парсером ?

[Rassol2]

1 минуту назад, kulinenko сказал:

можете кого то порекомендовать для работы с вашим парсером ?

Axelenz
https://opencartforum.com/profile/711240-axelenz/

partshez
https://opencartforum.com/profile/832585-partshez/

Я думаю в этой ветке ваше сообщение прочтут и ответят и остальные.

[serrg]

Доброго дня!

Подскажите... Если у сайта донора все ссылки на товары имеют вид //magazin.ru/tovar//  а категории  //magazin.ru/kategoria//  , т.е. в сылках привязки товаров к категории нет. Фильтром сбора ссылок отфильтровать ссылки на товары не получается...

У сайта донора мне нужно взять только часть категорий (около 30-ти из 100). Ссылки на товары к отдельной категории я научился парсить в CSV .

Напрашивается вопрос: не ужели мне прийдётся так собирать ссылки к каждой категории в CSV и создавать отдельную ветку парсера для каждой категории или есть более простой способ?

[yurok79]

Подскажите пожалуйста как "Нет в наличии" превратить в количество равно 0 при парсинге, а "В наличии" например 10?

[Rassol2]

2 минуты назад, yurok79 сказал:

Подскажите пожалуйста как "Нет в наличии" превратить в количество равно 0 при парсинге, а "В наличии" например 10?

Через поиск замену.
Пишите правила какой текст заменить на 0 а какой на 1
https://simplepars.top/index.php?page=note&n=9

 

[Rassol2]

5 часов назад, serrg сказал:

Доброго дня!

Подскажите... Если у сайта донора все ссылки на товары имеют вид //magazin.ru/tovar//  а категории  //magazin.ru/kategoria//  , т.е. в сылках привязки товаров к категории нет. Фильтром сбора ссылок отфильтровать ссылки на товары не получается...

У сайта донора мне нужно взять только часть категорий (около 30-ти из 100). Ссылки на товары к отдельной категории я научился парсить в CSV .

Напрашивается вопрос: не ужели мне прийдётся так собирать ссылки к каждой категории в CSV и создавать отдельную ветку парсера для каждой категории или есть более простой способ?

Я не понимаю а в чем собственно сложность ?
Вы описывает вариант где разные ссылки у категории и у товара. Это же идеальный вариант что бы в момент сбора ссылок отделить категории от товаров.
Мне не совсем ясна ваша проблема из описания вопроса.

[partshez]

5 часов назад, serrg сказал:

Доброго дня!

Подскажите... Если у сайта донора все ссылки на товары имеют вид //magazin.ru/tovar//  а категории  //magazin.ru/kategoria//  , т.е. в сылках привязки товаров к категории нет. Фильтром сбора ссылок отфильтровать ссылки на товары не получается...

У сайта донора мне нужно взять только часть категорий (около 30-ти из 100). Ссылки на товары к отдельной категории я научился парсить в CSV .

Напрашивается вопрос: не ужели мне прийдётся так собирать ссылки к каждой категории в CSV и создавать отдельную ветку парсера для каждой категории или есть более простой способ?

Сбор ссылок. Справа от верхнего окна ввести все нужные категории из url в шаблон ссылок. Поиск ссылок на товар будет производиться только из этих категорий.

Это как вариант

Второй вариант. В верхнем окне ввести полный url нужных категорий. В шаблоне сбора ссылок слово, например, rassolo2

Третий вариант. Отфильтровать в поиск/ замене. Фильтры в повторяющейся границе Граница категорий.

Четвертый вариант. Правила допуска для обработки страниц. Вкладка Парсинг в ИМ.

Инструментов много. Выбирайте, какой больше нравится

Змінено 9 березня 2021 користувачем partshez

[vto83]

Здравствуйте после парсинга у меня в мегаменю пропал Порядок сортировки:  не подскажете вчем причина как исправить?

[Rassol2]

3 минуты назад, vto83 сказал:

Здравствуйте после парсинга у меня в мегаменю пропал Порядок сортировки:  не подскажете вчем причина как исправить?

если вы про порядок категорий, то мой модуль мог указать порядок сортировки только для категорий которые он создавал
В таком случаи можете указать порядок вывода категорий только для новосозданных категорий.

[vto83]

https://prnt.sc/10hfplb

https://prnt.sc/10hfqqy

https://prnt.sc/10hfrs1

 

 

после запуска парсинга пропало

Змінено 9 березня 2021 користувачем vto83

[Rassol2]

23 минуты назад, vto83 сказал:

после запуска парсинга пропало

Спрячьте скриншоты под спойлер.
 

Спойлер

А теперь по делу,  модуль не работае с сторонними полями в базе данных которые не относятся к стандартным в опенкарте.
Кроме тех модулей под которые была сделана адаптация.

А порядок сортировки модуль может указать только в тех категориях которые сам лично создавал, в модуле нету фунции которая обновляет это поле.
Да и в принципе нет функций по обновлению существующих категорий.
Так что вас стоит подумать что еше параллельно выполнялось.

То что показано выше модуль не мог редактировать.

[sws]

Здравствуйте. При парсинге изображений в ИМ, указываю название изображения артикулом 112-03.29, а после обработки изображение становится под названием 1120329

[Rassol2]

33 минуты назад, sws сказал:

Здравствуйте. При парсинге изображений в ИМ, указываю название изображения артикулом 112-03.29, а после обработки изображение становится под названием 1120329

Здравствуйте.
Да для имени директорий и фото модуль вырезает разные символы.
К примеру что бы не было проблем вырезается точки с имени. Поскольку не все символы могут быть в имени файла.

[Rassol2]

Обновление 4.2-8_beta
Исправлен баг с адаптацией модуля Изображения опций PRO
Ошибка приводила к остановке работы парсинга.

[Dmitry76]

Всем привет!
Подскажите, кто знает, крон можно настроить через хостинг и тогда он будет запускаться, независимо от того, запущена ли админка или нет?

[Rassol2]

Всем привет!
Подскажите, кто знает, крон можно настроить через хостинг и тогда он будет запускаться, независимо от того, запущена ли админка или нет?

Да именно.
Для этого он и создан.

Отправлено с телефона через Tapatalk

[Dmitry76]

2 часа назад, Rassol2 сказал:

Да именно.
Для этого он и создан.

Отправлено с телефона через Tapatalk
 

Спасибо. Настроил. Работает, но ошибки какие-то новые, неизвестные мне, иногда выскакивают:
2021-03-10 21:38:46| Парсинг : ОШИБКА ответа  | Код ответа = 35 | Текст ответа = Unknown SSL protocol error in connection to www.

[Rassol2]

2 минуты назад, Dmitry76 сказал:

Спасибо. Настроил. Работает, но ошибки какие-то новые, неизвестные мне, иногда выскакивают:
2021-03-10 21:38:46| Парсинг : ОШИБКА ответа  | Код ответа = 35 | Текст ответа = Unknown SSL protocol error in connection to www.

Который раз напоминаю себе, нужно убрать слово ошибка.
Это не ошибка это ответ от запроса.

Но это не связано с cron так как крон и вручную одинаково формирует запрос.
скиньте ссылку на которой работает проверю у себя, или проверьте на демо сайте.
 

[Dmitry76]

8 минут назад, Rassol2 сказал:

Который раз напоминаю себе, нужно убрать слово ошибка.
Это не ошибка это ответ от запроса.

Но это не связано с cron так как крон и вручную одинаково формирует запрос.
скиньте ссылку на которой работает проверю у себя, или проверьте на демо сайте.
 

1)при запуске вручную, таких ошибок еще не было на 90 000 ссылок. 2)проверил эти ссылки вручную на этом же сайте - все спарсилось. Ошибки только через крон вылезли.

[Rassol2]

3 минуты назад, Dmitry76 сказал:

1)при запуске вручную, таких ошибок еще не было на 90 000 ссылок. 2)проверил эти ссылки вручную на этом же сайте - все спарсилось. Ошибки только через крон вылезли.

вынужден огорчить, но и крон и вручную запускают одну и туже функцию. Так что все же это не вопрос крона.
Может у вас там настройки другие указаны. Но физически это одно и тоже.

[Dmitry76]

7 минут назад, Rassol2 сказал:

вынужден огорчить, но и крон и вручную запускают одну и туже функцию. Так что все же это не вопрос крона.
Может у вас там настройки другие указаны. Но физически это одно и тоже.

не, настройки одни и те же. Да и обновлял я уже этот проект раз 5 вручную, таких ошибок не было. 
А кто задает эти номера ошибок? Что данная ошибка вообще может значить? Хоть в каком направлении смотреть хотя бы? Он же заходит через крон под другим ip? Может для другого ip поменьше потоков поставить?

Змінено 10 березня 2021 користувачем Dmitry76