[Поддержка] SimplePars - Універсальний парсер для ІМ

[Axelenz]

05.06.2022 в 17:58, Yellow1337 сказал:

Проблема появилась после парсинга товаров.

Проблема после парсинга, в основном у всех одна - не хватает места на хостинге с прежним тарифным планом...

Бывает ещё, что по головотяпству где-то оставляют, например, непарный <div>(</div>) и вся разметка летит...

Змінено 5 червня 2022 користувачем Axelenz

[partshez]

05.06.2022 в 17:58, Yellow1337 сказал:

Здравствуйте. Посоветуйте пожалуйста, может кто сталкивался и знает решение.
Проблема появилась после парсинга товаров. Этот же проект запускался на другом сайте и там все прошло без проблем. Разница в том что для сайта scutece была добавлена проверочное правило (по названию категорий), чтобы добавить только детские товары. Товары добавились без проблем, но после перевода на второй язык появилась проблема. Когда захожу в редактор товаров и ставлю фильтр по категориям выбивает ошибку сервер не отвечает, а потом не получается получить доступ к сайту. 

 

  Показать содержимое

Через домашний интернет зайти на сайт или в админ панель не могу с вчерашнего дня.
Через мобильный только до тех пор пока не зайду в товары или категории. Потом некоторое время сайт и админка недоступны даже с мобильного интернета.
Через модуль парсинга удалил все новые товары, фото и категории. Потом сделал бэкап с 3 числа, но проблема не пропала.

Axelenz правильно сказал. Скорее всего место закончилось. Для начала открыть на сервере и очистить папку корень_сайта/имейдж/кеш. Должен появится нормальный доступ в админку. Дальше уже работать можно с проектами

[partshez]

05.06.2022 в 18:02, Axelenz сказал:

 

Бывает ещё, что по головотяпству где-то оставляют, например, непарный <div>(</div>) и вся разметка летит...

В этом случае летит разметка страницы на сайте. Но остальное обычно работает нормально

[Yellow1337]

05.06.2022 в 19:07, partshez сказал:

Скорее всего место закончилось.

Хостинг не ограничивает место. По плану 15Gb, но это не ограничение, если есть превышение, со счета просто снимают определенную суму за каждый лишний мб

 

05.06.2022 в 19:07, partshez сказал:

Для начала открыть на сервере и очистить папку корень_сайта/имейдж/кеш. Должен появится нормальный доступ в админку.

Не появился.

 

05.06.2022 в 19:09, partshez сказал:

Бывает ещё, что по головотяпству где-то оставляют, например, непарный <div>(</div>) и вся разметка летит...

Проблема появляется только когда ставлю фильтр по категориям. И если пользоваться мобильным интернетом то доступ появляется спустя несколько часов, и админкой можно пользоваться пока не понадобится поставить фильтр по категориям.
Первый раз заметил проблему вчера, через домашний интернет. После парсинга хотел распределить новые товары по категориям. И с тех пор не могу зайти в админ или на сайт с компьютера, не важно подключен он через wifi или провод.

[Yellow1337]

05.06.2022 в 17:58, Yellow1337 сказал:

Здравствуйте. Посоветуйте пожалуйста, может кто сталкивался и знает решение.
Проблема появилась после парсинга товаров. Этот же проект запускался на другом сайте и там все прошло без проблем. Разница в том что для сайта scutece была добавлена проверочное правило (по названию категорий), чтобы добавить только детские товары. Товары добавились без проблем, но после перевода на второй язык появилась проблема. Когда захожу в редактор товаров и ставлю фильтр по категориям выбивает ошибку сервер не отвечает, а потом не получается получить доступ к сайту. 

 

  Показать содержимое

Через домашний интернет зайти на сайт или в админ панель не могу с вчерашнего дня.
Через мобильный только до тех пор пока не зайду в товары или категории. Потом некоторое время сайт и админка недоступны даже с мобильного интернета.
Через модуль парсинга удалил все новые товары, фото и категории. Потом сделал бэкап с 3 числа, но проблема не пропала.

Оператор который предоставляет интернет поменял ип на 4 версию, а ребята с хостинга разблокировали мой ип на сервере.
Проблема решена, как последствие оставлось только кривое отображение товаров всплываюшей корзины и галерей фото. 
 

Скрытый текст

Всем Спасибо за помощь.

[Aspirinnka1]

05.06.2022 в 14:07, Axelenz сказал:

Почистите немного от мусора, будет видно, какие границы оставить, а что удалить

 

Спасибо! Пришлось помучаться, конечно, но на выходе получил цены вот в таком виде:

 

Скрытый текст

 

Дальше никак. Похоже без регулярного выражения не обойтись ((

Все что я накопал - это вот такой рег, но он удаляет только вторую строку, а дальше нет (

{reg[#^([^\n]*\n)([^\n]*\n?)#]}

 

Змінено 6 червня 2022 користувачем Aspirinnka1

[Axelenz]

06.06.2022 в 12:13, Aspirinnka1 сказал:

Дальше никак. Похоже без регулярного выражения не обойтись ((

http://joxi.ru/52a9DBJu0nEJO2

 

Регулярное выражение имеет такой вид (это по быстрому, чтобы особо не заморачиваться)

 

{reg[#^(\d+?{csvnc})(\d+?({csvnc})?)(\d+?({csvnc})?)(\d+?({csvnc})?)(\d+?({csvnc})?)(\d+?({csvnc})?)(\d+?({csvnc})?)(\d+?({csvnc})?)(\d+?({csvnc})?)(\d+?({csvnc})?)$#]}|$1$4$8$12$16$20$24
{reg[#{csvnc}$#]}|

 

Решение не идеальное и нужно подпилить под себя... сколько там максимально возможных вариантов будет и т.п.

Змінено 6 червня 2022 користувачем Axelenz

[Aspirinnka1]

06.06.2022 в 13:36, Axelenz сказал:

Регулярное выражение имеет такой вид (это по быстрому, чтобы особо не заморачиваться)

 

Спасибо! Буду пробовать дальше!

[egortide]

Добрый день:

 

подскажите пожалуйста по регулярному выражению, уже часа два голову ломаю.
Как удалить часть  фразы регулярным выражением?
Пример: (жирным, то что нужно удалить)
от 4 до 6 лет  -> от 4 лет

[AndreiBV]

Здраствуйте, - прошу прощение за тупой вопрос, но у меня один из пунктов меню работы с атрибутами вводит в логическую диверсию...
расшифруйте плиз - "Добавить новый не обновлять существующие, не создавать новые"
http://joxi.ru/YmE5nMdCGk85lm

[partshez]

08.06.2022 в 01:13, egortide сказал:

Добрый день:

 

подскажите пожалуйста по регулярному выражению, уже часа два голову ломаю.
Как удалить часть  фразы регулярным выражением?
Пример: (жирным, то что нужно удалить)
от 4 до 6 лет  -> от 4 лет

Читайте посты на странице 446

[partshez]

08.06.2022 в 07:59, AndreiBV сказал:

 

Только добавить новые. Существующие не трогать. Наверное, так. 

Змінено 8 червня 2022 користувачем partshez

[AndreiBV]

08.06.2022 в 08:03, partshez сказал:

Создать и добавить только атрибуты, которых нет на сайте

 

08.06.2022 в 07:59, AndreiBV сказал:

не создавать новые"

Это опечатка?

[partshez]

08.06.2022 в 08:05, AndreiBV сказал:

 

Это опечатка?

Или так. В товар добавить атрибут, которого нет в данном товаре, не обновлять существующие в данном товаре.  Но новые атрибуты на сайте не создавать...

На сайте есть атрибут Вес. В товаре его не было. Добавить в товар

Пример. Парсили с одного донора. На другом доноре есть доп атрибуты. Их нужно добавить в наш товар, не удаляя и не изменяя существующие

Змінено 8 червня 2022 користувачем partshez

[Axelenz]

08.06.2022 в 01:13, egortide сказал:

Как удалить часть  фразы регулярным выражением?
Пример: (жирным, то что нужно удалить)
от 4 до 6 лет  -> от 4 лет

В Вашем случае можно использовать следующее регулярное выражение:

 

{reg[#(от\s+\d+)\s+до\s+\d+#iu]}|$1

это самое простое выражение без избыточности, т.е. не учитываем то, что может стоять до или после фразы "от 4 до 6 лет"

 

https://prnt.sc/MGfZEU3_Rzw5

 

Группу $2 можете использовать в зависимости от того, какие данные хотите ещё получить/обрезать.

 

{reg[#(от\s+\d+)\s+до\s+\d+(\s+лет)(.*?)$#iu]}|$1$2

 

https://prnt.sc/ejZn8q5rrFcR

 

{reg[#^(.*?)(от\s+\d+)\s+до\s+\d+(\s+лет)(.*?)$#iu]}|$2$3

 

https://prnt.sc/f7vezThcT2q0

 

Выражение регулярное на стр. 446

{reg[#^(.*?)Fish(.*?)$#]}|Fish

это немного о другом... Это поиск слова во всей фразе, при нахождении которого вся фраза заменяется на это слово.

У Вас же иная задача - это вырезание из текста не нужных слов. Поэтому в Вашем случае нужно юзать именно правильные регулярки.

Разница в универсальности использования... так регулярка

{reg[#^(.*?)(от\s+\d+)\s+до\s+\d+(\s+лет)(.*?)$#iu]}|$2$3

будет срабатывать при любых цифрах указанных в возрасте...

 

P.S. А вообще по одной единственной фразе строить регулярное выражение для донора это не правильно... правильно - собрать анамнез, например, всех (большинства) атрибутов и уже на основе увиденного разнообразия ставить диагноз...

Змінено 8 червня 2022 користувачем Axelenz

[egortide]

08.06.2022 в 16:59, Axelenz сказал:

В Вашем случае можно использовать следующее регулярное выражение:

 

{reg[#(от\s+\d+)\s+до\s+\d+#iu]}|$1

это самое простое выражение без избыточности, т.е. не учитываем то, что может стоять до или после фразы "от 4 до 6 лет"

 

https://prnt.sc/MGfZEU3_Rzw5

 

Группу $2 можете использовать в зависимости от того, какие данные хотите ещё получить/обрезать.

 

{reg[#(от\s+\d+)\s+до\s+\d+(\s+лет)(.*?)$#iu]}|$1$2

 

https://prnt.sc/ejZn8q5rrFcR

 

{reg[#^(.*?)(от\s+\d+)\s+до\s+\d+(\s+лет)(.*?)$#iu]}|$2$3

 

https://prnt.sc/f7vezThcT2q0

 

Выражение регулярное на стр. 446

{reg[#^(.*?)Fish(.*?)$#]}|Fish

это немного о другом... Это поиск слова во всей фразе, при нахождении которого вся фраза заменяется на это слово.

У Вас же иная задача - это вырезание из текста не нужных слов. Поэтому в Вашем случае нужно юзать именно правильные регулярки.

Разница в универсальности использования... так регулярка

{reg[#^(.*?)(от\s+\d+)\s+до\s+\d+(\s+лет)(.*?)$#iu]}|$2$3

будет срабатывать при любых цифрах указанных в возрасте...

 

P.S. А вообще по одной единственной фразе строить регулярное выражение для донора это не правильно... правильно - собрать анамнез, например, всех (большинства) атрибутов и уже на основе увиденного разнообразия ставить диагноз...

Очень признателен за развернутый ответ!

 

[AndreiBV]

Здраствуйте, подскажите пожалуйста как реализовать сбор ссылок в данном проекте: https://muncitorul.md/ru/obsluzhivanie-gazona/gazonokosilki-benzin/

Смотрю там пагинация реализована через js Скрипт 

window.location.replace('/m2/ru/latime/'+latime2+'/ru/obsluzhivanie-gazona/gazonokosilki-benzin/p/2');}

Как заставить парсер подхватить  конец ссылки с пагинацией и записать в очередь!?

Или я вообще не туда копаю?

Змінено 9 червня 2022 користувачем AndreiBV

[partshez]

09.06.2022 в 15:19, AndreiBV сказал:

Здраствуйте, подскажите пожалуйста как реализовать сбор ссылок в данном проекте: https://muncitorul.md/ru/obsluzhivanie-gazona/gazonokosilki-benzin/

Посмотрел. Для себя решил, что только подставлять в Очередь сканирования ссылки на все страницы. Я другого варианта не нашел. 

https://muncitorul.md/ru/obsluzhivanie-gazona/gazonokosilki-benzin/p/1
https://muncitorul.md/ru/obsluzhivanie-gazona/gazonokosilki-benzin/p/2
https://muncitorul.md/ru/obsluzhivanie-gazona/gazonokosilki-benzin/p/3
https://muncitorul.md/ru/obsluzhivanie-gazona/gazonokosilki-benzin/p/4

Или работать с https://muncitorul.md/sitemap.xml Но здесь выдает только 89 ссылок из 96 нужных. По шаблону /gazonokosilki-benzin/

 

Змінено 9 червня 2022 користувачем partshez

[AndreiBV]

09.06.2022 в 19:58, partshez сказал:

Я другого варианта не нашел. 

Спасибо за ответ, я этим вариантом изначально пользовался, но хотелось бы атоматизировать процесс.

 

Я думаю если бы автор модуля @Rassol2  в следующем обновление расcмотрел реализацию механизма поиска и замены в предварительном сборе ссылок - было бы прекрасно. 

[megam]

Ребятки, сроки поджимают - кто может помочь с настройкой парсинга сайта через модуль? Что-то сам уже настроил, но времени во всех тонкостях разбираться не хватает. Постучитесь в ЛС. Естественно благодарочка)

[dvk18]

что бы это значило?

Цитата

Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 23 | Текст ответа = Failed writing data | Ссылка - https://www ...

 

[yastman]

Добрый день.

Поставщик в xml файле передает скидку в процентах

как ее применить к цене при парсинге?

Змінено 15 червня 2022 користувачем yastman

[krashman]

Здравствуйте.

 

Можно ли с помощью модуля спарсить отзывы о товарах с маркетплейсов (ям, озон, вб)?

Или существуют другие модули для этих целей? По крайней мере не нашёл ничего про парсинг толкого кроме этого модуля.

Змінено 15 червня 2022 користувачем krashman

[Nadin44ik]

Добрый день! Как можно использовать ID товара (присвоенное автоматически) при создании директории для фото, т.е. чтобы вначале пути указывалось ID присваемого товара (пример image/catalog/1974-zaschitnoe_steklo_Samsung_A01_Core_chernyj_9D-0-1-1000x1000)?

[Axelenz]

16.06.2022 в 15:02, Nadin44ik сказал:

Добрый день! Как можно использовать ID товара (присвоенное автоматически) при создании директории для фото, т.е. чтобы вначале пути указывалось ID присваемого товара (пример image/catalog/1974-zaschitnoe_steklo_Samsung_A01_Core_chernyj_9D-0-1-1000x1000)?

Данные парсятся с донора... id товара ещё не присутствует ни в каком практическом виде при получении этих данных, id присваивается при внесении товара на сайт CMS Opencart.