[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

3 часа назад, Flint2000 сказал:

Это очень удачное решение. 

Надеюсь зайдет.
В инструкцию добавлять не буду, а то больше вопросов будет какая разница между {skip} и {.*} И что использовать.
Пока будет для тех кто в теме.

[Rassol2]

48 минут назад, dmitriy2506 сказал:

день добрый подскажите есть ли у парсера функция фильтра ссылок по содержанию в мета тегах страницы определенных слов например слова "матрас" в титл странице это нужно на случай если нужно 1)спарсить только определённую категорию 2) если текс ссылки не отображает фактически содержания веб странице и нужно отфильтровать нужные из общей ссылочной массы

В сборе ссылок нет, но в момент обработки есть.
В сборе ссылок не делал такое поскольку модуль не посещает саму страницу, да и косвенных фильтров и так много.

Как это работает в момент парсинга описано здесь - https://simplepars.top/index.php?page=note&n=31

Здесь обширный инструмент по допуску страницы исходя из различных данных страницы.

[Aspirinnka1]

Скажите, а можете сделать, чтобы открывалась сразу выбранная категория вот здесь?

Сейчас открывается начало списка и надо листать искать где птичка стоит. 

Спойлер

 

2. И увеличьте, пожалуйста,  кол-во строк здесь же в выпадающем списке. Или подскажите в каком месте поправить. 

3. Как здесь сделать сортировку по имени категории? У меня вперемешку(  Или это только у меня так?

 

[partshez]

3 часа назад, dmitriy2506 сказал:

день добрый подскажите есть ли у парсера функция фильтра ссылок по содержанию в мета тегах страницы определенных слов например слова "матрас" в титл странице это нужно на случай если нужно 1)спарсить только определённую категорию 

http://prntscr.com/yebeq1 Только матрасы

http://prntscr.com/yebn4c Из определенных категорий.

Конечно, если такая возможность есть.

Змінено 5 лютого 2021 користувачем partshez

[Rassol2]

1 час назад, Aspirinnka1 сказал:

Сейчас открывается начало списка и надо листать искать где птичка стоит. 

Здравствуйте.
Поднять верх то где стоит галочка плохое решение, так как есть механика. Вы знаете что категория где то внизу и при открытии начинаете листать, а потом при определенных событиях оно меняет положение. Это может и будет вводит в заблуждение.
 

 

1 час назад, Aspirinnka1 сказал:

2. И увеличьте, пожалуйста,  кол-во строк здесь же в выпадающем списке. Или подскажите в каком месте поправить. 

Вот где и как увеличить я посмотрю, и отпишусь. Так как это часть на js и не моя нужно разбирается как эта библиотека устроена.
 

 

1 час назад, Aspirinnka1 сказал:

3. Как здесь сделать сортировку по имени категории? У меня вперемешку(  Или это только у меня так?

Категории здесь показаны по мере их вложенности. И упорядочены.
 

Спойлер

 

[Axelenz]

10 часов назад, Rassol2 сказал:

@Axelenz Сделал то что вы просили.

Правда добавил два новых оператора.
1. {.} один любой символ.
2. {.*} любой символ любое количество раз. Аналог {skip} за одним не большим исключением. {.*} - Это жадный режим для {skip} что такое жадный режим опишу по человечки ниже.
{skip} - если после оператора ничего не указать то он по сути ничего не пропускает, ему нужно знать докуда пропускать.
{.*} в свою очередь ему ненужно ничего знать вырежет все пока не упрется в конец строки..

Так это уже что-то... подтянете ещё якоря, кванторы, утверждения и пр. и будет эльфийский regex от Rassol2 )))

Благодарю.

[Axelenz]

4 часа назад, Starychenko сказал:

Но, есть ситуации, когда сайт сбрасывает кукисы автоматически с каким-то промежутком времени, или к примеру из-за не активности.
Функционал автоматической авторизации важен в том случае, когда после авторизации на сайте доноре доступен больший ассортимент и другие цены.

Да, есть такое. Постоянно парсю подобный сайт. Парсинг около 10,000 товаров занимает около 3 часов, а жизнь cookies при этом составляет 5 минут и потом слетает регистрация, т.е. парсится всё то же самое, но цены уже только розничные, а мне нужны розничные и оптовые, доступ к которым только через личный кабинет...

Поэтому решение было найдено такое: пишется скрипт, который запускается на ночь, управляет и браузером и модулем. Каждые 5 минут останавливает парсинг, выходит из личного кабинета, снова заходит, регистрируется, записывает новые cookies и запускает модуль, записывает всё в логи... Если упрощённо, то как-то так...

Другими словами, для модуля необходим робот-администратор...

Змінено 5 лютого 2021 користувачем Axelenz

[Rassol2]

19 минут назад, Axelenz сказал:

Да, есть такое. Постоянно парсю подобный сайт. Парсинг около 10,000 товаров занимает около 3 часов, а жизнь cookies при этом составляет 5 минут и потом слетает регистрация, т.е. парсится всё то же самое, но цены уже только розничные, а мне нужны розничные и оптовые, доступ к которым только через личный кабинет...

Поэтому решение было найдено такое: пишется скрипт, который запускается на ночь, управляет и браузером и модулем. Каждые 5 минут останавливает парсинг, выходит из личного кабинета, снова заходит, регистрируется, записывает новые cookies и запускает модуль, записывает всё в логи... Если упрощённо, то как-то так...

Другими словами, для модуля необходим робот-администратор...

Последняя попытка реализовать это было в версии 4.2
Уже давно у всех в модуле скрыта одна вкладка где производятся настройки авторизации.
Но пока что я не смог добиться рабочего варианта.
В очередной раз уперся в непроходимую стену.
 

Спойлер

Как показывает практика, нужно отпустить и заняться какой то другой частью модуля. А потом как полностью забуду все что делал опять подойти к этому вопросу и попробовать взглянуть на задачу с другой стороны. И так в какой то из очередных подходов я пробью эту стену.
Но когда это произойдет не могу сказать.

Так было почти со всеми функциями где я говорил что это не возможно а потом спустя какое то время они выходят.
К примеру выход функции которая позволяет использовать в поиск замене другие границы парсинга.

Сейчас я не знаю как сделать авторизацию на автомате.
Но я найду решение.

(или сдохну)
 

[Aspirinnka1]

4 часа назад, Rassol2 сказал:

Категории здесь показаны по мере их вложенности. И упорядочены.

С вложенностью все хорошо. А вот с порядком у меня проблемы. 

Категория "Про" идет после "Бытовой техники".Категория "Освещение" идет перед "Мебелью"

 

Я так понимаю, что так быть не должно, да? Должны идти в алфавитном порядке? На всякий случай, скажу, что в админке в категориях все норм: указаны в алфавитном порядке. 
 

Спойлер

 

 

 

 

 

 

4 часа назад, Rassol2 сказал:

Вот где и как увеличить я посмотрю, и отпишусь. Так как это часть на js и не моя нужно разбирается как эта библиотека устроена.

 

Спасибо. Если сложно, то не стоит тратить время. Переживу

 

[Rassol2]

2 часа назад, Aspirinnka1 сказал:

С вложенностью все хорошо. А вот с порядком у меня проблемы. 

Категория "Про" идет после "Бытовой техники".Категория "Освещение" идет перед "Мебелью"

 

Я так понимаю, что так быть не должно, да? Должны идти в алфавитном порядке? На всякий случай, скажу, что в админке в категориях все норм: указаны в алфавитном порядке. 
 

  Показать контент

 

 

 

 

 

 

 

Спасибо. Если сложно, то не стоит тратить время. Переживу

 

Сортировка категорий по алфавиту.

Открываете файл
admin/model/catalog/simplepars.php
Находите строку
 

$query = $this->db->query("SELECT c.category_id, c.parent_id, c.top, d.name FROM ". DB_PREFIX ."category c INNER JOIN ". DB_PREFIX ."category_description d ON c.category_id = d.category_id WHERE d.language_id =".(int)$language_id);

Она там одна.
И заменяете на эту
 

$query = $this->db->query("SELECT c.category_id, c.parent_id, c.top, d.name FROM ". DB_PREFIX ."category c INNER JOIN ". DB_PREFIX ."category_description d ON c.category_id = d.category_id WHERE d.language_id =".(int)$language_id." ORDER by d.name");

что бы получилось так.
 

Спойлер

И будет вот так.
 

Спойлер

Буквы а и б я добавил в начало для тестирования что порядок действительно меняется в зависимости от алфавитного порядка.
 

[Rassol2]

2 часа назад, Aspirinnka1 сказал:

Спасибо. Если сложно, то не стоит тратить время. Переживу

По поводу длины выпадающего списка.
Редактировать под себя это здесь.
/admin/view/template/catalog/simplepars_tools.tpl
строка
max-height: 200px;
Почти в самом низу.
Это отвечает за размер выпадающих меню не только категорий а всех на этой странице.

Допустим увеличить до 500
 

Спойлер

Сами можете выставить так как вам будет удобно.

[energ]

@Rassol2 Доброго!  в хотелки указать цифру, с которой начинается порядок сортировки изображений -  сейчас, к примеру, делаем несколько проходов или разные доноры на один и тот же товар - получаем несколько веток сортировки с нуля.

13 часов назад, Kordan79 сказал:

И в СЕО   добавить  опцию  Добавить  Alt к изображениям 

тайтл и альт в сео по логике модуля очень хорошо на стадии парсинга  формировать, ибо потом только руками 

 

 

Змінено 5 лютого 2021 користувачем energ

[Rassol2]

3 минуты назад, energ сказал:

Доброго!  в хотелки указать цифру, с которой начинается порядок сортировки изображений -  сейчас, к примеру, делаем несколько проходов или разные доноры на один и тот же товар - получаем несколько веток сортировки с нуля.

С сортировкой в парсинге все сложно. Заводить отдельную настройку под то что бы указать с чего начинается сортировка это так себе задача. Труда нужно вбухать уйма а вот толку будет не особо.
Так как сортировка работает в пределах одного товара.
Сейчас и так она отрабатывает верно, если несколько доноров то там нужно будет не забыть переключатель постоянно менять и сохранять, один раз не поменял все полетело.

По поводу альта. Вы имеете в виду альт к фото в описаниях или где ?
 

[Aspirinnka1]

10 часов назад, Rassol2 сказал:

И будет вот так.

О, спасибо. То, что надо. сейчас попробую.

 

10 часов назад, Rassol2 сказал:

Редактировать под себя это здесь.
/admin/view/template/catalog/simplepars_tools.tpl
строка
max-height: 200px;

 

О, спасибо. То, что надо. сейчас попробую.

[nebo]

Ребят, подскажите кто:

Как в поиск/замена, заменить регистр?

 

Пример:

<h2>СЛОВА С БОЛЬШИМИ буквами в теге</h2>  (не все слова написаны большими буквами)

 

Нужно получить на выходе:

<h2>Слова с большиими буквами в теге</h2>

 

То есть, чтобы первую букву оставить Большой, все остальные - маленькие. (Тут еще нужно учесть и окончание/начало предложений в теге. К примеру, в том же теге <h2> может быть 2 и более предложений (резделены точкой). И они все могут быть написаны БОЛЬШИМИ БУКВАМИ. Соответственно - начало предлоежения (после разделительной точки) ткаже нужно начать с Большой буквы, остальные - маленькие).

 

Хотел, уже в который раз, похвалить автора и пожелать ему крепкого здоровья, "голода" к своему делу и вечно растущего энтузиазма! - Последние обновления - это супер кастом! Особенно - внедрение понимания границ в поиск/замену. Теперь можно прям уникализировать описания!

Змінено 6 лютого 2021 користувачем nebo

[Axelenz]

1 час назад, nebo сказал:

Нужно получить на выходе:

<h2>Слова с большиими буквами в теге</h2>

Спойлер

{reg[#(^|(\.[ ]+))а#]}|$1А

 

[kostya242]

Я так понимаю для этих целей нужна регулярка, но в я них хз. Задача такая чтобы сократить количество символов в названии товара, чтобы не ехала верстка карточки:

 

Грубо если название состоит из 300 символов, то при парсинге оставлять только 220:

 

Спойлер

 

[Axelenz]

1 час назад, kostya242 сказал:

Грубо если название состоит из 300 символов, то при парсинге оставлять только 220:

Что-то типа такого Вам может помочь:

{reg[#(.{1,220}(?=\s))(.*)#]}|$1

Слова не будет обрезать, будет искать последний пробел, который входит в заданный диапазон...

Змінено 6 лютого 2021 користувачем Axelenz

[Reanimaster]

Подскажите, уважаемые. Есть ли какая нибудь реализация парсинга цен разных сайтов с выбором самой дешевой?

[partshez]

38 минут назад, Reanimaster сказал:

Подскажите, уважаемые. Есть ли какая нибудь реализация парсинга цен разных сайтов с выбором самой дешевой?

В АОП что-подобное есть

[Reanimaster]

5 минут назад, partshez сказал:

В АОП что-подобное есть

В АОП да. Но только ради этого использовать "комбайн" неразумно)

[partshez]

19 минут назад, Reanimaster сказал:

В АОП да. Но только ради этого использовать "комбайн" неразумно)

Выбрать оптимальный по цене донор и парсить с него только цену. Как вариант

[kostya242]

Подскажите пжлст: есть категория с уже напаршенными компрессорами, которые привязаны соответственно к родительской:

 

Спойлер

 

При выставлении действия Добавлять и обновлять новые товары добавляются в базу по адресу site.com/tovar_name. 

 

В это же время все ранее спаршенные товары имеют структуру ehlektroinstrumenty/kompressory/tovar_name.

 

Не могу понять почему так происходит и какой режим Действия нужно выбрать, чтобы товары парсились (Добавлять и обновлять) по полному адресу:?

Змінено 6 лютого 2021 користувачем kostya242

[Rassol2]

5 минут назад, kostya242 сказал:

Подскажите пжлст: есть категория с уже напаршенными компрессорами, которые привязаны соответственно к родительской:

 

  Показать контент

 

При выставлении действия Добавлять и обновлять новые товары добавляются в базу по адресу site.com/tovar_name. 

 

В это же время все ранее спаршенные товары имеют структуру ehlektroinstrumenty/kompressory/tovar_name.

 

Не могу понять почему так происходит и какой режим Действия нужно выбрать, чтобы товары парсились (Добавлять и обновлять) по полному адресу:?

Это не относится к модулю SimplePars
Ситуация такова, модуль заполняет url страницы товара. А как они будут формироваться в магазине от модуля не зависит. Это зависит от ваших настроек.
Единственное что проверьте что бы у вас у всех категорий была заполнено сео юрл.
Но этот вопрос нужно смотреть как у вас формируется ссылка на товар, с учетом категорий или без.
 

Где то здесь.
 

Спойлер

 

[kostya242]

21 минуту назад, Rassol2 сказал:

Но этот вопрос нужно смотреть как у вас формируется ссылка на товар, с учетом категорий или без.

 

Сейчас вот так

 

Спойлер