[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

4 минуты назад, Reanimaster сказал:

Доброй ночи.

Подскажите пожалуйста. Как переместить папку с кешем?
Спасибо.

Если вас интересует кеш страниц донора. То они находятся в директории.
/admin/simplepars/cache_page/
А далее кеш каждого конкретного проекта под его id
 

Спойлер

но переносить директории напрямую нет смысла, так как на новом сайте у проекта будет другие id проектов.
И нужно переносить содержимое.

На старом сайте был проект с id 350 на новом он с id 1
Вот вам нужно перенести содержимое с директории старого сайта 350 в директорию нового с именем 1.

Как то так.

[Reanimaster]

1 минуту назад, Rassol2 сказал:

Если вас интересует кеш страниц донора. То они находятся в директории.
/admin/simplepars/cache_page/
А далее кеш каждого конкретного проекта под его id
 

  Показать контент

но переносить директории напрямую нет смысла, так как на новом сайте у проекта будет другие id проектов.
И нужно переносить содержимое.

На старом сайте был проект с id 350 на новом он с id 1
Вот вам нужно перенести содержимое с директории старого сайта 350 в директорию нового с именем 1.

Как то так.

Спасибо. Но я имею ввиду перенести саму папку)
У меня сервачок. 120 SSD под сайты и 8ТБ под хлам.
Кеш проектов не интересует. Интересует как перенести саму папку на 8ТБ, что бы в последствии туда записывался/читался кеш.

[Reanimaster]

Добрый день. А как быть с авторизированным парсингом, если куков нет?

 

Змінено 3 листопада 2020 користувачем Reanimaster

[Rassol2]

10 часов назад, Reanimaster сказал:

Спасибо. Но я имею ввиду перенести саму папку)
У меня сервачок. 120 SSD под сайты и 8ТБ под хлам.
Кеш проектов не интересует. Интересует как перенести саму папку на 8ТБ, что бы в последствии туда записывался/читался кеш.

Не совсем понимаю вопрос по двум причинам.
Если это не про кеш модуля, а просто как с места на место переместить папку. То как обычно. Копировать вставить.
Если права доступа на директории будут 755 то все будет работать. Тут мой модуль ничем не отличается по файлам и директориям от обычного опекарта. И с ним работают те же законы.

[Rassol2]

4 минуты назад, Reanimaster сказал:

Добрый день. А как быть с авторизированным парсингом, если куков нет?

Если не по кукак то как донор определяет что вы авторизованы.
Значит там В ссылке token или какая у вас система ?

[Reanimaster]

8 минут назад, Rassol2 сказал:

Не совсем понимаю вопрос по двум причинам.
Если это не про кеш модуля, а просто как с места на место переместить папку. То как обычно. Копировать вставить.
Если права доступа на директории будут 755 то все будет работать. Тут мой модуль ничем не отличается по файлам и директориям от обычного опекарта. И с ним работают те же законы.

Именно о кеше модуля говорю. Он парсит в admin/simplepars/cache. И хранится эта папка физически на диске с сайтом. А я бы хотел что бы она была на другом. Ладно попробую симлинк, а там видно будет.

[Reanimaster]

8 минут назад, Rassol2 сказал:

Если не по кукак то как донор определяет что вы авторизованы.
Значит там В ссылке token или какая у вас система ?

Донор на опенкарте. Revolution.

Никаких токенов нет.

 

 

Змінено 3 листопада 2020 користувачем Reanimaster

[Rassol2]

3 минуты назад, Reanimaster сказал:

Донор на опенкарте. Revolution.

Никаких токенов нет.

 

 

Пометка об авторизации хранится здесь
 

Спойлер

Но в опенкарте передается авторизация в PHPSESSID Она должна быть у вас и там хранится авторизация.

[Reanimaster]

34 минуты назад, Rassol2 сказал:

Пометка об авторизации хранится здесь
 

  Показать контент

Но в опенкарте передается авторизация в PHPSESSID Она должна быть у вас и там хранится авторизация.

Простите но не совсем понял.

[Rassol2]

Только что, Reanimaster сказал:

Простите но не совсем понял.

Это имя куки.
PHPSESSID

 

В которой храница авторизация. Вот эту куку нужно передать.

[Axelenz]

15 часов назад, Rassol2 сказал:

Тут идея хорошая, нужно показать пример как удалять последнее вхождение.

 

 

Регулярное выражение удалит из текста, например, 2+ (два и более) закрывающих тега </div> со всеми пробелами, табуляциями, переводами строки и пр. перед ними, между ними и после них. Удалит в начале текста, в конце текста, в начале и в конце текста или по всему тексту, в зависимости от выбранной формулы: 

 

{reg[#^(\s*</div>\s*){2,}#]}| - от 2-х и более, в начале текста

{reg[#(\s*</div>\s*){2,}$#]}| - от 2-х и более, в конце текста

{reg[#(\s*</div>\s*){2}$#]}|  - только 2, в конце текста

{reg[#^(\s*</div>\s*){2,}|(\s*</div>\s*){2,}$#]}|  - от 2-х и более, в начале и в конце текста

{reg[#(\s*</div>\s*){2,}#]}|   - от 2-х и более, удаление по всему тексту

 

{reg[#(\s*<br>\s*){2,}|(\s*<br />\s*){2,}#]}|  - то же самое, только с <br>, по всему тексту

 

дальше можно потренироваться с жадный/не жадный...

 

Примерно так это удаляет на практике:

Спойлер

удалив запятую в фигурных скобках - получим конкретное число удаляемых в конце тегов.

Вместо </div> подставляем интересующие для удаления повторяющееся сочетания символов...

Змінено 3 листопада 2020 користувачем Axelenz

[Rassol2]

@Axelenz Если честно еше не до шел до записи, но занесу.
сейчас нужно другую задачу сделать.

[superslayer]

Здравствуйте. Сразу к теме. Есть проблема с парсингом производителей и категорий, а именно производитель и категория создается - прописывается в товаре (связей), но при переходе на страницу данного производителя/категории товара нет. Проблема решается только ручным выбором данного производителя/категории, т.е. самому приходиться заходить в товар и при нажатии на уже введенный текст производителя/категории выбрать из выпадающего меню его еще раз - тогда воуля товар появляется на странице. Но на самой странице товара и в крошках и в описании товара категория/производитель прописаны с верными ссылками... Прошу помочь - проблема крайне необычная.

[Rassol2]

6 минут назад, superslayer сказал:

Здравствуйте. Сразу к теме. Есть проблема с парсингом производителей и категорий, а именно производитель и категория создается - прописывается в товаре (связей), но при переходе на страницу данного производителя/категории товара нет. Проблема решается только ручным выбором данного производителя/категории, т.е. самому приходиться заходить в товар и при нажатии на уже введенный текст производителя/категории выбрать из выпадающего меню его еще раз - тогда воуля товар появляется на странице. Но на самой странице товара и в крошках и в описании товара категория/производитель прописаны с верными ссылками... Прошу помочь - проблема крайне необычная.

Напишите в личку доступ к фтп, и админке магазина и сегодня ближе к 23.00 я все проверю у вас.

[efremovxp]

Не работает сбор ссылок содержащих

&

 

Что делать?

[Rassol2]

Дайте пример.
недавно вносил новые правила в форматирование ссылок, возможно что то не учел.

[efremovxp]

35 минут назад, Rassol2 сказал:

Дайте пример.
недавно вносил новые правила в форматирование ссылок, возможно что то не учел.

Попробуйте спарсить отсюда все ссылки на товары (html, у сайта нет sitemap.xml)

https://www.repashy.co.uk/index.php?main_page=index&cPath=2

Спарсятся только те, у которых &, а &amp; нет.

 

 

Я только знакомлюсь с модулем и не знаю как раскидывать товары по категориям, которые я сам создал. У меня категории называются по другому, а не как на сайте доноре. Можно после парсинга товаров в Редакторе товаров задать категории товарам и мой выбор будет учтен в дальнейшем, что этот товар будет всегда в выбранной категории?

[Rassol2]

Ок в течении часа полутора сделаю тесты и отпишусь.

[Uaitspirit]

Здравствуйте. Модуль конечно ОЧЕНЬ облегчил многие моменты, разбираюсь потихоньку. Не подскажете как с такой карты сайта ссылок надергать http://gefest.com/sitemap.xml ? Потому что сайт с подгрузкой и через каталог не получается http://gefest.com/catalog/vstraivaemaya-tekhnika/dukhovye-shkafy/ как пример.

[Rassol2]

1 минуту назад, Uaitspirit сказал:

Здравствуйте. Модуль конечно ОЧЕНЬ облегчил многие моменты, разбираюсь потихоньку. Не подскажете как с такой карты сайта ссылок надергать http://gefest.com/sitemap.xml ? Потому что сайт с подгрузкой и через каталог не получается http://gefest.com/catalog/vstraivaemaya-tekhnika/dukhovye-shkafy/ как пример.

Указать ее как стартовую и переключить режим сбора в sitemap XML
Все остальное как прежде.
 

Спойлер

 

[Rassol2]

Внимание.
Если у вас есть фильтр Brainy Filter и у вас товар где то не появляется.
Зайдите в этот фильтр и нажмите обновить кеш.

Спойлер

Этот фильтр называется умным, а по факту думает что товары можно только вручную набивать, поскольку именно когда вручную создаешь товар он добавляет в кеш новый товары. Вручную это когда в админке в редакторе товара нажимаешь сохранить, он на это реагирует и создает кеш.
Короче умный фильтр не ожидает что люди будут умнее и не будут вручную набивать товары.
 

[Uaitspirit]

Я неправильно вопросы задаю наверное, как с xml парсить я разобрался недавно( В общем по http://gefest.com/sitemap.xml открывается список xml вида https://gefest.com/sitemap_iblock_1.xml и так 46 штук xml и в них ссылки походу вникуда. Это защита от парсинга может. В общем я так понял этот сайт не спарсить в автомате. Вручную только ссылки собирать..

[Rassol2]

40 минут назад, efremovxp сказал:

Попробуйте спарсить отсюда все ссылки на товары (html, у сайта нет sitemap.xml)

https://www.repashy.co.uk/index.php?main_page=index&cPath=2

Спарсятся только те, у которых &, а &amp; нет.

 

 

Я только знакомлюсь с модулем и не знаю как раскидывать товары по категориям, которые я сам создал. У меня категории называются по другому, а не как на сайте доноре. Можно после парсинга товаров в Редакторе товаров задать категории товарам и мой выбор будет учтен в дальнейшем, что этот товар будет всегда в выбранной категории?

Да проблему вижу, в течении часа пришлю вам в ЛС фикс.
Так же он выйдет в следующей бете.

[Rassol2]

Хочу напомнить о том что www. в доменном имени влияет на то считается ли домен внутренним или нет.
То есть если при сборе ссылок в стартовой ссылке указана ссылка с www а в коде страницы ссылки не содержат www то ссылки на странице будут считается внешними относительно стартовой.
И вам необходимо поменять эту настройку

Либо указать стартовую ссылку без www
 

[Uaitspirit]

Здравствуйте. Перепробовав кучу вариантов, не выходит у меня( Кто подскажет идею, возможность или кто-то может собирал ссылки с сайта http://gefest.com/catalog/vstraivaemaya-tekhnika/dukhovye-shkafy/ товары с погрузкой, карты сайта можно сказать нет. Подскажите кто-нибудь. Спасибо.