[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Только что, Nameless сказал:

 

Да, это помогло, спасибо!

Не за что.

Рад что у вас все получилось.

[kvebeka]

@Rassol2  Добрый день!

Столкнулся с проблемой что не корректно создается товар когда при парсинге есть подобные символы в названии товара, например такие: 1/4"&3/8"&1/2" 

Товар как-бы создан, но например не открывается фото, консоль в хроме пишет ошибку, также бывает обрезается название.

Если зайти в редактирование товара и нажать на сохранить, то всё начинает отображаться корректно.

Что можно сделать в подобной ситуации?

[Rassol2]

1 минуту назад, kvebeka сказал:

@Rassol2  Добрый день!

Столкнулся с проблемой что не корректно создается товар когда при парсинге есть подобные символы в названии товара, например такие: 1/4"&3/8"&1/2" 

Товар как-бы создан, но например не открывается фото, консоль в хроме пишет ошибку, также бывает обрезается название.

Если зайти в редактирование товара и нажать на сохранить, то всё начинает отображаться корректно.

Что можно сделать в подобной ситуации?

Здравствуйте.

Что то не понятное.
Напишите мне в ЛС доступ к админке и фтп, так же дайте id товара который был создан модулем и имеет баги описанные вами.

[kvebeka]

9 минут назад, Rassol2 сказал:

Здравствуйте.

Что то не понятное.
Напишите мне в ЛС доступ к админке и фтп, так же дайте id товара который был создан модулем и имеет баги описанные вами.

Спасибо, написал.

[Rassol2]

Хочу напомнить про кавычки в имени товаров.
С этой заразой были проблемы и они исправлены в ветке бета, а версия 4.7 которая последняя стабильная еше не имеет этой правки.
Если у вас есть такая проблема, и вам нужно срочно решить, просто обновите до последней

[Yellow1337]

Добрый вечер.
После первой настройки авторизация и парсинг через крон происходило успешно.
При повторном парсинге, спустя время авторизация не проходила, но помогло удаления куки браузера на вкладке "Настройки запросов - Общие" 
Сегодня опять парсинг не производится так как не проходит авторизация.
Сталкивался кто-то с такой проблемой?
 

[Rassol2]

Добрый вечер.
После первой настройки авторизация и парсинг через крон происходило успешно.
При повторном парсинге, спустя время авторизация не проходила, но помогло удаления куки браузера на вкладке "Настройки запросов - Общие" 
Сегодня опять парсинг не производится так как не проходит авторизация.
Сталкивался кто-то с такой проблемой?
 

Здравствуйте.
Как именно вы настраиваете авторизацию?
Через указание кусков из браузера ?
Или через автоматическую авторизацию ?

Если через куки, то это логично, так как куки устаревают и их нужно обновлять.
Если через автоматическую авторизацию тогда нужно смотреть.


Отправлено с Телефона используя Tapatalk

[direct_loskutov]

Здравствуйте, подскажите, как можно очистить кеш simplepars? Вот по этому пути admin/simplepars/cache_page в папке cache_page 10 гб висит

[Rassol2]

14 минут назад, direct_loskutov сказал:

Здравствуйте, подскажите, как можно очистить кеш simplepars? Вот по этому пути admin/simplepars/cache_page в папке cache_page 10 гб висит

Вы можете зайти через FTP И удалить Содержимое этой папки. 
 

Либо зайти в проекты которые создали кэш менеджер ссылок действия очистить кэш. 

[yastman]

21 минуту назад, direct_loskutov сказал:

Здравствуйте, подскажите, как можно очистить кеш simplepars? Вот по этому пути admin/simplepars/cache_page в папке cache_page 10 гб висит

Если вы по крону , то перед началом проекта используйте шаблон отчистка логов , настроить под каждый проект и забудете эту боль. 

[Yellow1337]

1 час назад, Rassol2 сказал:

Здравствуйте.
Как именно вы настраиваете авторизацию?
Через указание кусков из браузера ?
Или через автоматическую авторизацию ?

Если через куки, то это логично, так как куки устаревают и их нужно обновлять.
Если через автоматическую авторизацию тогда нужно смотреть.


Отправлено с Телефона используя Tapatalk

Через автоматическую авторизацию

[Rassol2]

20 минут назад, yastman сказал:

Если вы по крону , то перед началом проекта используйте шаблон отчистка логов , настроить под каждый проект и забудете эту боль. 

Отчистит Кеша, а не логов. А так да. 

[Rassol2]

5 минут назад, Yellow1337 сказал:

Через автоматическую авторизацию

Странно а что в логах написано по этому вопросу ? 
ведь когда модуль не авторизован он пытается авторизоваться и пишет об этом в логах. У вас это есть ?

[direct_loskutov]

Понял, спасибо

[Yellow1337]

27 минут назад, Rassol2 сказал:

Странно а что в логах написано по этому вопросу ? 
ведь когда модуль не авторизован он пытается авторизоваться и пишет об этом в логах. У вас это есть ?

2021-10-27 18:48:01| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://magnat.md/
2021-10-27 18:48:01| !--> [CRON] СБОЙ АВТОРИЗАЦИИ | В коде странице не найден проверочный текст [Выход]
2021-10-27 18:48:02| --> АВТОРИЗАЦИЯ | Запрос на авторизацию отправлен по ссылке = https://magnat.md/my-account/

[Rassol2]

2021-10-27 18:48:01| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://magnat.md/
2021-10-27 18:48:01| !--> [CRON] СБОЙ АВТОРИЗАЦИИ | В коде странице не найден проверочный текст [Выход]
2021-10-27 18:48:02| --> АВТОРИЗАЦИЯ | Запрос на авторизацию отправлен по ссылке = https://magnat.md/my-account/

Отписался в личных сообщениях.
Как появится возможность попробуй все проверить.


Отправлено с Телефона используя Tapatalk

[Mixxxa163]

Добрый день,

При парсинге в ИМ возможно сделать так, чтобы указывать директорию для фото с созданием папки с ID товара и в нее парсил фото? Вопрос связан с тем, что Easyphoto использует свою директорию, и складывает новые фото создавая папки с ID, а simplepars с sku

[Rassol2]

2 минуты назад, Mixxxa163 сказал:

Добрый день,

При парсинге в ИМ возможно сделать так, чтобы указывать директорию для фото с созданием папки с ID товара и в нее парсил фото? Вопрос связан с тем, что Easyphoto использует свою директорию, и складывает новые фото создавая папки с ID, а simplepars с sku

Здравствуйте.

Именно с id товара нет, такой встроенной возможности нет.
Поскольку модуль сперва скачивает фото, получать путь к ним и только потом отправляет запрос на создание товара с этим фото.
а id товара будет известно только после создания товара.

В теории это можно сделать, просто сделать создание товара без фото, а только потом пытаться скачать фото и создавать под него директории.
То есть технически это сделать можно, но ради того что бы иметь возможность создать директорию под фото с id товара, сомнительная цель, по этому такого с вероятностью в 99% не будет. К сожалению.
Но опять же вы можете вынести работу с фото в собственный скрипт где это реализовать.

Тут вы можете пойти двумя путями.
1) После обновления или добавления барать директорию с фото и переименовывать ее через собственный скрипт. Допустим создавать директорию по sku а постом ваш собственный скрипт будет находить директорию с именем sku и переименовывать ее в id товара.

И затем отправлять запрос в базу данных что бы поменять эту директорию в пути к фото.

2) Отключить загрузку фото в модуле и полностью написать свою реализацию загрузки фото с блек Джеком и девушками, так как нужно вам.

Сейчас ситуация такова.
 

[Mixxxa163]

28 минут назад, Rassol2 сказал:

Здравствуйте.

Именно с id товара нет, такой встроенной возможности нет.
Поскольку модуль сперва скачивает фото, получать путь к ним и только потом отправляет запрос на создание товара с этим фото.
а id товара будет известно только после создания товара.

В теории это можно сделать, просто сделать создание товара без фото, а только потом пытаться скачать фото и создавать под него директории.
То есть технически это сделать можно, но ради того что бы иметь возможность создать директорию под фото с id товара, сомнительная цель, по этому такого с вероятностью в 99% не будет. К сожалению.
Но опять же вы можете вынести работу с фото в собственный скрипт где это реализовать.

Тут вы можете пойти двумя путями.
1) После обновления или добавления барать директорию с фото и переименовывать ее через собственный скрипт. Допустим создавать директорию по sku а постом ваш собственный скрипт будет находить директорию с именем sku и переименовывать ее в id товара.

И затем отправлять запрос в базу данных что бы поменять эту директорию в пути к фото.

2) Отключить загрузку фото в модуле и полностью написать свою реализацию загрузки фото с блек Джеком и девушками, так как нужно вам.

Сейчас ситуация такова.
 

Благодарю за развернутый ответ.

[Rassol2]

27 минут назад, Mixxxa163 сказал:

Благодарю за развернутый ответ.

не за что.

[AntonVN]

Здравствуйте.

Подскажите пожалуйста по работе с "Cron", задания выполнилось. только в Готово/Очередь|Всего стоит (907 / 0 | 907)

при этом проваливаюсь в проект там 
Очередь сканирования ссылок: Обработано ссылок: 12 | Ссылок в очереди: 895

Ссылки на товары: Найдено ссылок: 672

 

Как бы предварительно запускал в ручном режиме, решил прогнать по крону, теперь не совсем понятно 895+12=907 ссылок проверено. но не чего не добавлено, так как ранее эти 672 уже были собраны.

или всё же искать нужно результаты обработок в другом месте, смутило что очередь не обнулилась.

[Flint2000]

2 година назад, AntonVN сказав:

Подскажите пожалуйста по работе с "Cron", задания выполнилось. только в Готово/Очередь|Всего стоит (907 / 0 | 907)

при этом проваливаюсь в проект там 
Очередь сканирования ссылок: Обработано ссылок: 12 | Ссылок в очереди: 895

Ссылки на товары: Найдено ссылок: 672

Статистика работы по крону и ручной работы разная и не зависит друг от друга

[Grosso2020]

Добрый день. Подскажите как парсер работает с html разметкой которая стоит в display:none?

[Rassol2]

1 час назад, Grosso2020 сказал:

Добрый день. Подскажите как парсер работает с html разметкой которая стоит в display:none?

Так же хорошо как и с любой другой разметкой которая есть в коде страницы.

[dmitriy2506]

день добрый можно уточнить при конвертации sql таблиц на тип с MyISAM на innodb могут ли возникать какие либо проблемы в работе модуля при записи в базу (парсинг в им)?

Змінено 29 жовтня 2021 користувачем dmitriy2506