[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

6 минут назад, kagan25 сказал:

Спасибо большое, у меня стоит разовая задача загрузить клиенту магазин товарами, сдать заказ и забыть про наполнение)

Там каталог артикулов и названий без цен. 

А что он дальше будет делать с дублями - не знаю)

На сайте-доноре в индексе гугла вообще 130к страниц...

Я сейчас ухожу отдыхать буду ближе к 18.00-17.00
Если есть возможность скиньте 2 ссылки на донор у которого 2 товара с одинаковыми артикулами. Я посмотрю. Может что то действенное посоветую.
Можно в лс.

[kagan25]

@Rassol2 с добавлением категорий я разобрался, но оно добавляет товары только в конечную категорию, а родительские оставляет пустые. Не пойму как сделать чтобы во всю цепочку категорий оно добавляло их

 

также есть пропуск парсинга повторящихся границ в начале,

есть пункт в начале и в конце - но там можно проставить только одну цифру, а в моем случае надо в начале 2 пропустить и в конце 1

Змінено 24 червня 2019 користувачем kagan25

[Rassol2]

12 минут назад, kagan25 сказал:

@Rassol2 с добавлением категорий я разобрался, но оно добавляет товары только в конечную категорию, а родительские оставляет пустые. Не пойму как сделать чтобы во всю цепочку категорий оно добавляло их

 

также есть пропуск парсинга повторящихся границ в начале,

есть пункт в начале и в конце - но там можно проставить только одну цифру, а в моем случае надо в начале 2 пропустить и в конце 1

на данный момент добавляются только в конкретную категорию.

 

предусмотрено пропуск с любых сторон.
https://prnt.sc/o62lj8

[kagan25]

14 минут назад, Rassol2 сказал:

на данный момент добавляются только в конкретную категорию.

 

предусмотрено пропуск с любых сторон.
https://prnt.sc/o62lj8

Спасибо, с категориями я сделал границу для парсинга и убрал последнее значение. 

Я не знал как прописать, чтобы в начале и в конце пропускало.

 

Относительно родительских категорий - надеюсь в будущем появится такая возможность)

Змінено 24 червня 2019 користувачем kagan25

[Rassol2]

5 минут назад, kagan25 сказал:

Спасибо, с категориями я сделал границу для парсинга и убрал последнее значение. 

Я не знал как прописать, чтобы в начале и в конце пропускало.

 

Относительно родительских категорий - надеюсь в будущем появится такая возможность)

да появится. Довольно скоро. Подписывайтесь на тему и не пропустите

[001]

Заметил возможный косяк с производителями при добавлении карточек. У меня были заведена куча производителей в ручном режиме, в их числе три с амперсандом - типа A&A, E&L, G&P

 

После парсинга с добавлением карточек в ИМ наблюдалась такая картина - у производителей с амперсендом появились дубли, причем в поиске ИМ они отсутствовали. Пришлось ручками редактировать, т.е. переименовывать/удалять дубль и назначать карточкам новосозданного производителя.

 

 

[Rassol2]

5 минут назад, 001 сказал:

Заметил возможный косяк с производителями при добавлении карточек. У меня были заведена куча производителей в ручном режиме, в их числе три с амперсандом - типа A&A, E&L, G&P

 

После парсинга с добавлением карточек в ИМ наблюдалась такая картина - у производителей с амперсендом появились дубли, причем в поиске ИМ они отсутствовали. Пришлось ручками редактировать, т.е. переименовывать/удалять дубль и назначать карточкам новосозданного производителя.

 

 

Такое возможно если у вас были созданы производители с амперсантом. А у донора на сайте в коде они вместо амперсанта имеют
&
Сейчас потихоньку готовлю функцию которая будет за кулисами все сущности преобразовывать. Что бы подобного не происходило.

[Gerryley]

Было бы очень полезно привязывать к каждому товару ссылку на страницу доннера этого товара, если она не доступна то, то менять статус товара на выключено, или нет на складе.

Или может подскажите решение.

Змінено 25 червня 2019 користувачем Gerryley

[Rassol2]

1 минуту назад, Gerryley сказал:

Было бы очень полезно привязывать к каждому товару ссылку на страницу доннера этого товара, если она не доступна то, то менять статус товара на выключено, или нет на складе.

Или может подскажите решение.

Нет такого не будет. По нескольким причинам.
1. нет такого поля в товаре что бы сделать привязку.

2. Ссылка на товар в нормальных магазинах не исчезает. Потому что это выкидывает сайт из поисковика. Слепые ссылки. Так что товар в 90% случаев всегда будет по ссылке.

 а значит ее нужно парсить и смотреть какие значения на этой странице. Там может появится товар больше не производится или еше что то. И вам нужно цеплятся за это значение.

3. Товар можете остаться а ссылка изменится. К примеру магазин поменял структуру категорий. И в сео url теперь добавлена категория. По старой ссылке будет отдавайся заголовок. 302 или 301 редирект, не помню какой для постоянного переезда страницы. То есть опять для вас это мертвый товар. Хотя это не так.

 

Так же в планах есть реализовать что то вроде выполнения своих sql запросов в момент парсинга. Или сделать возможным добавлять собственные скрипты.
И через это можно будет реализовать. Но на данный момент это не главные задачи. Они пока лежат в ящике.

[urlmy]

Добрый день! 

Что бы мне купить копию, нужно заполнить 2 поля:

Адрес Вашего сайта c http(s) - это я так понял на какой сайт будет установлено?

Тестовый адрес сайта c http(s) - это сайт донор или что?

[Rassol2]

Только что, urlmy сказал:

Добрый день! 

Что бы мне купить копию, нужно заполнить 2 поля:

Адрес Вашего сайта c http(s) - это я так понял на какой сайт будет установлено?

Тестовый адрес сайта c http(s) - это сайт донор или что?

Адрес Вашего сайта c http(s) - сайт геде будет стоять модуль.

Тестовый адрес сайта c http(s) - если у вас есть тестовый сайт к пример test.mysite.ru на котором вы тестирует работу дополнения или какой то фунционал. И хотите что бы модуль работал там. То указываете.

Доноров могут быть сотни и они ни как не относятся к покупке. В модуле нету ограничений на количество доноров которые вы хотите просить.

[urlmy]

Just now, Rassol2 said:

Адрес Вашего сайта c http(s) - сайт геде будет стоять модуль.

Тестовый адрес сайта c http(s) - если у вас есть тестовый сайт к пример test.mysite.ru на котором вы тестирует работу дополнения или какой то фунционал. И хотите что бы модуль работал там. То указываете.

Доноров могут быть сотни и они ни как не относятся к покупке. В модуле нету ограничений на количество доноров которые вы хотите просить.

Спасибо

[Rassol2]

2 минуты назад, urlmy сказал:

Спасибо

не за что.

[Axelenz]

Дайте, пожалуйста, рекомендации, как можно парсить с локальной папки, ну хотя бы с /uploads или с указанием полного пути типа c:\Users\User\Downloads\site.in.ua\ ?

[Rassol2]

4 минуты назад, Axelenz сказал:

Дайте, пожалуйста, рекомендации, как можно парсить с локальной папки, ну хотя бы с /uploads или с указанием полного пути типа c:\Users\User\Downloads\site.in.ua\ ?

С этого места поподробнее.
Что значит парсить с локальной папки ?

Если у вас установлен локальный сервер и вы находитесь в своем вакуме. То есть сайт на локалке и донор на локалке. то у донора есть какой то адрес. Вот по нему и парсить нужно.
Если я правильно понял вас.

[Axelenz]

Мне необходимо парсить не с сайта, а со страниц, которые я стянул с сайта себе на локалку и теперь хочу эти страницы парсить. Поэтому мне нужен способ, как указать путь на моём компьютере, что бы Ваш парсер понял, где это лежит...

Ну не хочет сайт мне отдавать информацию... а она мне нужна...

На АОП есть такая возможность...

Змінено 25 червня 2019 користувачем Axelenz

[Rassol2]

1 минуту назад, Axelenz сказал:

Мне необходимо парсить не с сайта, а со страниц, которые я стянул с сайта себе на локалку и теперь хочу эти страницы парсить. Поэтому мне нужен способ, как указать путь на моём компьютере, что бы Ваш парсер понял, где это лежит...

Ну не хочет сайт мне отдавать информацию... а она мне нужна...

а парсер где стоит ? У вас на локалке ?

[Axelenz]

Да, всё на локалке и мне нужно, чтобы это работало даже с отключенным интернетом )))

АОП использует для этого папку /uploads и тогда путь получается коротким...

Змінено 25 червня 2019 користувачем Axelenz

[Rassol2]

Только что, Axelenz сказал:

Да, всё на локалке и мне нужно, чтобы это работало даже с отключенным интернетом )))

я не совсем представляю как у вас спарсено это все. Но логика такая.
Создаете на локалке второй сайт. К пример на домене test.local загружаете туда все файлы.
И в модуле указываете ссылки на них http://test.local/index.html
Если у вас настроен локальный сервер тогда это будет работать.

[Axelenz]

17 минут назад, Rassol2 сказал:

я не совсем представляю как у вас спарсено это все. Но логика такая.
Создаете на локалке второй сайт. К пример на домене test.local загружаете туда все файлы.
И в модуле указываете ссылки на них http://test.local/index.html
Если у вас настроен локальный сервер тогда это будет работать.

 

Стянуты страницы с сайта через ... ну не хочет сайт отдавать данные... но главное, что теперь это работает )))

Создал сайт http://simple.pars/ на локалке и всё парсит. Благодарю )

 

Змінено 25 червня 2019 користувачем Axelenz

[Rassol2]

1 минуту назад, Axelenz сказал:

 

Стянуты страницы с сайта через ... ну не хочет сайт отдавать данные... но главное, что теперь это работает )))

Создал сайт http://simple.pars/ на локалке и всё парсит. Благодарю )

 

Ну вот и славно. Пойду ка я отдыхать )

[cloudrc]

Модуль отличный, очень не хватало функционала CD именно внутри админки!

 

Будет ли в будущем возможность при экспорте в CSV назначить какой-либо границе парсинга атрибут "Обязательна"?

А то при импорте функция присутствует по-умолчанию, а CSV обделили 

 

И интересно, планируется ли возможность парсинга по крону?)

[Rassol2]

Здравствуйте.

 

6 часов назад, cloudrc сказал:

И интересно, планируется ли возможность парсинга по крону?) 

Да будет. В планах.

 

 

6 часов назад, cloudrc сказал:

Будет ли в будущем возможность при экспорте в CSV назначить какой-либо границе парсинга атрибут "Обязательна"?

А то при импорте функция присутствует по-умолчанию, а CSV обделили 

Распишите как вы видите эту фунцию. Как она должна работать. И я подумаю над реализацией.

[Rassol2]

Обновление 2.4-3_Beta

Добавлена возможность загружать товар в родительские категории.
Обновляетесь @kagan25 @evgeniygord 

 

Этот пункт распространяется как на добавление так и на обновление товара.

Доступно три варианта.
1. Только в младшей категории (Он же по умолчанию)
2. В младшей и родительской категории
3. В младшей и во всех родительских категориях

Я думаю тут из названия все понятно, и особо расписывать не нужно.

Как и обещал, добавления товара родительские категории выполнено

 

Внимание: При обновлении необходимо выполнить файл /inst.php

[urlmy]

Добрый день! Купил модуль, сделал все по инструкции, распаковал в корне на хостинге, перешел на мойсайт.ru/inst.php, после чего перешел  Система->Пользователи->Группы пользователей->Администратор, выделил все и сохранил. Перещел в модификаторы, модуля небыло видно и даже после нажатой кнопки обновить. Перешел в сам модуль а там ошибка такого плана:Fatal error: Can't use function return value in write context in /var/www/vhosts/v-10058.webspace/www/мойсайт.ru/admin/model/catalog/simplepars.php on line 231