[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

46 минут назад, Axelenz сказал:

Не парсит на локалке... ошибку выдаёт.

Warning: curl_setopt(): CURLOPT_FOLLOWLOCATION cannot be activated when an open_basedir is set in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 2720

 

Поменяйте строку 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);   // переходит по редиректам
на 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);   // переходит по редиректам

В файле /admin/model/catalog/simplepars.php
 

[Rassol2]

8 часов назад, Pavel1991 сказал:

Здравствуйте! Просто в восторге от вашего модуля! Есть, конечно, пару моментов, которые можно было бы дополнить) Например, можно было бы дополнить поля во вкладке "Настройка парсинга в ИМ" такие как "вес товара", основные метатеги, габариты товара и т.п., но это, как говориться, если прям придираться)

Все будет.
Скоро возвращаюсь и приступаю упорно пилить модуль. 

 

8 часов назад, Pavel1991 сказал:

Один вопрос по синтаксису замены ( https://simplepars.top/index.php?page=doc#tab_search-replace ) , это все замены? Есть ли аналог команде {br} , только чтобы заменяла не переносы, а пробелы? Спасибо!

Тут мне не совсем ясен вопрос. А чего вам там не хватает ? Можно заменить все что угодно. Громко сказано но близко к этому. 
Какой использовать символ что бы заменить пробел.  Используйте пробел  

Пример http://joxi.ru/ZrJY6B8uwkOVDA

Обратите внимание в правиле написано (Правило для наглядности взял в двойные кавычки.)
" |" - Это значит удалить все пробелы. 
можно заменить все пробелы на тире к примеру 

" |-" - вот как выглядит - http://joxi.ru/KAgob5vfEOZz9A

Поиск замена в умелых руках довольно сильный инструмент. 

[Rassol2]

9 часов назад, Stin сказал:

Просто, когда начинаешь понимать что к чему. Сейчас вижу, что действительно просто, Спасибо. Бум далее колдовать. В день по одной вкладке осваиваю.

Главное что осваиваете.
Сейчас модуль на уровне активной разработки. И сложно писать инструкции они устаревают быстрее чем я их пишу. 
 

[Pavel1991]

8 часов назад, Rassol2 сказал:

Все будет.
Скоро возвращаюсь и приступаю упорно пилить модуль. 

 

Тут мне не совсем ясен вопрос. А чего вам там не хватает ? Можно заменить все что угодно. Громко сказано но близко к этому. 
Какой использовать символ что бы заменить пробел.  Используйте пробел  

Пример http://joxi.ru/ZrJY6B8uwkOVDA

Обратите внимание в правиле написано (Правило для наглядности взял в двойные кавычки.)
" |" - Это значит удалить все пробелы. 
можно заменить все пробелы на тире к примеру 

" |-" - вот как выглядит - http://joxi.ru/KAgob5vfEOZz9A

Поиск замена в умелых руках довольно сильный инструмент. 

На самом деле, я подумал про это, но уже после написания сообщения (я про пробелы)

[Axelenz]

20 часов назад, Rassol2 сказал:

Поменяйте строку 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);   // переходит по редиректам
на 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);   // переходит по редиректам

В файле /admin/model/catalog/simplepars.php
 

 

Не работает на локалке... Ошибку, конечно уже не выдаёт, но и не парсит... т.е. всё вроде бы гладко идёт, но в файле кроме ссылок больше ничего нет. Хотя на сайте с теми же настройками парсит (((

[Rassol2]

11 часов назад, Axelenz сказал:

 

Не работает на локалке... Ошибку, конечно уже не выдаёт, но и не парсит... т.е. всё вроде бы гладко идёт, но в файле кроме ссылок больше ничего нет. Хотя на сайте с теми же настройками парсит (((

Чего-то не хватает на локалке. 

Но чего я не подскажу потому что я так не могу определить. А зайти пошупать тоже не могу. 

 

Мне сложно вам ответить на этот вопрос. 

[Stin]

Подскажите, при формировании прайса, столбец с ценами сформироавался в формате общий, а часть в формате - дата. Что подправить и где?

 

 

Как всегда, сперва вопрос, затем сам и отвечаю.

 

У донора парситься цена через точку, а Excel воспринимает точку, как формат даты, поэтому в правилах замены сделал так, заменил точку на запятую

Цитата

.|.

Должно сработать, ну или что вы посоветуете!?

Змінено 17 травня 2019 користувачем Stin
Дал ответ

[Rassol2]

9 часов назад, Stin сказал:

Подскажите, при формировании прайса, столбец с ценами сформироавался в формате общий, а часть в формате - дата. Что подправить и где?

 

 

Как всегда, сперва вопрос, затем сам и отвечаю.

 

У донора парситься цена через точку, а Excel воспринимает точку, как формат даты, поэтому в правилах замены сделал так, заменил точку на запятую

Должно сработать, ну или что вы посоветуете!?

Все вы верно поняли.
только правило будет такое .|,

Вообще ситуация такова. Мой модуль может формировать CSV файлы под любой офис, будь то майкрасофт, или либре офис. Или WPS офис неважно. Все зависит от выбора разделителя и экранирующего символа. 
Где какой стандарт можете почитать про ваш любимый офис и использовать его. 

Но поскольку русскоязычном сегменте интернета 95% богатых людей которые могут позволить себе лицензию Майкрасофт офиса, в стандарте настройки под него. 

Но есть одно неприятное НО
Майкрасофт офис почему то думает что он луче знает какие данные записаны в ячейке и любит искривлять информацию.
К пример точка это дата. 
А если у вас у артикула будут в начале 00 тогда вообще беда мс офис их обрезает. И нужно к таким ячейкам добавлять какой то хвостик что бы офис решил что это не числа а строки и не отрезал 00. 

На это все я учитывал и в модуле есть все возможности избегать таких проблем. 

[Rassol2]

Предвкушая будущие просьбы по реализации возможности указать тип данных при парсинге в CSV спешу обрадовать.
https://ru.wikipedia.org/wiki/CSV
CSV - не поддерживает никакие типы данных. Ни дату, ни строку. Он не делит данные на типы.

И если у самого формата в спецификация нету такого понятия. Значит это реализовать невозможно. 

PS. И слава богу  

[rozario888]

В описание спарсились инструкции, как их активными сделать? По ссылке вроде есть в папке upload, но из описания щелкнуть "Страница не найдена"

 

[Rassol2]

11 минут назад, rozario888 сказал:

В описание спарсились инструкции, как их активными сделать? По ссылке вроде есть в папке upload, но из описания щелкнуть "Страница не найдена"

 

Я полагаю что описания лежат на сайте с которого вы парсили. 
А значит у вас в описании попали относительные ссылки.

Конкретнее.
Если в коде сайта откуда вы парсили ссылка указана как то так "пример"
 

Цитата

<a class="pdf" href="/dimg/5673305.pdf" target="_blank" rel="nofollow">Инструкция по уходу</a>

то после того как в описание к вам попадает этот код, а он попадает тоже относительный только в данном случаи ОТНОСИТЕЛЬНО вашего сайта а не сайта донора.
/dimg/5673305.pdf
И соответственно кликая по этой ссылке браузер вас будет переносить на http://ваш-сайт.ru/dimg/5673305.pdf
Но как вы понимаете по этому пути сами файлы не лежат. 

Есть 2 решения этой задачи.
1. Скачать все инструкции и разместить в соответствующих папка у вас на сайте. (Не думаю что это реально.)

2. В поиск замену задать алгоритм который будет заменять относительную ссылку на полную, в границе парсинга описания. В моем примере это будет выглядеть так. 
class="pdf" href="|class="pdf" href="http://сайт-донора.ру
 

на выходе у вас будут рабочие ссылки которые будут отправлять на инструкцию.

Надеюсь мой пример понятен и на его базе вы сможете сделать свое решение.  

[rozario888]

10 минут назад, Rassol2 сказал:

Надеюсь мой пример понятен и на его базе вы сможете сделать свое решение

Да, логику уловил) А что, например, удалить эти ссылки в уже добавленных товарах?

И еще есть вопрос, в личку его кину

[Rassol2]

1 минуту назад, rozario888 сказал:

Да, логику уловил) А что, например, удалить эти ссылки в уже добавленных товарах?

И еще есть вопрос, в личку его кину

До вкладки которая будет работать с уже существующими товарами модулю еше далеко. 
Но в планах есть, правда в долгосрочных. 
 

[rozario888]

Моментик такой: ввел название прайс на русском, все спарсилось, но в папке лежит вот такой вот файл, с которым ничего нельзя сделать. Не открывается, не копируется, название не меняется и тд. Сильно критичен модуль к русскому названию? Как хоть удалить его))

 

[Rassol2]

21 минуту назад, rozario888 сказал:

Моментик такой: ввел название прайс на русском, все спарсилось, но в папке лежит вот такой вот файл, с которым ничего нельзя сделать. Не открывается, не копируется, название не меняется и тд. Сильно критичен модуль к русскому названию? Как хоть удалить его))

 

Удалить можете через фтп. Или через файловый менеджер на хостинге.
Внес это в важные исправления. Попробую на днях выложить фикс этой проблемы. 

[rozario888]

8 часов назад, Rassol2 сказал:

Удалить можете через фтп. Или через файловый менеджер на хостинге.

 

Так вот как раз не удаляется http://prntscr.com/nq4uz8 

[Rassol2]

56 минут назад, rozario888 сказал:

 

Так вот как раз не удаляется http://prntscr.com/nq4uz8 

Через файловый менеджер в панели управления хостингом . 

Там 100% удалится.

[rozario888]

10 минут назад, Rassol2 сказал:

Там 100% удалится.

Нет)) http://prntscr.com/nq5d5l

 

Еще нашел кое-что: вчера настраивал замены, чтобы в разрез двух выделенных знаков <a href="/upload вставлялся сайт донора, чтобы инструкции работали и аналогичным образом картинки в гиперссылках. Сейчас по новой спарсил описание, Так вот картинки спарсились как надо <img src="https://www , а в инструкции вместо " добавилось вот это <a href=&quot;https://www.

В самом модуле при тесте "Преобразовать" такого не происходит, только вот при непосредственном парсинге. Это какой то баг, наверное?

 

Если я сейчас уже в экселе через найти/заменить исправлю этот кусок кода на ", ничего не собьется? Мало ли  &quot где-то используется как правильный элемент

 

 

[Rassol2]

3 минуты назад, rozario888 сказал:

Нет)) http://prntscr.com/nq5d5l

 

Еще нашел кое-что: вчера настраивал замены, чтобы в разрез двух выделенных знаков <a href="/upload вставлялся сайт донора, чтобы инструкции работали и аналогичным образом картинки в гиперссылках. Сейчас по новой спарсил описание, Так вот картинки спарсились как надо <img src="https://www , а в инструкции вместо " добавилось вот это <a href=&quot;https://www.

В самом модуле при тесте "Преобразовать" такого не происходит, только вот при непосредственном парсинге. Это какой то баг, наверное?

 

Если я сейчас уже в экселе через найти/заменить исправлю этот кусок кода на ", ничего не собьется? Мало ли  &quot где-то используется как правильный элемент

 

 

нет не собьется. 
Скиньте мне в Личку импорт настроек хочу посмотреть на природу появления спец символов. 

По поводу удаления должно было удалить. Если нет тогда можно писать поддержке хостинга. 
Сейчас работаю над исправлением бага с русскими названиями прайс листов. 

[stas2010]

В 14.05.2019 в 02:29, ganapati сказал:

Надеюсь быстрее, хотел бы приобрести на 5 магазов сразу у меня все мои клиенты на 3.0.2.0 к сожалению, переходить вниз не могу.

а переходить и не надо. у самого один из магазинов на 3.0.2.0. 

поставил модуль на ос 2.3 - достаточно просто поставить пустой магазин на второй версии опенкарта. там создаю этим парсером прайс со всеми параметрами, ссылками и т.п. для парсинга. далее через АОП заливаю всё в 3.0.2.0.

да, функция прямого наполнения базы при парсинге пока не доступна, но на данный момент парсер в такой комбинации уже сильно облегчил работу.

пока как-то так...

 

 

[stas2010]

2 часа назад, rozario888 сказал:

добавилось вот это <a href=&quot;https://www

для таких случаев сделал себе в поиске-замене в конце по аналогичной таблице http://miraduga.com/Temp/TablSpec.html замену таких спецсимволов - http://prntscr.com/nq6x1t. теперь на выходе в таблице только текст с самими символами без этих кодов. и добавил такие замены на названия, url, описания

[rozario888]

1 час назад, stas2010 сказал:

для таких случаев сделал себе в поиске-замене

Как вариант попробую в описании такс делать Тут просто изначально этого не видно, потому что в модуле преобразовывает как надо, только уже в файле увидел

[Rassol2]

Только что, rozario888 сказал:

Как вариант попробую в описании такс делать Тут просто изначально этого не видно, потому что в модуле преобразовывает как надо, только уже в файле увидел

это связано с ограничением я не могу выводить в браузере теги без их обработки.
Поскольку браузер будет сам обрабатывать все html теги и ломать верстку страницы. И я должен показывать вам код в виде сущностей. А вот в файл пишу как есть. И есть много тонкостей в переводе кода в сущности. И их специфическое различие от чистого кода. 

[Rassol2]

1 час назад, stas2010 сказал:

для таких случаев сделал себе в поиске-замене в конце по аналогичной таблице http://miraduga.com/Temp/TablSpec.html замену таких спецсимволов - http://prntscr.com/nq6x1t. теперь на выходе в таблице только текст с самими символами без этих кодов. и добавил такие замены на названия, url, описания

может быть я сделаю такую кнопочку которая будет делать это преобразования на уровне модуля. Что бы вым не пришлось писать такие рулоны правил. 
Все зависит от потребностей насколько это будет востребовано. 

[Rassol2]

Обновление 2.3-3_Beta-2

 

Исправлена одна ошибка связанная с определением кодировки сайта спасибо - @Agatha65

 

Настройки парсинга
Так же добавил кнопку сброса пред просмотра в настройках границы парсинга. Она не идеальна она просто сбрасывает выбранные переключатели. 
Нормальное решение этой задачи будет когда возьмусь переписывать эту страницу под ajax тогда уже забью гвоздь в проблему перезагрузки страницы.

 

 

Настройки CSV/Запуск парсинга данных

Внедрил ограничения на имя прайсай при парсинге. 
Теперь кириллические имена файлов вводить не получится. Мало кому это нужно а решение проблемы с кириллицей довольно сложные. 
Если будет негативно встречено занырну в эту тему с головой и сделаю 

 

Выбор кодировки прайса
Так же добавил возможность выбора кодировки для прайса в который вы парсите.

 

По умолчанию стоит как и прежде Windows-1251
Но теперь доступна кодировка UTF-8 
Если будут еше какие то кодировки нужны будем по мере необходимости расширять список. 
Внимание! Для нормального отображения данных в майкрасофт офисе кодировка должна быть установлена Windows-1251 

По сути если вы не знаете что такое кодировка и зачем она нужна вам то настройки по умолчанию будут удовлетворять ваши потребности  

Сделано тоже с подачи -  @Agatha65

 

Вишенка на торте!

Создание хеша с данных что спарились. 

данная функция позволит решить одну из главных проблем которые встречаются при парсинге.

 

 

1. Вы хотите прасить сайт конкурента но не хотите что бы по артикулу можно было определить что вы его спарсили. Но вам нужно обновятся с сайта конкурента. А для этого нужно что бы артикул совпадал. 
Теперь вы можете выбрать захешировать, и выбрать какой длины будет уникальное значение. И этот артикул будет всегда иметь этот хеш. И при обновлении или добавлении товаров у вас не будет проблем с дублями товаров.

2. Более важная задача. У сайта донора нету артикула !

Так или иначе нам нужно как то идентифицировать товар. Нужно как то проводить сравнение товара на сайте поставщика с товаром у вас. 
Для этого можно в артикул загнать название товара. Но как вы понимаете название товара не уникально на всем сайте. И если 2 товара с одинаковым названием будут то при обновлении у вас будет каша. 
Теперь вы можете взять любой код с страницы товара. И произвести хеш. главное что бы это значение было уникально. 
Но это тоже не всегда возможно! По этому вы можете взять к примеру название товара, захешировать. Затем взять главное фото если фото уникально и ссылку на него тоже захешировать. А в настройках прайс листа, или париснга в им указать 2 границы парсинга. 

 

 

Такой артикул будет более чем уникальный. И ненужно ничего придумывать и самому вручную проставлять.
Главное выбрать 2 значение с одной страницы и захешировать их. И склеить в форме. 

Немного о логике. Используется простая функция хеширования MD5 и обрезка до нужного количества символов.
Что бы избежать столкновения значений я сделал ограничение не менее 8 символов в хеше. Этого более чем достаточно.

НО! так же я сделал вариант с 4 символами. Артикул с 4 символами не надежен! Я не рекомендую использовать могут завесить дубли.
Сделана возможность на 4 символа что бы вы могли выбрать 2 границы парсинга захешировать и склеить. И получить на выходе не сильно длинный артикул на 8 символов. 

 

Очень быстро описал потому что мне пора убегать буду вечером отвечу на все вопросы. 

 

PS. это обсуждал вроде в с @stas2010  так что и вам передаю привет  

 

При обновлении необходимо выполнить /inst.php