Jump to content

Recommended Posts

9 часов назад, xandr62 сказал:

Добрый вечер. Подскажите как с помощью поиск/замена убрать символ * и все после него в строке 2.8*2.8. Цифры могут отличаться

можно через регулярки
 

{reg[#\*(.*)#]}|
Спойлер

nCetVpn.png

 

Share this post


Link to post
Share on other sites
2 часа назад, Rassol2 сказал:

можно через регулярки
 

{reg[#\*(.*)#]}|
  Скрыть контент

nCetVpn.png

 

Благодарю)

Share this post


Link to post
Share on other sites
2 часа назад, Rassol2 сказал:

можно через регулярки
 

{reg[#\*(.*)#]}|
  Показать контент

nCetVpn.png

 

 

А есть какая-нибудь инструкция по регуляркам?

Share this post


Link to post
Share on other sites
2 минуты назад, xandr62 сказал:

 

А есть какая-нибудь инструкция по регуляркам?

конечно. Даже книга на 600страниц :)  И это не шутка :)
В самом низу страницы есть ссылка что бы потренироватся. Так же маленькое руководство на скриншоте. И так же вы можете скачать его в виде пдф.

https://simplepars.top/index.php?page=note&note_id=9
 

А вообще можете не стеснятся и просто в гугл регулярные выражения, и найдете тонный готовых решений, и инструкций.
К примеру первое что попало - https://ru.wikibooks.org/wiki/Регулярные_выражения

Share this post


Link to post
Share on other sites

А еще вопрос) У меня парсинг этого значения (к примеру 2.8) записывается в CSV как дата. Воспринимает его как 02.08.2019. 

Как это можно победить? Ставить запятую не вариант - это разделители в атрибутах других товаров

6 часов назад, Rassol2 сказал:

можно через регулярки
 

{reg[#\*(.*)#]}|
  Показать контент

nCetVpn.png

 

 

2019-09-10_16-25-20.png

Share this post


Link to post
Share on other sites
29 минут назад, xandr62 сказал:

А еще вопрос) У меня парсинг этого значения (к примеру 2.8) записывается в CSV как дата. Воспринимает его как 02.08.2019. 

Как это можно победить? Ставить запятую не вариант - это разделители в атрибутах других товаров 

 

 

ну это проблема не модуля, а самого экселя.  Просто используйте другой редактор.  Передавайте привет майкрасофту.

Даже если ивы вручную так запишите эксель воспримет это как дату.

Share this post


Link to post
Share on other sites
4 минуты назад, Rassol2 сказал:

Даже если ивы вручную так запишите эксель воспримет это как дату.

 

Это я понимаю) Думал, что можно как-то указать что это число, а не дата с помощью поиск/замена. 

Share this post


Link to post
Share on other sites
10 минут назад, xandr62 сказал:

 

Это я понимаю) Думал, что можно как-то указать что это число, а не дата с помощью поиск/замена. 

в том то и дело что сам формат csv не подразумевает типы данных.
CSV это по сути обычный текст где договорились что определенный символ делить строку на столбики. А перенос строки говорит о переходе в новую строку. И за счет этого формируется таблица.

Можно обмануть офис добавив в начало приставку rass- а после того как получите новый файл перед тем как куда то его отправлять просто через поиск замену в экселе вырезать все rass-

ну либо использовать офис который не считает себя умнее всех, и ничего не подменяет.

Share this post


Link to post
Share on other sites
В 10.09.2019 в 19:20, Rassol2 сказал:

ну либо использовать офис который не считает себя умнее всех, и ничего не подменяет.

открываете в LibreOffice csv и указываете тип данных в колонках, сохраняете, открываете в Excel - всё буден на своих местах, правда, в некоторых случаях необходимо числа как текст указывать.

  • +1 1

Share this post


Link to post
Share on other sites

Хочу поделиться, может быть кому полезно будет.

У меня на сайте более 1600 товаров, обновлялось около 12 часов. так как идет в 1 поток.

Я уменьшил это время до 2,5 часов.

Создал 4 Проекта, Поделил 1600 ссылок на 4 части. и вставил их в во все 4 проекта по частям.

Открыл каждый проект разными браузерами и запустил каждый, получилось 4 потока. :-o

Еще бы была бы функция ставить парсинг на рефреш, было бы супер !

  • +1 1

Share this post


Link to post
Share on other sites

Добрый день, может кто сталкивался, как решить проблему пересекающихся имен атрибутов в карточке товара при парсинге в им? В карточке товара атрибуты отображаются не в той группе атрибутов. Как вариант, удалить в коде отображение названия группы атрибутов в карточке товара?

 

 

 

 

Edited by stal13
Решено

Share this post


Link to post
Share on other sites
3 часа назад, Gerryley сказал:

Хочу поделиться, может быть кому полезно будет.

У меня на сайте более 1600 товаров, обновлялось около 12 часов. так как идет в 1 поток.

Я уменьшил это время до 2,5 часов.

Создал 4 Проекта, Поделил 1600 ссылок на 4 части. и вставил их в во все 4 проекта по частям.

Открыл каждый проект разными браузерами и запустил каждый, получилось 4 потока. :-o

Еще бы была бы функция ставить парсинг на рефреш, было бы супер !

эта схема известна ))

Но делить ссылки не обязательно. Модуль берет ссылку, обрабатывает после обработки помечает ее в базе данных как спарсенную. После этого модуль обрашается к базе и говорит дай мне еше одно ссылку которая не помечена как спарсенная.
Так вот если одни поток спарсил ссылку то остальным она уже не достанется и в теории можно не делить ссылки.

Но у меня другой вопрос 1600ссылок обновлялось 12 часов ? сколько времени у вас уходит на 1 ссылку ? Это катастрофически медленно. Если у вас конечно не стоит пауза парсинга.

Share this post


Link to post
Share on other sites
2 часа назад, stal13 сказал:

Добрый день, может кто сталкивался, как решить проблему пересекающихся имен атрибутов в карточке товара при парсинге в им?

а в чем проблема то ?
Модуль не создает дубли атрибутов. Или я чего то не понял ?
 

Цитата

В карточке товара атрибуты отображаются не в той группе атрибутов. Как вариант, удалить в коде отображение названия группы атрибутов в карточке товара?

Что бы выбрать в какой группе создавать новые атрибуты вы можете выбрать эту настройку.
ARc9mXg.png

Share this post


Link to post
Share on other sites
49 минут назад, Rassol2 сказал:

эта схема известна ))

Но делить ссылки не обязательно. Модуль берет ссылку, обрабатывает после обработки помечает ее в базе данных как спарсенную. После этого модуль обрашается к базе и говорит дай мне еше одно ссылку которая не помечена как спарсенная.
Так вот если одни поток спарсил ссылку то остальным она уже не достанется и в теории можно не делить ссылки.

Но у меня другой вопрос 1600ссылок обновлялось 12 часов ? сколько времени у вас уходит на 1 ссылку ? Это катастрофически медленно. Если у вас конечно не стоит пауза парсинга.

Парсил 17000 ссылок, около 2 дней) пауза стояла 2-5 секунд, приблизительное время показывалось около 18 часов. По факту вышло так, что рандомно через 100-500 товаров, парсинг замирал, приходилось вручную нажимать стоп и кнопку запуска. В чем проблема была до конца не понимаю, но полагаю как то связано с нагрузкой на базу.

Share this post


Link to post
Share on other sites
52 минуты назад, Inside033 сказал:

Парсил 17000 ссылок, около 2 дней) пауза стояла 2-5 секунд, приблизительное время показывалось около 18 часов. По факту вышло так, что рандомно через 100-500 товаров, парсинг замирал, приходилось вручную нажимать стоп и кнопку запуска. В чем проблема была до конца не понимаю, но полагаю как то связано с нагрузкой на базу.

Здесь есть несолько методов определения.
1. нажать f12 открываете консоль. И если после остановки последняя строка выглядит примерно так

Спойлер

QueBHeI.png


Значит это ошибка модуля. И нужно написать мне что бы я все проверил и поправил.

2. Смотреть логи модуля, действие которое последнее модуль записал в лог.

Если первые два ничего не дают то проблема не в модуле. И нужно смотреть лог сервера, возможно база не выдержала нагрузку или хостер ограничивает вас по ресурсам.

Share this post


Link to post
Share on other sites
59 минут назад, Inside033 сказал:

Парсил 17000 ссылок, около 2 дней) пауза стояла 2-5 секунд, приблизительное время показывалось около 18 часов.

ну это нормально.
Если пауза стоит рандомная, не меньше двух секунт, и не больше пяти. Возьмем среднее 3,5сек
17000*3.5/60/60 получим 16.5часов.
По этому 18 часов это нормально ничего удивительного тут нет. ;-)

Share this post


Link to post
Share on other sites

пауз никаких не ставил.

а не будет такого что одновременно 4 браузера будут хватать 1 и туже ссылку ? 

 

Share this post


Link to post
Share on other sites
6 часов назад, Rassol2 сказал:

эта схема известна ))

Но делить ссылки не обязательно. Модуль берет ссылку, обрабатывает после обработки помечает ее в базе данных как спарсенную. После этого модуль обрашается к базе и говорит дай мне еше одно ссылку которая не помечена как спарсенная.
Так вот если одни поток спарсил ссылку то остальным она уже не достанется и в теории можно не делить ссылки.

Но у меня другой вопрос 1600ссылок обновлялось 12 часов ? сколько времени у вас уходит на 1 ссылку ? Это катастрофически медленно. Если у вас конечно не стоит пауза парсинга.

пауз никаких не ставил.

а не будет такого что одновременно 4 браузера будут хватать 1 и туже ссылку ? 

Share this post


Link to post
Share on other sites
12 минут назад, Gerryley сказал:

пауз никаких не ставил.

а не будет такого что одновременно 4 браузера будут хватать 1 и туже ссылку ? 

Чисто в теории это возможно если первый браузер взял ссылку и начал с ней работать. И в это период второй браузер тоже берет ссылку.
И тогда получается первый еше не пометил ссылку как выполненную

Но если взять даже вот такой сложный момент когда куча всего создается.

Спойлер

teviVjz.png

Модулю требуется меньше 1 секунды.

Вероятность мала. Но если произойдет все же, тогда в игру вступает эта настройка
 

Спойлер

6yoSq0o.png

Если стоит добавить, то после того как модуль скачает страницу он увидит что товар с таким идентификатором уже существует, и проигнорирует его.
А если стоит обновлять. То тут вообще проблемы не вижу :)

Share this post


Link to post
Share on other sites
11 минут назад, Rassol2 сказал:

Чисто в теории это возможно если первый браузер взял ссылку и начал с ней работать. И в это период второй браузер тоже берет ссылку.
И тогда получается первый еше не пометил ссылку как выполненную

Но если взять даже вот такой сложный момент когда куча всего создается.

  Скрыть контент

teviVjz.png

Модулю требуется меньше 1 секунды.

Вероятность мала. Но если произойдет все же, тогда в игру вступает эта настройка
 

  Скрыть контент

6yoSq0o.png

Если стоит добавить, то после того как модуль скачает страницу он увидит что товар с таким идентификатором уже существует, и проигнорирует его.
А если стоит обновлять. То тут вообще проблемы не вижу :)

я пробовал обший список ссылок разными браузерами.

Все таки мне больше понравился вариант в 4 потока с поделенными ссылками. :-)

Share this post


Link to post
Share on other sites
Только что, Gerryley сказал:

я пробовал обший список ссылок разными браузерами.

Все таки мне больше понравился вариант в 4 потока с поделенными ссылками. 

Как вам будет удобно :)

Share this post


Link to post
Share on other sites

Обновление 2.8_beta

Парсинг в ИМ
Наконец то добавлены опции. Это только первая реализация работы с опциями. Дальше будем развивать ее, и обновлять.
Половина фунции тестировалось когда я болел, так что возможны косячки в работе с опциями. Но если вы мне сообщите о каких то недочетах я с радостью все поправлю. ;-)

Прасинг опций

Ссылка на заметку на моем сайте - https://simplepars.top/index.php?page=note&note_id=12

 

Из за особенностей структуры опций, и как они представляются на сайтах донорах, я сделал около 7 различных вариаций интерфейсов по работе с опциями. После тестирования алгоритма парсинга опций и интерфейсов критику выдержал только один.
Опции содержат сложную структура и там используются два типа данных.

 

Одно значение - Просто строка, или слово. Обычный текст.
Много значений - Текст разделенный {csvnc} , или же повторяющаяся граница парсинга.

Собственно интерфейс.

dtk06tV.png

На данный момент заведен минимум по работе с опциями, и в дальнейшем будет развивается от ваших потребностей.

  1. Действие - тут два варианта. Добавляем, обновляем, создаем опции или игнорируем опции. По умолчанию опции отключены.
  2. Обязательная опция - этот переключатель отвечает за то что бы сделать опцию обязательной при покупке товара, или пользователь может купить товар не выбирая опцию.
  3. Имя опции - Сюда вы можете указать границу парсинга в которой вы парсите имя опции. Или же вы можете выбрать опцию из уже существующих у вас в магазине. Выбор одной из существующих осуществляется в выпадающем списку под пунктом 7
    Так же нужно понимать что имя опции это обычная граница парсинга.
  4. Значение опции - Значения опции, разделенные символом {csvnc} или повторяющаяся граница парсинга.
  5. Цена опции - Цена каждого значения опции, разделенные символом {csvnc} или повторяющаяся граница парсинга.
  6. Колво опций - Количество каждого значения опции, разделенные символом {csvnc} или повторяющаяся граница парсинга. (по умолчанию считается 10шт)
  7. Выбор опции - если вы не можете спарсить имя опции с сайта донора, вы можете сами выбрать опция из списка созданных у вас в магазине. И все спарсенные данные будут записаны в эту опцию и эта опция будет добавлена вам в товар.
    Так же нужно понимать что выбранная опция из списка имеет выше приоритет над полем 3 И если вы выбрали из списка модулю все равно что попадет в границу парсинга. И поле 3 можно не указывать.
  8. Здесь вы можете выбрать по стандарту Opencart спарсенная цена опции будет приплюсовать к основной, или минусовый.
  9. Добавить новые поля для второй и последующих опций, в товаре

Логика работы.

Имя опции это обычная граница парсинга с текстом так что на ней заострять внимание не будет, перейду сразу к основному посылку который нужно понять. Кто понял логику работы атрибутов может выдохнуть, поскольку работа с опциями этот та же самая схема что и в работе с атрибутами только модернизированная под опции.

Каждая опция имеет множество значений.
Каждое значение имеет свою цену
Каждое значение имеет свое количество.

Структурно это выглядит так.

Прасинг опций в интернет магазин

В поле Значение опции должна попадать строка такого типа.
Значение1{csvnc}Значение2{csvnc}Значение3

В поле Цена опции должна попадать строка такого же типа как и у значения, где одна цена отделена {csvnc} от другой.
150р{csvnc}200р{csvnc}250р
Но так же нужно понимать что первая цена будет присвоена первому значениею опции, вторая второму, третья третьему и тд.
То есть порядок значений опций. И порядок цен, и кол-ва должен быть идентичен.

 

В поле Колво опций должна попадать строка как и у цены, через разделитель {csvnc}
0шт{csvnc}10шт{csvnc}3шт

 

Внимание!!! Запись через разделитель {csvnc} может быть заменена просто на повторяющуюся границу парсинга. Как показано на первом скриншоте.

 

Если вы указали верно настройки то на вкладке пред просмотра вы сможете увидеть как модуль запишет опции.
Для демонстрации я заполнил сразу 4 опции, и вот как это будет видно в режиме пред просмотра парсинга в ИМ EyWHG9S.png

Логи

При работе модуль с опциями я уделил отдельное внимание логированию. Модуль отдает максимально полную информацию по работе модуля с логами. 75wxs9X.png

Для создания опции обязательно должны быть такие данные.

  1. Имя опции или же выбрана опция из выпадающего списка.
  2. Значение опции.
    Без этих двух пунктов модуль не будет добавлять опции в товар.
    Остальные данные не обязательны.

 

Страница пред просмотра.

На странице пред просмотра парсинга в ИМ кроме опций добавлен еше пред просмотр настроек SEO Шаблонов.
 

Спойлер

0ELutAA.png


Настройки парсинга в ИМ
Для большего комфорта при настроек, выбор границы париснга вынесен сразу за поле куда его нужно вписать. И этот стиль перенесен во все вкладки это страницы.
 

Спойлер

fGkc7eI.png



Для обновления обязательно выполнить mysite.ru/inst.php
 

Теперь я могу переходить к разработке прокси и всяких фишек для парсинга с авторизацией. :-o
Конечно же все замечания и доработки по опциям будут вносится.


Жду ваши лайки, подписки, репосты :-D А если серьезно то буду рад услышать идеи, конструктивную критику.
 

  • +1 2

Share this post


Link to post
Share on other sites
21 минуту назад, Inside033 сказал:

Шикарно!! Все мы этого очень ждали!! Потестируем))

Больше всех я.
Потому что работать над опциями это ад. Особенно по части тестирования. Более сложной и глупой системы как в опенкарт я не могу представить. Зачем они так реализовали работу с опциями я не понимаю. Просто жесть, что там под капотом.

 

 

20 минут назад, hippvik сказал:

:-oСупер!!!!!!!

:-o

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By GeorgyM
      Написать личное сообщение КЛИК
      Вы можете задать мне любые вопросы в личном сообщении.
      Я постоянно присутствую на форуме.
      ============================================-=====================================
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
       
         
       
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      Укажите сайт, с которого нужно собрать данные (Домен)
      Укажите дополнительные пожелания   
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
    • By GeorgyM
      500.00 руб
      Скачать/Купить дополнение


      Парсинг для Opencart : загрузка товаров / статей, для Опенкарт, OcStore, v.1.x, 2.x, 3.x
      Написать личное сообщение КЛИК
      Вы можете задать мне любые вопросы в личном сообщении.
      Я постоянно присутствую на форуме.
      ============================================-=====================================
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
       
         
       
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      Укажите сайт, с которого нужно собрать данные (Домен)
      Укажите дополнительные пожелания   
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
      Добавил GeorgyM Добавлено 22.08.2017 Категория Услуги  
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.