Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Тут артикул в ссылке:

https://autosteering.ru/3000-016-054

тут номер модели марка и модель авто

https://www.ebay.com/itm/Genuine-Melett-UK-Turbo-CHRA-800854-0002-801374-0003-4-Renault-Kangoo-Clio/323043152528?hash=item4b36df5290:g:TkwAAOSwR2RaOPLQ

тут и имя производителя, модель, модель и марка авто

https://tehnichka-express.ru/product/kartridzh-turbiny-jrone-tb4122-mercedes-om422la-om402la/

 

Змінено користувачем ArgoDon
Надіслати
Поділитися на інших сайтах


2 минуты назад, ArgoDon сказал:

Тут артикул в ссылке:

https://autosteering.ru/3000-016-054

C этим проше всего добавить не должно быть в ссылке 
/catalog/

/discount_products

/blog

/p/
остальные ссылки вроде на товар.
Если сильно захохочете можете еше добавить что в ссылке ДОЛЖНО быть

-

 

6 минут назад, ArgoDon сказал:

У ибей все товары начинаются имеют /itm/ так что просто добавлять ссылки с 
/itm/

 

8 минут назад, ArgoDon сказал:

тут и имя производителя модель и марка авто

https://tehnichka-express.ru/product/kartridzh-turbiny-jrone-tb4122-mercedes-om422la-om402la/

Все товары имеют в ссылке /product/

Надіслати
Поділитися на інших сайтах

21 минуту назад, Rassol2 сказал:

C этим проше всего добавить не должно быть в ссылке 
/catalog/

/discount_products

/blog

/p/

 

у них там тьма не нужных мне товаров с ссылками такого формата, а как, сборщику ссылок  указать , что мне надо только ссылки  вида-  host.ru/XXXX-XXXX-XXXX

а ссылки вида -   host.ru/X-XXXX          или  host.ru/X-XXXXXXXXX  мне не подходят

 

Надіслати
Поділитися на інших сайтах


Только что, ArgoDon сказал:

у них там тьма не нужных мне товаров с ссылками такого формата, а как, сборщику ссылок  указать , что мне надо только ссылки  вида-  host.ru/XXXX-XXXX-XXXX

а ссылки вида -   host.ru/X-XXXX          или  host.ru/X-XXXXXXXXX  мне не подходят

 

на данном этапе именно вот так не получится. 
Я подумаю над реализацией в будущем. 
Все зависит от спроса на такой колонизатор в поиске ссылок. 

Надіслати
Поділитися на інших сайтах

6 часов назад, Rassol2 сказал:

на данном этапе именно вот так не получится. 
Я подумаю над реализацией в будущем. 
Все зависит от спроса на такой колонизатор в поиске ссылок. 

а нельзя ли после сбора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

Надіслати
Поділитися на інших сайтах


10 часов назад, ArgoDon сказал:

а нельзя ли после сбора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

Да конечно можно.

Копируете.
http://joxi.ru/DrlowK5fVvpVnA

и вставляете в эксель.
1524796311__2018-12-26_08-27-41.png.d10b2f91824259826f87de5b8121bb79.png

делаете что хотите затем обратно вставляете и жмете сохранить.
http://joxi.ru/eAOYZEpu9xN9om

Надіслати
Поділитися на інших сайтах

В 24.12.2018 в 23:38, Rassol2 сказал:

Файл лежит в /admin/uploads/ можно зайти через ftp и скачать. 
Сделано для совместимости с АОП 

Спасибо огромное! Все получилось, я собрала в файл ссылки, названия товара и артикулы. Гениально! 

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А дело было в том, что первый раз назвала файл кирилицей. Со второго раза - переименовала и запустила парсинг снова. Все получилось! 

Спасибо - спасибо! Пойду снова изучать АОП. 

Но я вернусь) у меня еще 2 поставщика в планах заливать на сайт. 

 

PS: модуль гениальный. Даже домохозяйка разберется, если есть огромное желание автоматизировать процессы сбора информации, а не набивать ручками тысячи товаров. 

Спасибо Автору за помощь!

  • +1 2
Надіслати
Поділитися на інших сайтах


1 минуту назад, Eugeniyaya сказал:

Спасибо огромное! Все получилось, я собрала в файл ссылки, названия товара и артикулы. Гениально! 

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А дело было в том, что первый раз назвала файл кирилицей. Со второго раза - переименовала и запустила парсинг снова. Все получилось! 

Спасибо - спасибо! Пойду снова изучать АОП. 

Но я вернусь) у меня еще 2 поставщика в планах заливать на сайт. 

 

PS: модуль гениальный. Даже домохозяйка разберется, если есть огромное желание автоматизировать процессы сбора информации, а не набивать ручками тысячи товаров. 

Спасибо Автору за помощь!

не за что.
рад был помочь.

Надіслати
Поділитися на інших сайтах

2 минуты назад, Eugeniyaya сказал:

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А дело было в том, что первый раз назвала файл кирилицей.

Этот баг уже известен и будет исправлен в будущих версия. 
 

Надіслати
Поділитися на інших сайтах

1 час назад, Rassol2 сказал:
11 часов назад, ArgoDon сказал:

а нельзя ли после сбора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

Да конечно можно.

Да, только у меня при копировании почти 14 000 ссылок записались в базу только около 9000 шт,
остальное не успевало записываться в базу за отведенное время.
---
Вчера у меня закончился парсинг моих 96595 ссылок с 9 параметрами парсинга,
Файл получился на 160 Мб

Все спарсилось на УРА,
Все 96595 ссылок.
---
Сегодня обновлю версию и начну еще один стресс тест )

--
Спасибо большое за модуль

  • +1 1
Надіслати
Поділитися на інших сайтах


1 минуту назад, kikaridza123 сказал:

Да, только у меня при копировании почти 14 000 ссылок записались в базу только около 9000 шт,
остальное не успевало записываться в базу за отведенное время.
---
Вчера у меня закончился парсинг моих 96595 ссылок с 9 параметрами парсинга,
Файл получился на 160 Мб

Все спарсилось на УРА,
Все 96595 ссылок.
---
Сегодня обновлю версию и начну еще один стресс тест )

--
Спасибо большое за модуль

минуту назад выложил новую версию. 
Еше до конца не от тестированную, так что удачи )))

 

Сейчас опишу что там нового наворотил. Обновление отнес к глобальным. 

Надіслати
Поділитися на інших сайтах

Ну что же пришло еше одно важно обновление.  Версия 1.2
 

Мелочи.
1. Теперь лог файлы создаются на по дням. А просто по форме. И существуют пока вы их не удалите. 
2. Для удобства настройки парсинга добавлена возможность открыть ссылку в новой вкладке. 

Навряд ли всем будет хватать возможностей модуля в поиске нужных тегов. И я добавил возможность открыть любую ссылку в новой вкладке по клику. 
Как это работает.

Спойлер

a5b3c6ffd7.png.41d041e3c45077876d168968d2f51b8b.png


Для того что бы открыть код страницы вы жмете в области 1, а для того что бы открыть ссылку в новой вкладке вам нужно кликнуть в области 2, на цифру между скобками [10]
На этом наверное мелочи все. Не помню уже ))

теперь обновления по важнее.

Добавлена функция Поиск/Замена.

 

 

Спойлер

64a3f51980.thumb.png.96b56f89a3a9a0ea5d7da8570e3a1718.png


Это только начало данной функции в ближайших апдейтах будет расширятся функционал. Но сейчас опишу что эта функция умеет и для чего она вообще нужна. 


Раньше мы парсили сайт донора и могли получить только те данные что там есть. И никак повлиять на это у нас не было возможности. 
785c565666.thumb.png.d133f2d6b312bb0033a131ceb8cf7cf5.png


А сейчас попробуем повлиять. 

1. В колонке изображение мы видим ссылку вида
image/cache/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result-800x800-w-30-0-0.jpg
такую ссылку даже АОП не может распознать и загрузить товар. И это нужно исправлять. :) 
теперь вы можете указать любой текст в начало или в конец спасенных данных. Это касается как обычных так и повторяющих границ парсинга. 

Что бы добавить правила поиск замена вам нужно нажать на значок рядом с выбранной границей в настройках csv .

 

Спойлер

c005ed89f3.thumb.png.6bdec235fb987cdf5dbdd23c400553fe.png

 

После чего внесем изменения, и добавим в начало каждой ссылки https://svetavto.com.ua/

Спойлер

be3ff56d79.thumb.png.6552c80e4f16e2f34bf26b92b9bbee87.png


И жмем сохранить.

Дальше в пред просмотре вы уже увидите. Полноценную кликабельную ссылку. И ее спокойно можете скушать модуль аоп. 
https://svetavto.com.ua/image/cache/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result-800x800-w-30-0-0.jpg

Многие знают что если убрать определенные части ссылки на фото можно получить путь к фото без водного знака. 
В данном случаи это 
cache/

-800x800-w-30-0-0
Если удалить с ссылки на фото эти части тогда мы получим оригинальное фото, без водного знака. 

И вот в этом нам может помочь функция Поиск/Замена
Делаем такие настройки:
 

Спойлер

7971d9001e.thumb.png.fd00c6e0431697d0466b0bec55fa2513.png

и получас ссылку на фото без водного знака. Сразу же в CSV
https://svetavto.com.ua/image/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result.jpg

 

Пришло время описать синтаксис поля поиск замена.

1. Каждое правило записывается с новой строки.
2. Если вы хотите заменить что то то вы указываете что заменить затем Прямой слеш и на что заменить. К примеру давайте заменим Дима на Богдан правило будет выглядеть так. Дима|Богдан

На скриншоте выше видно как я меняю строки на пустоту. НА НИЧЕГО. То есть просто удаляю.

cache/|

-800x800-w-30-0-0|

 

Внимание!!! Кто сильно чувствительный к страшным словам как программирование, код, консоль, и подобные. Пункт 3 можете пропускать, что бы не показалось вам что все очень сложно и не понятно. В пункте 3 описана фунция которая поможет в 0.01% случаем. Специально от чувствительных прячу этот пункт под спойлер.
 

Спойлер

3. Если вам нужно будет заменить символ | на что то к примеру на !
Вам нужно будет перед символов | поставить экранирующий символ то есть \| вот такое написание модуль будет рассматривать как просто символ | который нужно заменять.
То есть Экранирующий символ в этой функции \
Все сделано в классическом стиле экранирующего символа. :)


Так давайте для примера заменим в артикуле первые 2 нуля на слово привет. 
Пишем
00|привет
и сохраняем.

И давайте на последок уберем html теги с описания. 
Добавляем в Поиск/Замену границы парсинга ОПИСАНИЕ следующий текст. 
<p>|
<br/>|
<br/>|
</p>|


После таких не хитрых манипуляций мы можем получить уже поправленный прайс лист.
Без html тегов, которые вам не нужны. Добавить полный путь к фото, Даже получить фото без водного знака,  

Да что угодно в принципе. 
Вот так будет выглядеть наш пред просмотр после внесения правок. 
7047dd9bdd.thumb.png.7254c35b13b684be6e4c9ab33f9b19e7.png

А дальше только ваша фантазия. 

PS. поиск замена можно увидеть в пред просмотре CSV а вот на странице Настройка прасинга в пред просмотре вы вы не увидите этого. 
Поскольку поиск замена не участвует в прд просмотре указывания границ парсинга. То есть в том пред просмотре вы будете видеть конкретно те куски кода что вы получаете после выбора границ.
Я дума. так правильно. 

Жду ваши лайки дизлайки :) 

  • +1 3
Надіслати
Поділитися на інших сайтах

@Rassol2 Круто! С расширением функционала однозначна понадобится инструкция и страница с популярными вопросами.

 

А теперь вопрос, следуя из примера выше: 

Если артикул будет 004100 и применить замену на слово "Привет", то замена сработает до конца границы или при первом срабатывании только?

Т.е. в конце получим Привет4100 или Привет41Привет ? :)

 

И еще, будет ли в будущем тег {skip} для обычной и повторяющейся границы?

Надіслати
Поділитися на інших сайтах


6 минут назад, Nomandvs сказал:

А теперь вопрос, следуя из примера выше: 

Если артикул будет 004100 и применить замену на слово "Привет", то замена сработает до конца границы или при первом срабатывании только?

Т.е. в конце получим Привет4100 или Привет41Привет :)

Все вхождения будут заменены.
привет41привет

 

6 минут назад, Nomandvs сказал:

И еще, будет ли в будущем тег {skip} для обычной и повторяющейся границы?

однозначно будет. 
Все к этому готовлю. Это появиться в ближайших минорных обновлениях. 
пока что только 
{skip} Любое вхождение.
{br} перенос строки (Это пока не знаю как реализовать но что то придумаю)

Мне было бы проше просто вставить всю мощь регулярных выражений. Но боюсь что никто этого не оценит :)

Надіслати
Поділитися на інших сайтах

1 час назад, Rassol2 сказал:

лайки

https://www.sravni.ru/osago/vybor-regiona/

http://prntscr.com/lzn99c
Чет у меня с такого сайта не хочет собирать ссылки,
что-то не правильно сделал?

Надіслати
Поділитися на інших сайтах


1 минуту назад, kikaridza123 сказал:

https://www.sravni.ru/osago/vybor-regiona/

http://prntscr.com/lzn99c
Чет у меня с такого сайта не хочет собирать ссылки,
что-то не правильно сделал?

что то локальное. (предполагаю)
http://joxi.ru/4AkoVLBfoyvqkA

У меня запустилось. Единственное первая ссылка что указана в этом посте парсилась секунд 20 

Надіслати
Поділитися на інших сайтах

2 минуты назад, Rassol2 сказал:

что то локальное.

2018-12-26 12:48:50| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://www.sravni.ru/osago/vybor-regiona/

Надіслати
Поділитися на інших сайтах


@Nomandvs
Для наглядности берем тот же пример 
http://joxi.ru/gmvvL1JhqL9PYm

И для артикула указываем правило
http://joxi.ru/n2YayLKSboqvY2

В результате получим.
http://joxi.ru/5mdYl1ju3kb9q2

Надіслати
Поділитися на інших сайтах

7 минут назад, kikaridza123 сказал:

2018-12-26 12:48:50| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | https://www.sravni.ru/osago/vybor-regiona/

а другую ссылку с этого сайта ?

Код ответа [0] - это когда базовая ошибка в curl к примеру неправильная ссылка. Но тут вроде ссылка верна. И лишних пробелов нет. 


ЗЫ. ошибку НЕИЗВЕТНЫЙ -> НЕИЗВЕСТНЫЙ в будущем обновлении. 

Надіслати
Поділитися на інших сайтах

15 минут назад, Rassol2 сказал:

@Nomandvs
Для наглядности берем тот же пример 
http://joxi.ru/gmvvL1JhqL9PYm

И для артикула указываем правило
http://joxi.ru/n2YayLKSboqvY2

В результате получим.
http://joxi.ru/5mdYl1ju3kb9q2

Очень хорошо. Спросил выше для уточнения, сам пользуюсь CD активно. 

А по поводу регулярных выражений - можно на будущее оставить. Как появится интерес/потребность у пользователей, тогда уже реализовать.

Надіслати
Поділитися на інших сайтах


В 26.12.2018 в 12:21, Nomandvs сказал:

Очень хорошо. Спросил выше для уточнения, сам пользуюсь CD активно. 

А по поводу регулярных выражений - можно на будущее оставить. Как появится интерес/потребность у пользователей, тогда уже реализовать.

Да наверное реализую. Но пока острой нужды нету. 

Надіслати
Поділитися на інших сайтах

ставлю модуль на 2.1. после "Менеджер дополнений", и нажмите Обновить.  получаю такую строку-   Fatal error: Cannot redeclare ModelCatalogProduct::getMaxModel() in /home/virtwww/w_мой_сайт_912b184d/http/system/storage/modification/admin/model/catalog/product.php on line 386

можно ли как-то вылечить ? сам сайт после этого работает, а в админку уже не пускает ...

Змінено користувачем ArgoDon
Надіслати
Поділитися на інших сайтах


44 минуты назад, ArgoDon сказал:

ставлю модуль на 2.1. после "Менеджер дополнений", и нажмите Обновить.  получаю такую строку-   Fatal error: Cannot redeclare ModelCatalogProduct::getMaxModel() in /home/virtwww/w_мой_сайт_912b184d/http/system/storage/modification/admin/model/catalog/product.php on line 386

можно ли как-то вылечить ? сам сайт после этого работает, а в админку уже не пускает ...

наверное можно, но это не касается моего модуля.
Я никоим образом не влияю на файл указанный в ошибке 
/admin/model/catalog/product.php 

Причина в чем то другом. 

Надіслати
Поділитися на інших сайтах

6 часов назад, ArgoDon сказал:

сайт , то я отбэкаплю, админка заработает, но очень хочется этот модуль на этом сайте ))) , прошу в личку...

 

дак а чем я вам могу помочь если ошибку создает не мой модуль ? 
 

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.