Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Recommended Posts

30 хвилин назад, Rassol2 сказав:

Здравствуйте.
Скиньте мне в ЛС форму настройки, и номер заказа модуля. Я все посмотрю и за одно скину вам лицензионный ключ.

Доступ уточню у клиента, я делаю на старой версии видимо так как ключ не просит, может намекнете как привязать айди к цене?

 

3872,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x80 \u0441\u043c","dimension":"","price":{"id":3872,"price":11910,"old_price":15880,"base_price":6486,"currencyPostfix":""},"is_discount":"1"},"3873":{"id":3873,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x90 \u0441\u043c","dimension":"","price":{"id":3873,"price":13043,"old_price":17390,"base_price":7101,"currencyPostfix":""},"is_discount":"1"},"3874":{"id":3874,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x120 \u0441\u043c","dimension":"","price":{"id":3874,"price":16995,"old_price":22660,"base_price":9255,"currencyPostfix":""},"is_discount":"1"},"3875":{"id":3875,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x140 \u0441\u043c","dimension":"","price":{"id":3875,"price":19868,"old_price":26490,"base_price":10821,"currencyPostfix":""},"is_discount":"1"},"3876":{"id":3876,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x160 \u0441\u043c","dimension":"","price":{"id":3876,"price":22605,"old_price":30140,"base_price":12311,"currencyPostfix":""},"is_discount":"1"},"3877":{"id":3877,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x80 \u0441\u043c","dimension":"","price":{"id":3877,"price":11910,"old_price":15880,"base_price":6486,"currencyPostfix":""},"is_discount":"1"},"3878":{"id":3878,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x90 \u0441\u043c","dimension":"","price":{"id":3878,"price":13043,"old_price":17390,"base_price":7101,"currencyPostfix":""},"is_discount":"1"},"3879":{"id":3879,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x120 \u0441\u043c","dimension":"","price":{"id":3879,"price":16995,"old_price":22660,"base_price":9255,"currencyPostfix":""},"is_discount":"1"},"3880":{"id":3880,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x140 \u0441\u043c","dimension":"","price":{"id":3880,"price":19868,"old_price":26490,"base_price":10821,"currencyPostfix":""},"is_discount":"1"},"3881":{"id":3881,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x160 \u0441\u043c","dimension":"","price":{"id":3881,"price":22605,"old_price":30140,"base_price":12311,"currencyPostfix":""},"is_discount":"1"},"3883":{"id":3883,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x180 \u0441\u043c","dimension":"","price":{"id":3883,"price":25755,"old_price":34340,"base_price":14026,"currencyPostfix":""},"is_discount":"1"},"3884":{"id":3884,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x200 \u0441\u043c","dimension":"","price":{"id":3884,"price":28343,"old_price":37790,"base_price":15438,"currencyPostfix":""},"is_discount":"1"}};
				  window.disabledBasket = window.disabledBasket 
<script type="text/javascript">
  window.offers = window.offers || [];
  window.offers[460] = {"3872":{"id":3872,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x80 \u0441\u043c","dimension":"","price":{"id":3872,"price":11910,"old_price":15880,"base_price":6486,"currencyPostfix":""},"is_discount":"1"},"3873":{"id":3873,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x90 \u0441\u043c","dimension":"","price":{"id":3873,"price":13043,"old_price":17390,"base_price":7101,"currencyPostfix":""},"is_discount":"1"},"3874":{"id":3874,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x120 \u0441\u043c","dimension":"","price":{"id":3874,"price":16995,"old_price":22660,"base_price":9255,"currencyPostfix":""},"is_discount":"1"},"3875":{"id":3875,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x140 \u0441\u043c","dimension":"","price":{"id":3875,"price":19868,"old_price":26490,"base_price":10821,"currencyPostfix":""},"is_discount":"1"},"3876":{"id":3876,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"195x160 \u0441\u043c","dimension":"","price":{"id":3876,"price":22605,"old_price":30140,"base_price":12311,"currencyPostfix":""},"is_discount":"1"},"3877":{"id":3877,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x80 \u0441\u043c","dimension":"","price":{"id":3877,"price":11910,"old_price":15880,"base_price":6486,"currencyPostfix":""},"is_discount":"1"},"3878":{"id":3878,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x90 \u0441\u043c","dimension":"","price":{"id":3878,"price":13043,"old_price":17390,"base_price":7101,"currencyPostfix":""},"is_discount":"1"},"3879":{"id":3879,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x120 \u0441\u043c","dimension":"","price":{"id":3879,"price":16995,"old_price":22660,"base_price":9255,"currencyPostfix":""},"is_discount":"1"},"3880":{"id":3880,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x140 \u0441\u043c","dimension":"","price":{"id":3880,"price":19868,"old_price":26490,"base_price":10821,"currencyPostfix":""},"is_discount":"1"},"3881":{"id":3881,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x160 \u0441\u043c","dimension":"","price":{"id":3881,"price":22605,"old_price":30140,"base_price":12311,"currencyPostfix":""},"is_discount":"1"},"3883":{"id":3883,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x180 \u0441\u043c","dimension":"","price":{"id":3883,"price":25755,"old_price":34340,"base_price":14026,"currencyPostfix":""},"is_discount":"1"},"3884":{"id":3884,"material_id":0,"color_id":0,"onlay_id":0,"transformation_id":0,"size":"200x200 \u0441\u043c","dimension":"","price":{"id":3884,"price":28343,"old_price":37790,"base_price":15438,"currencyPostfix":""},"is_discount":"1"}};
  window.disabledBasket = window.disabledBasket || [];
  window.disabledBasket[460] = 0;
  window.extendedSetOffers = window.extendedSetOffers || [];
  window.extendedSetOffers[460] = [];
  window.offers_sort = window.offers_sort || [];
  window.offers_sort[460] = [3872,3873,3874,3875,3876,3877,3878,3879,3880,3881,3883,3884];
  window.products = window.products || [];
  window.products[460] = {"price":{"id":460,"price":11910,"old_price":15880,"base_price":0,"is_calc":1,"currencyPostfix":""},"is_discount":"1","stat_name":"\u041c\u0430\u0442\u0440\u0430\u0441\u044b \u00ab\u0422\u043e\u043d\u0443\u0441\u00bb","stat_url":"https:\/\/moscow.pinskdrev.ru\/catalog\/onlayn-rasprodaja\/matrats-tonus\/","stat_amount":11910,"stat_img":"https:\/\/moscow.pinskdrev.ru\/web\/catalogfiles\/catalog\/products\/tonus5be12997bc2e1.jpg","stat_id":460};
  window.materials = window.materials || [];
  window.materials[460] = [];
  window.colors = window.colors || [];
  window.colors[460] = [];
  window.onlays = window.onlays || [];
  window.onlays[460] = [];
  window.transformations = window.transformations || [];
  window.transformations[460] = [];
  window.sizes = window.sizes || [];
  window.sizes[460] = [{"id":"195x80 \u0441\u043c","title":"195x80 \u0441\u043c"},{"id":"195x90 \u0441\u043c","title":"195x90 \u0441\u043c"},{"id":"195x120 \u0441\u043c","title":"195x120 \u0441\u043c"},{"id":"195x140 \u0441\u043c","title":"195x140 \u0441\u043c"},{"id":"195x160 \u0441\u043c","title":"195x160 \u0441\u043c"},{"id":"200x80 \u0441\u043c","title":"200x80 \u0441\u043c"},{"id":"200x90 \u0441\u043c","title":"200x90 \u0441\u043c"},{"id":"200x120 \u0441\u043c","title":"200x120 \u0441\u043c"},{"id":"200x140 \u0441\u043c","title":"200x140 \u0441\u043c"},{"id":"200x160 \u0441\u043c","title":"200x160 \u0441\u043c"},{"id":"200x180 \u0441\u043c","title":"200x180 \u0441\u043c"},{"id":"200x200 \u0441\u043c","title":"200x200 \u0441\u043c"}];
  window.dimensions = window.dimensions || [];
  window.dimensions[460] = [];
  window.currency = '<span class="rub">руб. </span>';
  window.messages = window.messages || [];
  window.messages['offerDoesNotExist'] = 'Предложения с таким набором параметров не существует';
  window.messages['offerIsNotSelected'] = 'Выберите торговое предложение';
  window.messages['unknownError'] = 'Неизвестная ошибка. Свяжитесь с администратором';
  window.messages['chooseProductText'] = 'Добавить в набор';
  window.messages['offerCountText3'] = 'предметов';
  window.messages['offerCountText2'] = 'предмета';
  window.messages['offerCountText1'] = 'предмет';
  </script>
Link to post
Share on other sites

  • Replies 8.1k
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Ну что займу первый пост. Поскольку модуль все же выложил ушел писать инструкцию к этому франкенштейну. Может кому то пригодится  PS. Чуть не забыл. Кому пригодился нажмите палец верх 

1960 Скачать/Купить дополнение SimplePars - Универсальный парсер для ИМ Модуль SimplePars предназначен для

Обновление v4.0-12_beta Главная страница. Немного переработал убогость главной страницы.   Теперь с этой страницы можно сразу же отключить крон, если собираетесь работать вручную. Так

Posted Images

@bodyak0 Это сделать возможно, я так понимаю вам нужно вот так связать.
 

Спойлер

9pVS7hO.png


Здесь нужно настраивать границы парсинга + поиск замену.
Как уточните про лицензию модуля тогда скинете данные настройки и я вам поправлю.

Буду ждать сообщения от владельца модуля, того кто покупал.

Поскольку у меня много пользователей приоритет все же на тех кто поддержал проект покупкой модуля. Я думаю все меня поймут.
Буду ждать сообщения.
 

Link to post
Share on other sites

после 2-го поточного парсинга ссылок донор заблокировал, никакие настройки не работают, прокси платные так же, какие варианты есть?

2020-01-26 00:09:29| Парсинг : ОШИБКА | Прокси = [84.252.70.108:21***] | Неправильный запрос. Ответ сервера [400] Ссылка | https://www.озon.ru/category/telefony-i-smart-chasy-15501/?iscrossbord

Link to post
Share on other sites

20 минут назад, sotavip сказал:

после 2-го поточного парсинга ссылок донор заблокировал, никакие настройки не работают, прокси платные так же, какие варианты есть?

2020-01-26 00:09:29| Парсинг : ОШИБКА | Прокси = [84.252.70.108:21***] | Неправильный запрос. Ответ сервера [400] Ссылка | https://www.озon.ru/category/telefony-i-smart-chasy-15501/?iscrossbord

Для того что бы проверить прокси подходят они или нет в модуле реализован прокси чекер.
Можете брать бесплатные прокси и прогонять по прокси чекеру в поиске тех что будут работать.

Затем использовать их.
Поскольку прокси это тонкая тема есть куча баз данных по прокси, и сайты которые сильно беспокоятся за свой контент изначально записывают все ip которые засветились в проксировании в белек лист. И платные тоже не исключение.

Самый лучший вариант это не доводить до работы через прокси. А если уже случилось тогда ищите рабочие прокси прогоняйте их.
Так потихоньку соберете базу из рабочих и парсите, только уже аккуратнее. Потому что донор может и их банить.

Еше как вариант если донор стоит на хостинге то возможно бан не надолго, сутки двое. Поскольку из за вас данный ip попадает в бан и страдают другие сайты на которые могут зайти пользователи от вашего провайдера. По этому хостеры частенько ставят только временные блоки.

Link to post
Share on other sites
В 20.01.2020 в 17:26, Rassol2 сказал:

Загрузить его в корень интернет магазина на локальной машине.
И выполнить, то есть вызвать его
вашсайт.ру/openserver_boost.php
После чего скорость сбора ссылок возрастет до небес ))

 

Подскажите пожалуйста, для локальщиков,  это после каждого обновления надо повторять, или оно сохраняется ?

Link to post
Share on other sites

1 минуту назад, Djek сказал:

 

Подскажите пожалуйста, для локальщиков,  это после каждого обновления надо повторять, или оно сохраняется ?

Должно сохранятся. А что есть проблемы ?

Link to post
Share on other sites
В 26.01.2020 в 05:16, sotavip сказал:

после 2-го поточного парсинга ссылок донор заблокировал, никакие настройки не работают, прокси платные так же, какие варианты есть?

2020-01-26 00:09:29| Парсинг : ОШИБКА | Прокси = [84.252.70.108:21***] | Неправильный запрос. Ответ сервера [400] Ссылка | https://www.озon.ru/category/telefony-i-smart-chasy-15501/?iscrossbord

 

приветствую! такая ситуация, с одного хостинга парсится с другого нет, с одними и теми же прокси, прокси платные использую.

 хостинги на которые хочу переехать (с большим пространством )там оzон сразу  блокирует и загрузку страниц обрезает с таким сообщением

 frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 0-169039218354357914</iframe></body></html>

защита срабатывает

 

не понятно по каим критериям блокирует, ,даже с использование прокси донор как то определяет ip адрес сайта или еще что то видимо

, ip адрес сайта на хостинге менял

что можно попробовать?

Link to post
Share on other sites

на хостинге которых парсинг работает используется 2ip адреса

185.211.244.129

2a00:ab00:203:b::4   

 

на других только один

Link to post
Share on other sites

2 часа назад, sotavip сказал:

приветствую! такая ситуация, с одного хостинга парсится с другого нет, с одними и теми же прокси, прокси платные использую.

 хостинги на которые хочу переехать (с большим пространством )там оzон сразу  блокирует и загрузку страниц обрезает с таким сообщением

 frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 0-169039218354357914</iframe></body></html>

защита срабатывает

Здравствуйте.
Есть ограничение на использование портов на хостинге. И На одном хостинге может быть открыт тот или иной порт а на другом закрыт.
По этому может один и от же прокси не работать. Для этого есть чекер прокси.

Кстати так же. Не говоря об ограничениях самого прокси которые могут не работать с определенным трафиком.

 

2 часа назад, sotavip сказал:

не понятно по каим критериям блокирует, ,даже с использование прокси донор как то определяет ip адрес сайта или еще что то видимо

, ip адрес сайта на хостинге менял

что можно попробовать?

Есть прозрачные прокси которые часто попадают в публичный доступ.
Это прокси которые проксируют трафик но при этому объявляют сайту что они являются прокси и работают от ip такого  то клиента.
Это кешируюшие прокси, то есть они сами сдают сайту донору то что являются прокси и кто за этим стоит.

Для того что бы проверить настройки браузера, я сделал такую тестовую страницу.

https://simplepars.top/tools/view_headers.php


Отключаете кеширование в модуле, и начинаете настраивать и слать запросы. В коде вы будете видеть данные которые модуль отправляет.
Так же там будет видно ip от которого работаете.

Спойлер

kiA6ecb.png

 

Link to post
Share on other sites

вопрос пока решен отключением в настройках браузера Отправлять User-Agent

пока будем без user agent  использовать

интересно почему так

Link to post
Share on other sites

если прокис с логином паролем разве он может быть не анонимным

Link to post
Share on other sites

6 минут назад, sotavip сказал:

если прокис с логином паролем разве он может быть не анонимным

Не логи и пароль определяет анонимность прокси, а то что он отдает сайту донору.

Допустим есть кешируюший прокси который используют для оптимизации интернета на предприятию. И выйти можно в нет только через неге.
И тогда данный прокси будет под паролем, и будет прозрачным поскольку он оптимизации трафика.

 

9 минут назад, sotavip сказал:

вопрос пока решен отключением в настройках браузера Отправлять User-Agent

пока будем без user agent  использовать

интересно почему так

Это самый первый параметр к которому может прочесть донор.
И кстати отключение его насколько не известно как раз дает повод сайтам усомнится что с ними общаеться обычный браузер.

Link to post
Share on other sites

Обновление v3.1_beta

Довольно крупное обновления с новыми ништячками. :-o

 

Добавлена вкладка Кеш донора.
 

Спойлер

oLJfMAL.png


Теперь вы можете не только спарсить данные, но и закешировать себе страницы сайта донора. На будущее :wink:
Может показаться что это какая то чепуха, но сейчас я попробую рассказать весь потенциал использования кеша в модуле SimplePars!

 

Сценарии использования.
Допустим вам нужно спасрить и загрузить 10 000 страниц донора.

Вы все настроили и благополучно спарсили, после чего обнаружили что забыли включить парсинг атрибутов, что делать ?
Раньше вы настраивали атрибуты и начинали парсить заново, а это нагрузка на сайт донор, да и на ваш хостинг. Но что более страшно это возможность попасть под санкции сайта донора. Быть забаненым за аномальную активность из за такой чипухи как забыл включить парсинг, или не проверил границу парсинга довольно досадно.

Теперь вы можете включить кеширования и запустить парсинг, модуль будет не только парсить сайт донор и добавлять вам товары в магазин он паралельно будет записывать все спарсенные страницы сайта донора отдельную папку. В случаи если вам нужно будет что то перепарсить вы можете спокойно запускать процесс обновления в пять потоков без паузы парсинга главное не забыть включить использования кеша.
В данном случаи модуль уже не будет обращаться на сайт донор, он будет работать автономно используя заранее закешированные страницы. :cool:

Что
это значит ?
1. Вы не создаете дополнительную нагрузку на сайт донор и при повторном парсинге вероятность попасть в бан равна 0!!!!
2. Скорость повторного парсинга с использованием кеша ++++++++++, поскольку вы уже не делаете запросы на сайт долнор вы используете файлы которые уже у вас.
3. Исходя из первого пункта, максимум потоков, и никакой паузы. Главное что бы ваш хостинг выдерживал нагрузку :)

 

Это первая реализация это страницы так что не судите строго, а так же в обязательном порадке в ветке модуля можете писать ваши идеи по развитию этого направления в модуле.
Ставьте лайк кому идея нравится, ну и пишите если что то не так :wink:

На данный момент доступны следующие возможности работы с кешем в модуле SimplePars
Не использовать кеш - В этом случаи модуль не будет ничего кешировать. И вообще работать без кеша.
Создавать/Использовать кеш если есть - В этом режиме модуль будет использовать файлы кеша если они есть, если нет то будет парсить сайт и параллельно создавать кеш на будущее.
Парсить и обновлять кеш - В данном режиме модуль будет парсить сайт донор и обновлять файлы кеша несмотря на то есть они у вас или нет.
 

Немного об новой странице Кеш донора
 

Спойлер

Q2PW4Mx.png

 

Так же на странице Кеш донора можно запустить парсинг который будет делать только одно, парсить страницы донора и складывать их у вас для дальнейшей работы.
Кстати хороший вариант если нету времени настроить парсинг и нужно уходить, запускаете парсинг модуль сложит все страницы, а когда у вас появится время настроить границы вы запустите загрузку в магазин с файлов кеша. А сам парсинг можете запустить в один поток с паузой и уйти куда то. Главное не закрывать страницу браузера.

1. Стандартные кнопки парсинга, остановки, сохранения и обновления.
2. Здесь модуль сообщает сколько занимает файлы кеша донора. Обратите внимание что страницы кешируються отдельно на каждый проект.
3. Нажав на эти ссылки у вас откроется новое окно в браузере с этой страницей сайта донора.
4. Сообщает есть ли у модуля файл кеш этой ссылки.
5. При нажатии на эти ссылки у вас откроется новая вкладка с страницей модуля настроек границы парсинга, с загруженным кодом.
6. При нажатии на эти ссылки у вас откроется новая вкладка с страницей модуля пред просмотр пасринга в ИМ с загруженными данными этой страницы.
7. При нажатии на эти ссылки у вас откроется новая вкладка с страницей модуля пред просмотр пасринга в CSV с загруженными данными этой страницы.
8. Указана дата и время когда модуль создал этот файл кеша.
9. Очистка директории со всеми страницами кеша.
 

На одну странице пред просмотра файлов кеша загружается только 1000ссылок. Если у вас в модуле их больше тогда вам будет доступна пагинация для перехода.
 

Спойлер

HZVaDz3.png

 

Поскольку я думаю использования кеша платно войдет в наш мир я добавил напоминания о том что модуль в данный момент показывает вам страницу из кеша.


 

Спойлер

HSKNZxQ.png

 

В этом напоминании вы так же можете видеть дату создания кеша, и если информация для вас не актуально нужно будет либо удалить кеш либо парсить без него.
То же самое касается логов, модуль будет вам и в логах напоминать что парсинг идет из файлов кеша.
 

Спойлер

1fi3LpV.png

 

Выбор режима работы кеша происходит либо на странице настройки парсинга, либо в настройках браузера.
Дальше разнесу на каждую страницу где запускается парсинг.

Недостатки кеша.
Недостаток один это использование дискового пространства под хранения страниц сайта донора.

В связи с этим не используйте кеш в момент сбора ссылок!!! Потому что модуль будет кешировать и все страницы которые он парсит в момент сбора ссылок.
Получится сильно много ненужного кеша, ну если вы это не делаете осознано что бы экспериментировать с сбором ссылок.

 

По поводу кеша на этом все. Жду ваши лайки, предложения по развитию данного направления. :oops:

 

Другие изменения в модуле.

Внимательные уже заметили на скриншотах ссылку в коде сайта. :wink:

Спойлер

2FPgl4o.png

 

Теперь в код сайта модуль в самый верх будет добавлять ссылку по которой был произведен запрос парсинга.
Ссылка находится между тегами url /url (в квадратных ковычках)
Что позволяет вам создавать границу парсинга ссылки на товар и работать с ней через поиск замену, к примеру если хотите создать уникальный артикул для товара используя хеш функцию + ссылку на товар. Я хоть и против этого но потребность в этой возможности просто колоссальная со стороны вас моих пользователе. :)

 

Новый алгоритм преобразования в поиск замене, который должен избавить нас от артефактов в пред просмотре.

Было

Спойлер

DmrGsoE.png


Стало
 

Спойлер

PEy7cly.png


Это было долго моей головной болью, и думаю это еше не конец вопроса кодировок. Но я становлюсь ближе к полному решению этого вопроса.
 

В архив с моделем добавленна папка test_project в которой лежит фаил импорта с настройками для всех новичков которые хотят увидеть как настраивает проект.

 

Незабываем выполнять /inst.php

 

На этом вроде все. Короче жду от вас новостей. :-o

 

  • +1 6
Link to post
Share on other sites

Попробовал КЕШ донора + 5 потоков. Очень даже понравилось!

  • +1 1
Link to post
Share on other sites

2 минуты назад, partshez сказал:

Попробовал КЕШ донора + 5 потоков. Очень даже понравилось!

Это главная награда разработчику :)

Link to post
Share on other sites

Вот это уже шикарно, надо пробовать. Было пару раз забывал что то парсить и приходилось заново все делать.

Link to post
Share on other sites

5 минут назад, urchik сказал:

Вот это уже шикарно, надо пробовать. Было пару раз забывал что то парсить и приходилось заново все делать.

Пробуйте, пишите ваши наблюдения.
Сейчас это первая реализация, буду собирать фитбек что бы понять что нужно что нет, и как нужно.
Потом построю стратегию и буду развивать этот функционал в соответствиями с реалиями.

Link to post
Share on other sites

есть проблема с настройкой проекта на розетку, границы задал, прокси купил но не могу нормально настроить вкладку "браузер" судя по всему розетка очень требовательная в этом плане, может кто то на платной основе донастроить?

SPsetting-7.json

Link to post
Share on other sites

7 часов назад, dmitriy2506 сказал:

есть проблема с настройкой проекта на розетку, границы задал, прокси купил но не могу нормально настроить вкладку "браузер" судя по всему розетка очень требовательная в этом плане, может кто то на платной основе донастроить?

SPsetting-7.json 6 \u043a\u0411 · 0 downloads

Здравствуйте.
Такие сайты как
https://rozetka.com.ua/

https://ek.ua/

https://hotline.ua/

https://www.olx.ua/

https://prom.ua/


Они очень не хотят что бы их парсили и следят за тем что бы все запросы были похожи на пользовательские. И вам нужно максимально прикинутся обычным юсером, и использовать чистые прокси которые ранние не засветились в попытках парсинг этих ресурсов, что уже само собой доволно сложно.

Лично я за такие проекты не берусь по той причине что это довольно муторное занятия и вы не знаете какой алгоритм работает на сайте доноре, и вам нужно пытатся пока не найдете решение. И каждая неудачная попытка заносит прокси в список подозрения на сайте доноре.
Короче очень муторно, луче исчите других доноров.

Link to post
Share on other sites

Сейчас давал пояснения работы регулярных выражений, вот тут наверное тоже напишу может кому то будет полезно.

Модуль поддерживает регулярки. О них написано здесь
https://simplepars.top/index.php?page=note&note_id=9

 

И их можно использовать во всех случаях когда вам нужно выбрать текст который невозможно просто зацепится через {skip}
Допустим вот ситуация у нас есть ссылка на фото с водяным знаком.

Спойлер

AKRILOVAYA_VANNA_JACOB_DELAFON_PRESQUILE


Как вы видите ссылка содержит водяной знак.
Я буду показывать примеры без доменного имени что бы на форуме все красиво выглядело.

Вот эта ссылка.
/upload/resize_cache/iblock/17b/1024_720_11176d7cf8df88913cb0a1318817f6fcb/AKRILOVAYA_VANNA_JACOB_DELAFON_PRESQUILE_145KH145_E6045RU_00_BEZ_GIDROMASSAZHA_1.jpg

Если из ссылки вырезать текст который я выделил черным, тогда можно получить ссылку на фот без водного знака.

Спойлер

AKRILOVAYA_VANNA_JACOB_DELAFON_PRESQUILE


Это довольно частое явление, когда водяной знак накладывается непосредственно в момент отдачи клиенту, а на хостинге есть фото чистое. И наша цель его достать.

Тут обычными правилами поиск замена уже не обойтись. Но и пренебрегать ими не стоит, это упрощает жизнь.

Вот этот кусок

resize_cache/
Мы вырежи обычными правилами, поскольку она статична на всех фотографиях и не меняется.
resize_cache/|

А вот эту часть

/1024_720_11176d7cf8df88913cb0a1318817f6fcb/

которая изменяется от фото к фото будем вырезать через регулярные выражения. Хоть текст изменяется, он сохраняет отличительные признаки к которым мы и будем привязывается.
Сразу говорю я не профи по регуляркам, и кто в них шарит может меня поправить, потому что я тоже дилетант в этом деле.

 

Правило будет выглядеть так. Красным формат ввода регулярок в модуле. Зеленым само правило.
{reg[#/[0-9]+_[0-9]+_(.*?)/#]}|/

Теперь пояснение.
На наш человеческий язык это правило звучит так.

 

Найди
/
после которого будет идти любая цифра от 0 до 9
[0-9]
Один и более раз
+
после которого будет идти символ
_
После которого будет идти любая цифра от нуля до девяти
[0-9]
один и более раз
+
после которого будет идти символ
_
И после него может быть все что угодно, сколько угодно раз
(.*?)
Пока не встретит первый слеш
/
И замени всю эту чепуху на слеш
/

И вот как это отработало в правилах поиск замена.

 

Спойлер

pbxWAiK.png


Таким образом мы спокойно можем парсить фото с сайта донора без водяных знаков.

Отвечал на вопрос по регулярным выражениям и решил расширить ответ и написать здесь, я уверен многим будет полезно.
 

Так же приложу руководство по ним.
Внимание если вас пугают такие слова как консоль, код, переменная, то не открывайте спойлер, там ссылка на очень сложные веши, и я бы не хотел что бы вы подумали что модуль весь пропитан этой сложностью.

Нужно понимать что модуль SimplePars просто работать с такими сложными вещами как регулярки. А не такой же сложный как они :)

Ну а если вы хотите уметь управлять поиск заменой на уровне Джедая то вам под спойлер. И можете еше пару лет не вылазить от туда, Джидаем просто так не становятся.

 

  • +1 3
Link to post
Share on other sites
1 час назад, AlexDW сказал:

для падаванов и не только еще есть такое

https://regex101.com/

Да сам использую и в инструкции к поиск замене добавил эту ссылку.
https://simplepars.top/index.php?page=note&note_id=9

Link to post
Share on other sites

Переехал на ВПС. В предварительном просмотре обрезает код http://prntscr.com/qw6y7r

Не догружает до конца страницу, как будто указано сколько символов загружать!

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Similar Content

    • By costas
      CSV Price Pro import/export -  это продвинутый инструмент, который позволяет выполнять массовый экспорт категорий, производителей, товаров, опций, атрибутов и изображений в CSV файл. CSV файл можно редактировать в offline режиме, а затем повторно импортировать в базу данных OpenCart.
       
      Версии и сборки
      СSV Price Pro import/export 5.0.12.x (для OpenCart 3.0.x)
      OpenCart версии 3.0.x - 3.0.3.x ocStore версии 3.0.x - 3.0.3.x CSV Price Pro import/export 4.3.3.x (для OpenCart 2.x)
      OpenCart версии 2.0.x - 2.3.x ocStore версии 2.1.x - 2.3.x CSV Price Pro import/export 3.4.1.х (для OpenCart 1.5.x)
      OpenCart версии 1.5.x ocStore версии 1.5.x  
      Разработка модуля CSV Price Pro import/export 3.4.0.x для версии OpenCart 1.5 прекращена, технически вопросы решаются в индивидуальном порядке, критические ошибки будут исправляется по запросу.   
      Требования к хостингу
      PHP 5.3, 5.4, 5.5, 5.6, 7.0, 7.1, 7.2, 7.3, 7.4 PHP ionCube Loader последней версии PHP OpenSSL PHP mbstring OpenCart соответствующей версии  
      Дистрибутив для PHP 5.3, 5.4, 5.5 по запросу в "личку".
       
      Что бы проверить настройки вашего сервера, скачайте архив system_test.zip, распакуйте, прочитайте файл Readme_RU_UTF-8.txt и следуйте инструкциям.
      Для работы с файлами csv требуется Apache OpenOffice Calc.
       
      Как установить CSV Price Pro import/export
       
      Как получить лицензионный ключ (лицензию)
      Условия использования лицензии - "на домен", это означает, что Вы можете использовать одну лицензию (ключ) для одного магазина на одном домене (один лицензионный ключ = один магазин = одно доменное имя). Для получения лицензии напишите мне здесь в Личные сообщения свой email и доменное имя магазина на котором будет стоять модуль. Ключ лицензии будет отправлен Вам здесь в личные сообщения или выслан Вам на Ваш email.  
      Лицензионное соглашение с конечным пользователем (EULA)
      Приобретая лицензию (покупая дополнение), Вы автоматически соглашаетесь со следующими положениями:
      Вы имеете право ознакомиться с работой расширений (модулей) на демонстрационных страницах этих расширений (модулей). Все интересующие Вас вопросы, касающиеся работы расширения (модуля) Вы можете задать автору продукта до его приобретения. Бесплатная техническая поддержка не оказывается пользователям, не купившим дополнение (модуль), получившим его каким-либо другим образом: скопировавшим, скачавшим, приобретшим вскладчину расширения (модули) представленные в данном каталоге. Таким пользователям будет отказано в бесплатной технической поддержке без объяснения причин. Техническая поддержка оказывается за отдельную плату в случаях, если заявленная работа расширения(модуля) невозможна по причине конфликтов с другими сторонними расширениями (модулями), шаблон покупателя значительно отличается от базового шаблона системы ocStore / OpenCart, работа модуля нарушена после действий покупателя которые случились при редактировании файлов расширения (модуля), пользователь хочет изменить или доработать приобретённое дополнение (модуль). Вы имеете право на бесплатную техническую поддержку продукта со стороны автора, за исключением случаев, описанных в пунктах 3 и 4 данного соглашения. Лицензионный ключ выдается на один домен (на один магазин). Выданный лицензионный ключ возврату или обмену не подлежит. Для использовании расширения (модуля) на другом домене нужно совершить повторную покупку расширения (модуля); Лицензия (лицензионный ключ) выдаётся для текущей версии расширения (модуля) на момент выдачи лицензии; В случае утери лицензии (лицензионного ключа), выдаётся лицензия согласно пункту 9 данного соглашения; Все запросы, в том числе и выдача лицензионных ключей, обрабатываются в течение 48 часов с момента поступления. Лицензия на тестовый домен, то есть тестовая лицензия, выдаётся сроком на 30 дней при наличии купленной лицензии.
       
      Совместимость с расширениями (модулями)
      AJAX замена моделей товара - HPM Mega Filter PLUS Url Rewriting Tool - генерация SEO URL (SEO Keyword) для товаров при импорте  
      CSV Price pro import/export совместим с URL Rewriting Tool и поддерживает генерацию SEO URL для товаров при импорте файлов CSV при наличии поля _SEO_KEYWORD_ в csv-файле.
       
      Основные возможности расширения (модуля)
      Добавление новых товаров, категорий, производителей позволяет осуществлять импорт новых товаров, категорий и производителей. Обновление каталога товаров позволяет осуществлять поиск товара по одному из артикулов, наименованию или модели и осуществлять обновление данных найденного товара. Импорт структуры каталога позволяет импортировать структуру категорий из файла с товарами и производителей, если категория или производитель отсутствуют, то они будут созданы автоматически. Два способа импорта атрибутов комбинация всех атрибутов в одном поле или настраиваемый каждый атрибут-значение в отдельном поле, легко настраивается под разные профили импорта и экспорта. Импорт нескольких изображений и автоматическое скачивание позволяет импортировать изображения товара раздельно в виде основного и дополнительных изображений или все изображения в одном поле, разделенные запятой, так же есть возможность автоматически скачивать изображения во время импорта с сайта поставщика. Функция автоматического импорта позволяет настроить автоматический запуск профилей импорта и экспорта по расписанию с использованием заданий CRON. Мульти магазины и несколько языков позволяет делать импорт и экспорт каталога товаров для нескольких магазинов и на нескольких языках. Экспорт каталога товаров на основе фильтра позволяет делать экспорт каталога товаров используя фильтр по категориям, по производителям, по цене товара, по количеству, по активным / неактивным товарам, по наименованию или артикулу.  Расширенный экспорт заказов позволяет выбирать поля для экспорта и настраивать профили для автоматического запуска экспорта по расписанию с использованием заданий CRON Экспорт базы клиентов позволяет экспортировать базу клиентов в CSV файл или файл vCard. Резервное копирование и восстановление позволяет создавать резервные копии всей базы данных OpenCart (Bare metal backup), а так же отдельно для каталога товаров, совместимые с OpenCart System > Backup/Restore.  
      Если вы хотите узнать больше о возможностях расширения, наша команда с удовольствием ответит на ваши вопросы, напишите в личные сообщения здесь на форуме автору расширения, и мы свяжемся с вами как можно скорее.  
      Модуль работает только с файлами в формате CSV.
      Для работы с файлами csv требуется Apache OpenOffice Calc.
      Во избежание проблем с кодировкой и неправильным форматом файла всегда используйте Apache OpenOffice Calc.
       
      Демонстрация CSV Price Pro import/export
      http://opencart.costaslabs.com/admin/
      логин: demo
      пароль: demo
       
      CSV Price Pro import/export 1.5-2.2.6
      C 01.01.2015  данная версия больше не распространяется и не поддерживается, обновление с этой версии на последнюю версию через покупку лицензии.
       
    • By costas
      1950 30
      Скачать/Купить дополнение


      CSV Price Pro import/export
      CSV Price Pro import/export -  это продвинутый инструмент, который позволяет выполнять массовый экспорт категорий, производителей, товаров, опций, атрибутов и изображений в CSV файл. CSV файл можно редактировать в offline режиме, а затем повторно импортировать в базу данных OpenCart.
       
      Версии и сборки
      СSV Price Pro import/export 5.0.12.x (для OpenCart 3.0.x)
      OpenCart версии 3.0.x - 3.0.3.x ocStore версии 3.0.x - 3.0.3.x CSV Price Pro import/export 4.3.3.x (для OpenCart 2.x)
      OpenCart версии 2.0.x - 2.3.x ocStore версии 2.1.x - 2.3.x CSV Price Pro import/export 3.4.1.х (для OpenCart 1.5.x)
      OpenCart версии 1.5.x ocStore версии 1.5.x  
      Разработка модуля CSV Price Pro import/export 3.4.0.x для версии OpenCart 1.5 прекращена, технически вопросы решаются в индивидуальном порядке, критические ошибки будут исправляется по запросу.   
      Требования к хостингу
      PHP 5.3, 5.4, 5.5, 5.6, 7.0, 7.1, 7.2, 7.3, 7.4 PHP ionCube Loader последней версии PHP OpenSSL PHP mbstring OpenCart соответствующей версии  
      Дистрибутив для PHP 5.3, 5.4, 5.5 по запросу в "личку".
       
      Что бы проверить настройки вашего сервера, скачайте архив system_test.zip, распакуйте, прочитайте файл Readme_RU_UTF-8.txt и следуйте инструкциям.
      Для работы с файлами csv требуется Apache OpenOffice Calc.
       
      Как установить CSV Price Pro import/export
       
      Как получить лицензионный ключ (лицензию)
      Условия использования лицензии - "на домен", это означает, что Вы можете использовать одну лицензию (ключ) для одного магазина на одном домене (один лицензионный ключ = один магазин = одно доменное имя). Для получения лицензии напишите мне здесь в Личные сообщения свой email и доменное имя магазина на котором будет стоять модуль. Ключ лицензии будет отправлен Вам здесь в личные сообщения или выслан Вам на Ваш email.  
      Лицензионное соглашение с конечным пользователем (EULA)
      Приобретая лицензию (покупая дополнение), Вы автоматически соглашаетесь со следующими положениями:
      Вы имеете право ознакомиться с работой расширений (модулей) на демонстрационных страницах этих расширений (модулей). Все интересующие Вас вопросы, касающиеся работы расширения (модуля) Вы можете задать автору продукта до его приобретения. Бесплатная техническая поддержка не оказывается пользователям, не купившим дополнение (модуль), получившим его каким-либо другим образом: скопировавшим, скачавшим, приобретшим вскладчину расширения (модули) представленные в данном каталоге. Таким пользователям будет отказано в бесплатной технической поддержке без объяснения причин. Техническая поддержка оказывается за отдельную плату в случаях, если заявленная работа расширения(модуля) невозможна по причине конфликтов с другими сторонними расширениями (модулями), шаблон покупателя значительно отличается от базового шаблона системы ocStore / OpenCart, работа модуля нарушена после действий покупателя которые случились при редактировании файлов расширения (модуля), пользователь хочет изменить или доработать приобретённое дополнение (модуль). Вы имеете право на бесплатную техническую поддержку продукта со стороны автора, за исключением случаев, описанных в пунктах 3 и 4 данного соглашения. Лицензионный ключ выдается на один домен (на один магазин). Выданный лицензионный ключ возврату или обмену не подлежит. Для использовании расширения (модуля) на другом домене нужно совершить повторную покупку расширения (модуля); Лицензия (лицензионный ключ) выдаётся для текущей версии расширения (модуля) на момент выдачи лицензии; В случае утери лицензии (лицензионного ключа), выдаётся лицензия согласно пункту 9 данного соглашения; Все запросы, в том числе и выдача лицензионных ключей, обрабатываются в течение 48 часов с момента поступления. Лицензия на тестовый домен, то есть тестовая лицензия, выдаётся сроком на 30 дней при наличии купленной лицензии.
       
      Совместимость с расширениями (модулями)
      AJAX замена моделей товара - HPM Mega Filter PLUS Url Rewriting Tool - генерация SEO URL (SEO Keyword) для товаров при импорте  
      CSV Price pro import/export совместим с URL Rewriting Tool и поддерживает генерацию SEO URL для товаров при импорте файлов CSV при наличии поля _SEO_KEYWORD_ в csv-файле.
       
      Основные возможности расширения (модуля)
      Добавление новых товаров, категорий, производителей позволяет осуществлять импорт новых товаров, категорий и производителей. Обновление каталога товаров позволяет осуществлять поиск товара по одному из артикулов, наименованию или модели и осуществлять обновление данных найденного товара. Импорт структуры каталога позволяет импортировать структуру категорий из файла с товарами и производителей, если категория или производитель отсутствуют, то они будут созданы автоматически. Два способа импорта атрибутов комбинация всех атрибутов в одном поле или настраиваемый каждый атрибут-значение в отдельном поле, легко настраивается под разные профили импорта и экспорта. Импорт нескольких изображений и автоматическое скачивание позволяет импортировать изображения товара раздельно в виде основного и дополнительных изображений или все изображения в одном поле, разделенные запятой, так же есть возможность автоматически скачивать изображения во время импорта с сайта поставщика. Функция автоматического импорта позволяет настроить автоматический запуск профилей импорта и экспорта по расписанию с использованием заданий CRON. Мульти магазины и несколько языков позволяет делать импорт и экспорт каталога товаров для нескольких магазинов и на нескольких языках. Экспорт каталога товаров на основе фильтра позволяет делать экспорт каталога товаров используя фильтр по категориям, по производителям, по цене товара, по количеству, по активным / неактивным товарам, по наименованию или артикулу.  Расширенный экспорт заказов позволяет выбирать поля для экспорта и настраивать профили для автоматического запуска экспорта по расписанию с использованием заданий CRON Экспорт базы клиентов позволяет экспортировать базу клиентов в CSV файл или файл vCard. Резервное копирование и восстановление позволяет создавать резервные копии всей базы данных OpenCart (Bare metal backup), а так же отдельно для каталога товаров, совместимые с OpenCart System > Backup/Restore.  
      Если вы хотите узнать больше о возможностях расширения, наша команда с удовольствием ответит на ваши вопросы, напишите в личные сообщения здесь на форуме автору расширения, и мы свяжемся с вами как можно скорее.  
      Модуль работает только с файлами в формате CSV.
      Для работы с файлами csv требуется Apache OpenOffice Calc.
      Во избежание проблем с кодировкой и неправильным форматом файла всегда используйте Apache OpenOffice Calc.
       
      Демонстрация
      Демонстрация CSV Price Pro import/export:
      http://opencart.costaslabs.com/admin/
      логин: demo
      пароль: demo
       
      CSV Price Pro import/export 1.5-2.2.6
      C 01.01.2015  данная версия больше не распространяется и не поддерживается, обновление с этой версии на последнюю версию через покупку лицензии.
       
      Добавил costas Добавлено 01.07.2012 Категория Обмен данными Системные требования PHP 5.3, 5.4, 5.5, 5.6, 7.x; ionCube PHP Loader последней версии; PHP OpenSSL support; Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3.0.2.4
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1 Обращение к серверу разработчика Нет Старая цена 0  
    • By usergio
      Автоматическая обработка прайс-листов. Наполнение магазина товарами.
      (полный комплекс программ для наполнения и ведения интернет магазина, построенного на платформе OpenCart)
       
      (Нажмите на вкладку "Обновления")
       
      Совместимость с модулями.
      - Журнал работы модуля "Автоматическая обработка прайс-листов"
      - Серии
      - Валюта Плюс
      - Связанные опции
      - Изображения опций PRO
      - Серии от avot
      - Комплекты серий товаров
      - AJAX замена моделей товара - HPM
      - CostPrice
      - YML/XML -> Excel(XML_2003) Конвертор
       
      Есть купон на 20% скидки на продукты автора octemplates https://opencartforum.com/files/developer/693974-octemplates/
       
      Описание.
      - точный Парсер, позволяющий уверенно загружать товары со сторонних сайтов, прямо в магазин.
      - обработка прайс-листов по ссылке в указанное время. Cron
      - одновременный парсинг товара по частям с разных сайтов (фото, дополнительные фото, описания, атрибуты, названия, цены, артикулы).
      - импорт из прайс-листов новых товаров и обновление цен и остатков существующих (проблема дублей решена).
      - универсальный SEO-шаблон для автоматического формирования мета-данных, описаний и названий фото, УРЛ-ов.
      - автоматический выбор поставщика по минимальной цене на один и тот же товар.
      - автоматическая установка цен на товары на основании анализа цен конкурентов (АЦК). know how!
      - поддерживается несколько магазинов.
      - загрузка, обновление и парсинг опций. Поддерживаются "Связанные опции".
      - поддерживаются артикулы в опциях. Цены опций пересчитываются, как "плюс к минимальной цене".
      - поддержка фото в опциях.
      - профессиональная функция загрузки любой колонки прайса в любое поле БД
      - загрузка товаров из YML прайсов.
      - загрузка товаров из XML прайсов любой структуры.
      - загрузка CSV прайсов.
      - загрузка XLS и XLSX прайсов.
      - обновление фото и описания товара по критерию качества know how!
      - вычисление маржи, в зависимости от величины цены (по ценовым диапазонам) или в зависимости от категории товара и по ценовым диапазонам.
      - автоматическая загрузка товаров одновременно в несколько категорий.
      - автоматическое создание категорий в магазине с учетом их вложенности (с фото и описаниями).
      - автоматическое создание атрибутов, значений опций и производителей на основании данных из прайс-листа на двух языках.
      - автоматическое создание seo-данных и seo-url для товаров, категорий и производителей, по гибкому шаблону.
      - автоматическое создание уникальных описаний товаров по шаблону (программируемый шаблон).
      - загрузка "похожих" товаров, и товаров со специальной и скидочной ценой, по группам пользователей.
      - загрузка и обновление бонусов.
      - поддержка модуля "redirect".
      - собственный склад магазина ( Главный поставщик).
      - 182 дополнительных, полезных функций, типа: "Обнулить остатки", "Пересчитать цены", "Найти и заменить в Опциях/Атрибутах/Описании/Названии", "Стандартизировать атрибуты для фильтра"....
      - Библиотека связанных Артикулов know how!
      и многое другое.
       
      Ограничения хостинга по тайм-лимиту (при загрузке или обновлении больших прайсов) успешно обходятся, как и раньше
       
      Руководство можно скачать ТУТ.
      Руководство, которое сейчас пишу можно скачать тут.
      Видео-уроки можно посмотреть на моем youtube-канале тут
       
      (Руководство переписываю под новую версию, записываю новые видео-уроки. Но основные принципы работы модуля не изменились. Читайте, смотрите)
      Демо ocStore 2.3.0.2 (вход demo/demo).
      Демо OpenCart 1.5.6 (вход demo/demo).
      Демо ocStore 3.0 (вход demo/demo).
      Демо OPENCART.PRO 2.1 (вход demo/demo).
      На демо-сайтах я залил прайсы из папки Help, которая лежит в дистрибутиве. Все настройки видны.
       
      Дополнительные функции.
      Экспорт - переезд на новый хостинг, на новую версию OpenCart или, вообще, на другой движок:
      - экспортирует товары в транс-платформенные, логические прайс-листы, которые можно, в последствии, загрузить куда угодно.
      - позволяет экспортировать частями: по поставщикам, по категориям, по производителям, по дате обновления товара, даже, по наличию определенного атрибута в товаре и т.д.
      - категории экспортируются вместе с фото, описаниями и SEO-URL со всей своей структурой (вложенностью).
      Включение/выключение/удаление:
      - при обновлении прайса, автоматически включает товары, с ненулевым остатком.
      - выключает товары, у которых 0 на остатке (по запросу).
      - удаляет товары, которые давно не обновлялись (по запросу).
      Наводит порядок в атрибутах, подготавливает для использования Фильтра:
      - "распечатывает" полную картину атрибутов и их значений, дает возможность все это исправить, стандартизировать и загрузить обратно.
      - освобождает и удаляет дубли атрибутов в Админ (переписывает товары к одному атрибуту из двух, одинаковых по названию).
      - добавляет атрибуты в товар и заменяет значения существующих атрибутов.
      - обновляет Производителя в товаре.
      - автоматически заполняет Фильтр.
      Встроена функция "Найти и заменить":
      - в значениях атрибутов (найти: Ггц, заменить на Ghz).
      - в описаниях (Монитор 24" на 24").
      - в названиях товаров.
      - в seo-h1
      - в Title
      - в meta-описаниях.
      Есть функция переноса из категории в категорию и распространения товаров на другие категории.
      Фото:
      - удалить одинаковые фото в товаре
      - физическое удаление неиспользуемых фото
      - добавление дополнительных фото и замена главного
      - только добавление доп.фото, без замены главного
      - привязка к товарам, закачанных на сервер фото
      - и т.д.
      Преобразование описаний в "авторский" вид, до 35% уникальности. "Антиплагиатор". know how!
      И многое другое.
       
      Благодарю всех участников форума, которые помогли своими советами, а иногда и наездами, в создании Комплекса.
      Без ваших идей, без вашего мозгового штурма, мне вряд ли удалось бы все это придумать
      * Комплекс обкатан на собственном магазине.
       
    • By usergio
      2900 39
      Скачать/Купить дополнение


      Автоматическая обработка прайс-листов.
       
      Автоматическая обработка прайс-листов. Наполнение магазина товарами.
      (полный комплекс программ для наполнения и ведения интернет магазина, построенного на платформе OpenCart)
       
      (Нажмите на вкладку "Обновления")
       
      Совместимость с модулями.
      - Журнал работы модуля "Автоматическая обработка прайс-листов"
      - Серии
      - Валюта Плюс
      - Связанные опции
      - Изображения опций PRO
      - Серии от avot
      - Комплекты серий товаров
      - AJAX замена моделей товара - HPM
      - CostPrice
      - YML/XML -> Excel(XML_2003) Конвертор
       
       
      Описание.
      - точный Парсер, позволяющий уверенно загружать товары со сторонних сайтов, прямо в магазин.
      - обработка прайс-листов по ссылке в указанное время. Cron
      - одновременный парсинг товара по частям с разных сайтов (фото, дополнительные фото, описания, атрибуты, названия, цены, артикулы).
      - импорт из прайс-листов новых товаров и обновление цен и остатков существующих (проблема дублей решена).
      - универсальный SEO-шаблон для автоматического формирования мета-данных, описаний и названий фото, УРЛ-ов.
      - автоматический выбор поставщика по минимальной цене на один и тот же товар.
      - автоматическая установка цен на товары на основании анализа цен конкурентов (АЦК). know how!
      - поддерживается несколько магазинов.
      - загрузка, обновление и парсинг опций. Поддерживаются "Связанные опции".
      - поддерживаются артикулы в опциях. Цены опций пересчитываются, как "плюс к минимальной цене".
      - поддержка фото в опциях.
      - профессиональная функция загрузки любой колонки прайса в любое поле БД
      - загрузка товаров из YML прайсов.
      - загрузка товаров из XML прайсов любой структуры.
      - загрузка CSV прайсов.
      - загрузка XLS и XLSX прайсов.
      - обновление фото и описания товара по критерию качества know how!
      - вычисление маржи, в зависимости от величины цены (по ценовым диапазонам) или в зависимости от категории товара и по ценовым диапазонам.
      - автоматическая загрузка товаров одновременно в несколько категорий.
      - автоматическое создание категорий в магазине с учетом их вложенности (с фото и описаниями).
      - автоматическое создание атрибутов, значений опций и производителей на основании данных из прайс-листа на двух языках.
      - автоматическое создание seo-данных и seo-url для товаров, категорий и производителей, по гибкому шаблону.
      - автоматическое создание уникальных описаний товаров по шаблону (программируемый шаблон).
      - загрузка "похожих" товаров, и товаров со специальной и скидочной ценой, по группам пользователей.
      - загрузка и обновление бонусов.
      - поддержка модуля "redirect".
      - собственный склад магазина ( Главный поставщик).
      - 182 дополнительных, полезных функций, типа: "Обнулить остатки", "Пересчитать цены", "Найти и заменить в Опциях/Атрибутах/Описании/Названии", "Стандартизировать атрибуты для фильтра"....
      - Библиотека связанных Артикулов know how!
      и многое другое.
       
      Ограничения хостинга по тайм-лимиту (при загрузке или обновлении больших прайсов) успешно обходятся, как и раньше
       
      Руководство можно скачать ТУТ.
      Руководство, которое сейчас пишу можно скачать тут.
      Видео-уроки можно посмотреть на моем youtube-канале тут
       
      (Руководство переписываю под новую версию, записываю новые видео-уроки. Но основные принципы работы модуля не изменились. Читайте, смотрите)
      Демо ocStore 2.3.0.2 (вход demo/demo).
      Демо OpenCart 1.5.6 (вход demo/demo).
      Демо ocStore 3.0 (вход demo/demo).
      Демо OPENCART.PRO 2.1 (вход demo/demo).
      На демо-сайтах я залил прайсы из папки Help, которая лежит в дистрибутиве. Все настройки видны.
       
      Дополнительные функции.
      Экспорт - переезд на новый хостинг, на новую версию OpenCart или, вообще, на другой движок:
      - экспортирует товары в транс-платформенные, логические прайс-листы, которые можно, в последствии, загрузить куда угодно.
      - позволяет экспортировать частями: по поставщикам, по категориям, по производителям, по дате обновления товара, даже, по наличию определенного атрибута в товаре и т.д.
      - категории экспортируются вместе с фото, описаниями и SEO-URL со всей своей структурой (вложенностью).
      Включение/выключение/удаление:
      - при обновлении прайса, автоматически включает товары, с ненулевым остатком.
      - выключает товары, у которых 0 на остатке (по запросу).
      - удаляет товары, которые давно не обновлялись (по запросу).
      Наводит порядок в атрибутах, подготавливает для использования Фильтра:
      - "распечатывает" полную картину атрибутов и их значений, дает возможность все это исправить, стандартизировать и загрузить обратно.
      - освобождает и удаляет дубли атрибутов в Админ (переписывает товары к одному атрибуту из двух, одинаковых по названию).
      - добавляет атрибуты в товар и заменяет значения существующих атрибутов.
      - обновляет Производителя в товаре.
      - автоматически заполняет Фильтр.
      Встроена функция "Найти и заменить":
      - в значениях атрибутов (найти: Ггц, заменить на Ghz).
      - в описаниях (Монитор 24" на 24").
      - в названиях товаров.
      - в seo-h1
      - в Title
      - в meta-описаниях.
      Есть функция переноса из категории в категорию и распространения товаров на другие категории.
      Фото:
      - удалить одинаковые фото в товаре
      - физическое удаление неиспользуемых фото
      - добавление дополнительных фото и замена главного
      - только добавление доп.фото, без замены главного
      - привязка к товарам, закачанных на сервер фото
      - и т.д.
      Преобразование описаний в "авторский" вид, до 35% уникальности. "Антиплагиатор". know how!
      И многое другое.
       
      Благодарю всех участников форума, которые помогли своими советами, а иногда и наездами, в создании Комплекса.
      Без ваших идей, без вашего мозгового штурма, мне вряд ли удалось бы все это придумать
      * Комплекс обкатан на собственном магазине.
       
      Добавил usergio Добавлено 09.01.2013 Категория Обмен данными Системные требования Ioncube Loader начиная с версии 4.6 и выше Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х Обращение к серверу разработчика Да Старая цена 0  
    • By Otvet
      Работает на живых магазинах с 2.5 млн позиций, если у вас больше - точно так же будет работать.
       
      ! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
       Указывайте домен при покупке 
       
      Статус Не получено – не удалось получить файл Sitemap больше не страшен т.к. есть патч ЧПУ адреса сайтмапа в 2 клика
       
       
      У доменов .рф проблемы с приемом Гуглом любого сайтмапа, когда гугл исправит ошибку неизвестно
       
      Преимущества:
      ускоренная генерация благодаря собственной модели выборки товаров, категорий, инфостраниц, производителей (~ в 20-200 раз) может заменять оригинальный google_sitemap (до версии 4.0), сохраняя максимальную совместимость со сторонними модулями, работа производится полностью так, как будто стоит родной, с версии 4.0 модуль не заменяет, имеет собственный контроллер и админку добавление lastmod (значительно ускоряет индексацию) в отличии от рудиментов priority и changefreq устранение дублей товаров в содержании валидация яндексом фикс &amp при использовании seo_pro (error on line 1 at column ....: EntityRef: expecting) мультисайтмап (сайтмап сайтмапов)  
      Уникальные функции:
      возможность создать любое кол-во карт, с любым кол-вом товаров поддержка исключения любых страниц из карты списком express режим с заданием окончаний (для структуры сайт/товар) ultra режим с заданием окончаний (для структуры сайт/категория/товар) функция сохранения в файл c заданием имени файла (можно повесить на cron) добавление списка страниц из файла улучшения мультиязычности новости с возможностью задать роут* блоги с возможностью задать роут* сохранение и автосохранение(при мульти) в файл{ы} с заданным именем возможность выдывать не динамический адрес а имена файлов в мультисайтмап SEO страницы Mega Filter Pro SEO страницы OCFilter SEO страницы Filter Vier (не гарантируется, т.к. там бесконечные переделки и ioncube) страницы SEO CMS Blog исключение страниц при использовании модуля HYPER PRODUCT MODELS (обновить сайтмап до последней версии) #FX Brands логирование обращений ботов Яндекс/Гугл/... пересчет даты модификации категории (lastmod) исходя их свежей даты последней модификации товаров данной категории  
       
      Изображения
      В модуле присутствует функционал включения изображений в сайтмап, он 100% рабочий что неоднократно проверено. Данный функционал был востребован за всё время существования модуля в сумме 4-5 раз, но в каждом случае наблюдалось крайне странное и весьма неоднозначное поведение пользователей.
      В связи с этим, дабы сберечь психику было принято решение об исключении данного функционала из бесплатной техподдержки.
      Так же обязательна к прочтению статья по данной теме
       
      ------------------
      * - поддерживаются таблицы БД blog/news/article (в т.ч. ocstore3 blog)
      по запросу патч для: 
      newsblog revolution blog lightshop blog unishop blog journal3 blog octemplates blog airdus blog в любой момент авторы в сторонние блоги могут внести изменения и поддержка исчезнуть
       
      ------------------
      Важно:
      Срок бесплатной технической поддержки - 1 год Локальные серверы и прочее не входит в поддержку Техподдержка, обновление на одну версию опенкарт При заказе настройки, учитывайте что она должна производиться на готовом сайте, дабы потом не переделывать
  • Recently Browsing   2 members

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.