[Поддержка] Парсер-менеджер товаров с торговых площадок

[axor]

парсили парсили и получили это, в модуль не заходит

 

 

Страница ........ не работает

Сайт ...... пока не может обработать этот запрос.

HTTP ERROR 500

 

[dexion]

исправил парсер с яндекса, пока только тестовая версия на 8 часов до 16:00 22.09.16

заменить \admin\controller\module\parsermanager.php,

если будут проблемы с парсингом товаров указывать ссылки на товары

если с поиском указывать название товара

массовый поиск запускать не надо

до конца недели рассмотрю замечания и исправлю

 

что касается остальных парсеров

m.ua - был неудачный донор, надо будет  заменить

с hotlina работает с прокси, идеальный вариант парсинг с локалки с разблокировкой капчи в браузере, но товары надо переносить на хостинг

при поиске на яндексе в браузере вы заходите на основную страницу маркета, затем ищите товар, естественно в браузер с каждой страницы записываются куки, и они будут правильные

при поиске в парсере сразу идет посковый запрос, что не совсем правильно и яндекс может выкинуть капчу

я поменял поисковый запрос, возможно будет лучше, в любом случае нужно периодически подкидывать правильные куки из браузера

Автор писал, что версия тестовая, будет работать сегодня до 16:00. Наверно поэтому ошибка 500, срок жизни файла закончился.

[axor]

 

можете в этой версии добавить это:

1) сортировка по фото и ссылке, то есть сортирует товары сначала без фото, потом с фото и так же со ссылками.

2) в настройках парсера, "Показать товары без атрибутов" галочку поставил, сохранил и показывает товары без атрибутов.

второе очень нужно, так как у нас ассортимент каждый день обновляется из прайсов, и постоянно новые товары, не удобно искать.

И скрывать спарсенные товары тут не помогают.

Если нужно вознаграждение, то без проблем, договоримся.

Змінено 24 вересня 2016 користувачем axor

[igyan]

Изменил поиск ссылки на атрибуты, проверил поиск в разных категориях на тестовом без прокси - работает

 ссылка на тестовый модуль https://yadi.sk/d/CtahDPFNvWvU9

 

фильтры по изображению и атрибутам есть в настройках

 

[axor]

Изменил поиск ссылки на атрибуты, проверил поиск в разных категориях на тестовом без прокси - работает

 ссылка на тестовый модуль https://yadi.sk/d/CtahDPFNvWvU9

 

фильтры по изображению и атрибутам есть в настройках

фото не парсит

и при поиске через 5 товаров уже капча

 

до этого мы нашли больше 200 товаров не было капчи

Змінено 26 вересня 2016 користувачем axor

[igyan]

поиск  самого товара не менял

ссылки на товар дайте

[axor]

https://market.yandex.ru/product/10673733?hid=90595&track=tabs

https://market.yandex.ru/product/8550180?hid=90595

[igyan]

с одним изображением не парсилось

тестовый файл https://yadi.sk/d/PKc7O7Gaviifu

вечером обновлю модуль этим файлом

[lost1980]

добрый, пришлите ключ 

[dexion]

Изменил поиск ссылки на атрибуты, проверил поиск в разных категориях на тестовом без прокси - работает

 ссылка на тестовый модуль https://yadi.sk/d/CtahDPFNvWvU9

 

фильтры по изображению и атрибутам есть в настройках

По ссылке "ничего не найдено". Где взять модуль?

[axor]

По ссылке "ничего не найдено". Где взять модуль?

я успел скачать

ловите https://yadi.sk/d/aT87I9nSvjKCq

[dexion]

я успел скачать

ловите https://yadi.sk/d/aT87I9nSvjKCq

 

Спасибо

 

При успешном парсинге одного товара перекидывает на страницу: http://prntscr.com/cmkpgc

Если товаров несколько - записи отображаются несколько раз http://prntscr.com/cmkpqw

Парсим атрибуты, цену, производителя. 

На страницу модуля приходится возвращаться вручную.

Поиск категорически отказывается работать. Сколько кук не подкидываю - "много переадресаций" с первой же попытки поиска. Приходится к каждому товару находить ссылку на маркете вручную, прикреплять и парсить. Прокси купленный, рабочий.

Может это связано с "переполненностью" таблицы parser_urls? У меня там 14545 строк. 

UPD: очистил таблицу parser_urls - поиск ссылок все равно не работает, с первого же товара выдает "много перенаправлений". 

Змінено 26 вересня 2016 користувачем dexion

[lost1980]

_e31ef9c9/http/admin/controller/module/parsermanager.php has expired. in Unknown on line 0

 

когда полный будет?

[axor]

сегодня будет модуль? очень нужен.

[igyan]

сделал обновление

поиск через прокси не заработал, как они сделали проверку на бота с прокси  я пока не понимаю

без прокси ищет и на локалке и на тестовом

остальное вроде работает

[dexion]

сделал обновление

поиск через прокси не заработал, как они сделали проверку на бота с прокси  я пока не понимаю

без прокси ищет и на локалке и на тестовом

остальное вроде работает

Парсить вроде парсит, но ссылки не ищет ни с прокси, ни без.

При попытке поиска ссылки для одного товара без прокси в логе следующее:

27-09-2016 03:14:49: Начало парсинга

27-09-2016 03:14:49: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12) AppleWebKit/602.1.50 (KHTML, like Gecko) Version/10.0 Safari/602.1.50

27-09-2016 03:14:49: Cookie включены.

27-09-2016 03:14:49: Запрос: https://market.yandex.ru/search?cvredirect=2&text=020500WHFBL0GOB

27-09-2016 03:14:49: Перенаправление -> http://market.yandex.ru/product/10970528?was_redir=1&srnum=6&nid=54618&hid=91259&text=020500WHFBL0GOB

Strict-Transport-Security: max-age=31536000

X-Content-Type-Options: nosniff

27-09-2016 03:14:49: Запрос: http://market.yandex.ru/product/10970528?was_redir=1&srnum=6&nid=54618&hid=91259&text=020500WHFBL0GOB

Strict-Transport-Security: max-age=31536000

X-Content-Type-Options: nosniff

27-09-2016 03:14:49: Неудачный ответ от сервера: 0, попробуйте позже

27-09-2016 03:14:49: Конец парсинга

 

 

Первый раз такое вижу. Ошибка модуля?

[igyan]

В логе показано, что ответил сервер яндекса

пока мало информации, возможно фильтр по IP, может еще что

надо тестить

[dexion]

В логе показано, что ответил сервер яндекса

пока мало информации, возможно фильтр по IP, может еще что

надо тестить

А как так получается, что на демо поиск ссылок работает, а у меня нет? Что неправильно делаю?

У кого-нибудь еще работает поиск? Или все так мучаются?

[DmitriyV]

Написал в личку о модуле для ос2

[mexx]

А как так получается, что на демо поиск ссылок работает, а у меня нет? Что неправильно делаю?

У кого-нибудь еще работает поиск? Или все так мучаются?

Обновил и у меня тоже не работает.

[dexion]

Есть еще один модуль, который парсит с маркета, но парсит только отзывы о товарах: https://opencartforum.com/files/file/1898-импорт-отзывов-о-товарах-из-яндекс-маркета-oc-15x-2x/

Этот модуль вроде как вполне успешно ищет карточки товаров. Сейчас через и пробую искать массово карточки, затем загонять их в таблицу парсера и парсить.

Только сохраняет он карточки в таблицу product в столбец yandex_model_id http://prntscr.com/cn2cwi

И сохраняет не целиком урл, а только айди товара, например: https://market.yandex.ru/product/10958179

Приходится экспортировать таблицу product, в экселе ВПРом собирать айди карточек, составлять урл и импортировать в таблицу parser_urls

Может автор посмотрит данный модуль, как там реализован поиск карточек, и добавит это решение в свой модуль?

 

Кстати, ни прокси, ни куки в этом модуле не требуется, и оно работает. Там может использоваться при необходимости сервис для распознавания капчи (antigate.com).

Змінено 27 вересня 2016 користувачем dexion

[igyan]

Есть еще один модуль, который парсит с маркета, но парсит только отзывы о товарах: https://opencartforum.com/files/file/1898-импорт-отзывов-о-товарах-из-яндекс-маркета-oc-15x-2x/

Этот модуль вроде как вполне успешно ищет карточки товаров. Сейчас через и пробую искать массово карточки, затем загонять их в таблицу парсера и парсить.

Только сохраняет он карточки в таблицу product в столбец yandex_model_id http://prntscr.com/cn2cwi

И сохраняет не целиком урл, а только айди товара, например: https://market.yandex.ru/product/10958179

Приходится экспортировать таблицу product, в экселе ВПРом собирать айди карточек, составлять урл и импортировать в таблицу parser_urls

Может автор посмотрит данный модуль, как там реализован поиск карточек, и добавит это решение в свой модуль?

 

Кстати, ни прокси, ни куки в этом модуле не требуется, и оно работает. Там может использоваться при необходимости сервис для распознавания капчи (antigate.com).

 

У кого работает поиск с прокси(без прокси)?

В данном модуле используется апи яндекса для карточек, я посмотрю

[dexion]

У кого работает поиск с прокси(без прокси)?

В данном модуле используется апи яндекса для карточек, я посмотрю

 

Получить ключ от контентного апи маркета относительно не проблема. Только им нужно аргументировать в каких целях это будет использоваться. Например, для парсинга отзывов о магазине и отображения их на страницах сайта. Возможно попросят показать макет как это будет выглядеть. Ключ дадут, и можно использовать его же для сбора карточек скорее всего.

[dexion]

Кстати, в том модуле импорта отзывов с маркета поиск карточек реализован несколько удобней: если для товара было найдено несколько вариантов карточек, он предлагает выбрать из селекта правильную по названию товара. А Ваш модуль выбирает принудительно первую карточку из нескольких найденных, из-за чего часто возможны ошибки при последующем парсинге (когда вместо карточки наручных часов нашелся мобильный телефон, спарсилось 20+ новых ненужных атрибутов, их потом еще выявлять и удалять, иначе засоряются поля атрибутов в экспорте/импорте товаров).

Например, запустили поиск карточек для 200 товаров, все товары с единственными карточками прикрепились сразу (как и сейчас), а товары с несколькими карточками выделяются, например, цветом, и при проверке результатов после поиска их можно легко обнаружить и выбрать правильный вариант.

[axor]

У кого работает поиск с прокси(без прокси)?

В данном модуле используется апи яндекса для карточек, я посмотрю

у меня работает поиск без прокси, 3 день без капчи.