Reanimaster
-
Публікації
564 -
З нами
-
Відвідування
Тип публікації
Профілі
Форум
Маркетплейс
Статті
FAQ
Наші новини
Магазин
Блоги
module__dplus_manager
Усі публікації користувача Reanimaster
-
Подождите. Так ID ведь есть в таблице. Тогда просто индексы создавать и обрабатывать массив по ID а не просто ссылки. И ничего раздувать не нужно)
-
1) Построение индексов достаточно быстрое. Да. Но тут же и пересоздать индексы. Я говорю о той части, когда ссылки уже спаршены и нужно с ними работать. А по поводу ошибок или не ошибок. Ну вот смотрите. Вот как понять что и почему не спарсилось?
-
Я понимаю. Но получается что парсер бессилен в случае редиректов и это никак нельзя отловить. В таком случае, как насчет того, что бы добавить еще один пункт Уведомления или Предупреждения, и писать туда не ошибки, а все что не 200?
-
Я имею ввиду что можно ведь сделать в таблице со ссылками доп поле с первичным ключом ID и ID проекта и после сбора ссылок создавать индексы. Далее в массив ссылок брать не только URL но и ID. Так можно будет привязаться к конкретным ссылкам. А поскольку будут созданы индексы - это будет быстро. Ну и соответственно даст больший контроль над ссылками. А что бы ссылки не менялись по первому пчиху - добавить команду на чистку/создание индексов по той же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое видение.
-
Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать способом выше ссылки, которые по той или иной причине не спарсились, предположим ошибка или редирект?
-
А вы не вкурсе, если их преобразовать в ipv6 поможет?
-
Ну в таком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. А индексы никак не помогут?
-
По поводу этого. Я смотрю их нынче предоставляют в формате ipv4, хотя они ipv6 45.89.19.83:12371@QojpZ4:Mm1L7DwSx3 //Socks 45.89.19.83:1237@QojpZ4:Mm1L7DwSx3 //HTTP
-
Есть еще одно пожелание. Сделать возможность указать номер начала парсинга. Есть старт и перезапуск. Но порой нужно указать с какой позиции стартовать. Особенно актуально для фидов 100+к товара. Бывает такое что что-то пошло не так. Крон сбоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А так в лог добавить нумерацию ссылок. И можно будет глянуть, какая была последней, и начать с нее или на парочку меньше. Так же было бы здорово где нибудь видеть, в логах может, но не листая а просто нумерацию, сколько успешно обработано, сколько не обработано и отфильтровать в логе неуспешно обработанные, взять ссылки и более пристально посмотреть, почему же там не обработано. Еще я думаю было бы не плохо включить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - остановить парсинг принудительно. Спасибо. Критика приветствуется.
-
Доброе утро. Да блин закончились как раз( Прикуплю на днях
-
Понял. Тогда по старинке. Спасибо.
-
Еще одна хотелка небольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в коде находится SKU и он создает мне пустой товар((
-
-
-
Доброе утро. Проски IPv6)
-
В общем если интересно. Психанул, залил 1 язык. Экспортировал таблицу, заменил lang_id залил назад. Дешево и сердито)
-
Я реально пользуюсь парсингом в кеш по крону. Я вообще все что возможно на крон вешаю ибо больше всех пахала лошадь, но председателем так и не стала)
-
Благодарю. Просто у меня ощущение что при загрузке атрибутов что то не так с определением языка. Хочу проверить.
-
Все верно, собственно говоря. Вы молодец!)
-
Я знаю)))
-
Прошу прощения. Достал уже наверное. Как в логе вывести ID языка? В этой же функции $log = ['name' => $attr[0], 'value'=>$attr[1], 'attr_id'=> $attr['id']]; $this->log('addAttrToProductLog', $log, $dn_id);
-
Прошу прощения. Но косяк найден)) В коде что вы мне дали нет foreach на языки))) Вот в оригинале. Я как то и проглядел этот момент) Все равно спасибо большое за уделенное время. P.S. Сейчас вот сижу и думаю. Лучше бы мля я это время потратил на написание скрипта)))
-
Да и сам понимаю что не может. Тем более что запрос статический же. Чертовщина какая то.... Причем даже если я закомментирую строку с удалением - все равно как то мляха удаляет((
-
Да вот у меня уже в глазах рябит) В PHPMyAdmin нормально выполняется. Далее уже даже так сделал. Запускаю и все. В товаре пусто...
-
В таком случае модуль просто перестанет быть простым для чайников, потому что требования и хотелки растут. Аппетит то приходит во время еды)
-
Дополнил ответ.
