Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

5 минут назад, Alexcctv сказал:

Так пиво взял уже, вот прокси на закуску думаю прикупить, просто не особо пойму нашел прокся аренда 3 прокси пишется 90 подстетей, вот вопрос намечается если 1 проксю забанят то остальные будут работать из этой подсети?)) Да и хотел уточнить может в будущем если парсинг не прошел к примеру умер прокси то чтобы парсинг уведомлял , а не показывал имитацию парсинга))А то с моим количеством невыгодно перепарсивать все заново)

да уже есть в списке на реализацию.
Пользователи пока разделились на два лагеря.

1. Сделать настройку которая будет останавливать парсинг при получении ошибки от сайта донора.
2. Ссылки которые не были спарсены записывать в 3 список. Ошибки при обработке.

А я думаю нужно и то и то.
Но время господа, я бы все сделал если бы у меня в сутках было бы 48 часов. Да и инструкцию нужно писать, и видео записывать.
Вот так и получается идей целый фейерверк, а время в сутках почти нет. Работаю по ночам потому что тогда никто не пишет )))

Будет сделано, 100% только уже в релизах 3.1, 3,2 где то там.
Сейчас делаю сахар для вас, что бы было еше удобнее пользоваться уже тем что есть.

Ссылка на комментарий
Поделиться на других сайтах

14 минут назад, Alexcctv сказал:

Да и хотел уточнить может в будущем если парсинг не прошел к примеру умер прокси то чтобы парсинг уведомлял , а не показывал имитацию парсинга))А то с моим количеством невыгодно перепарсивать все заново)

пока что модуль только сообщает что по такой ссылке удачного результата не было.
 

Спойлер

hn2bHWD.png

В дальнейшем еше хочу сделать что бы при получении ошибки от одного прокси модуль помечал прокси как мертвое.
Короче куча всего интересно впереди.

Ссылка на комментарий
Поделиться на других сайтах

1 минуту назад, Rassol2 сказал:

пока что модуль только сообщает что по такой ссылке удачного результата не было.
 

  Скрыть контент

hn2bHWD.png

В дальнейшем еше хочу сделать что бы при получении ошибки от одного прокси модуль помечал прокси как мертвое.
Короче куча всего интересно впереди.

а socsk5 я могу использовать?

Ссылка на комментарий
Поделиться на других сайтах


Только что, Alexcctv сказал:

а socsk5 я могу использовать?

да.
 

Спойлер

9esh7HA.png

 

Ссылка на комментарий
Поделиться на других сайтах

1 минуту назад, Alexcctv сказал:

а socsk5 я могу использовать?

Соксы платны.
Объясняю почему я говорю для начала на бесплатном поиграйтесь.
Я пока что не получал много отзывов по работе с проксяками. И не хочется что бы вы заплатили за прокси и потом какой то косяк вышел и я всю ночь правил его.
Луче обкатать все.

Ссылка на комментарий
Поделиться на других сайтах

1 минуту назад, Rassol2 сказал:

Соксы платны.
Объясняю почему я говорю для начала на бесплатном поиграйтесь.
Я пока что не получал много отзывов по работе с проксяками. И не хочется что бы вы заплатили за прокси и потом какой то косяк вышел и я всю ночь правил его.
Луче обкатать все.

да я бесплатные пол дня ковыряю таймауты лютые купил 3 прокся привата вроде работают

Ссылка на комментарий
Поделиться на других сайтах


6 минут назад, Alexcctv сказал:

да я бесплатные пол дня ковыряю таймауты лютые купил 3 прокся привата вроде работают

И последнее если прокся 1 умирает остальные работают парсинг нормально дальше идет или он будет пропускать товары благодаря мертвяку?

Ссылка на комментарий
Поделиться на других сайтах


4 минуты назад, Alexcctv сказал:

да я бесплатные пол дня ковыряю таймауты лютые купил 3 прокся привата вроде работают

для того что бы использовать публичные и не платить я сделал чекер.
 

Спойлер

1CFutTg.png

можно записать хоть 1000публичных.
указать ссылку на сайт донор. Указать текст который есть на сайте доноре.
Выбрать максимальное время выполнения. и время на соединение. И запустить проверку.

По окончанию у вас в проверенном списке останутся только те прокси что работают. И они вкладываются в тайменги что вы выбрали в прокси чекере.
Своего рода отсеваем всякий хлам. ;-) предусмотрел )

Ссылка на комментарий
Поделиться на других сайтах

Только что, Alexcctv сказал:

И последнее если прокся 1 умирает остальные работают парсинг нормально дальше идет или он будет пропускать товары благодаря мертвяку?

пропускать.
но можете раскоментировать вот этот кусок кода в /admin/model/catalog/simplepars.php
 

Спойлер

wxXXBAz.png

Что бы стало так
 

Спойлер

CaVPMde.png

 
Если вы это сделаете тогда модуль, получив ошибку парсинга, возмет новый прокси и повторит запрос на эту страницу. Если снова ошибка то еше раз.
и так он будет пытаться спарсить пока не пройдет 27сек.
Если за 27 сек он успеет найти у вас в списке подходившее прокси пойдет дальше.
Если нет. То ссылка останется неспаренной и модуль пойдет дальше.

Это реализовано в модуле. Но я пока что не успел сделать настройку которая будет регулировать порядок действий. Но можно включить через код :)

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

50 минут назад, Rassol2 сказал:

пропускать.
но можете раскоментировать вот этот кусок кода в /admin/model/catalog/simplepars.php
 

  Показать контент

wxXXBAz.png

Что бы стало так
 

  Показать контент

CaVPMde.png

 
Если вы это сделаете тогда модуль, получив ошибку парсинга, возмет новый прокси и повторит запрос на эту страницу. Если снова ошибка то еше раз.
и так он будет пытаться спарсить пока не пройдет 27сек.
Если за 27 сек он успеет найти у вас в списке подходившее прокси пойдет дальше.
Если нет. То ссылка останется неспаренной и модуль пойдет дальше.

Это реализовано в модуле. Но я пока что не успел сделать настройку которая будет регулировать порядок действий. Но можно включить через код :)

Спасибо дорогой))А то я замечать начал это, думаю дай спрошу))Еще дауны в теме пишут глупости всякие сегодня почитал, аж улыбнуло))) "Понимать не хочу хочу штобЫ все работало" цитаты умных людей))
Комментировать и раскоментировать умеем)) :D 
Чую отдыхом пахнет))Не буду тревожить спасибо конкретно помогли :) 

Изменено пользователем Alexcctv
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


Большие списки публичных прокси для "поиграться, пощупать, научиться, потыкать".

 

HTTPS - 16046 шт.

SOCKS - 16220 шт.

 

ИНСТРУКЦИЯ по работе с прокси (proxy) в модуле

 

Надеяться, что парсинг с этими прокси пройдёт идеально не стоит. Но что бы научиться ими пользоваться в модуле более чем хватит.

proxy_https[16046].txt proxy_socks[16220].txt

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах


3 минуты назад, Nomandvs сказал:

Большие списки публичных прокси для "поиграться, пощупать, научиться, потыкать".

 

HTTPS - 16046 шт.

SOCKS - 16220 шт.

 

ИНСТРУКЦИЯ по работе с прокси (proxy) в модуле

 

Надеяться, что парсинг с этими прокси пройдёт идеально не стоит. Но что бы научиться ими пользоваться в модуле более чем хватит.

proxy_https[16046].txt 317 \u043a\u0411 · 0 downloads proxy_socks[16220].txt 320 \u043a\u0411 · 0 downloads

спс, норм так подгон. :)

Ссылка на комментарий
Поделиться на других сайтах

я вот думаю можете создать на сайте simplepars список публичных прокси.
Написать свой внутренний парсер который будет пробегать каждый день по публичным ресурсам собирать прокси. И составлять список.
И еше повесить второй скрипт который к примеру будет постоянно пробигать по этим прокси и проверять их на работоспособность.

Которые работают оставлять, а что умерли вычищать из списка.
Что бы у пользователей всегда был более мение актуальный список проксе.
 

Блин, где на все взять время :(

Ссылка на комментарий
Поделиться на других сайтах

2 минуты назад, Rassol2 сказал:

я вот думаю можете создать на сайте simplepars список публичных прокси.
Написать свой внутренний парсер который будет пробегать каждый день по публичным ресурсам собирать прокси. И составлять список.
И еше повесить второй скрипт который к примеру будет постоянно пробигать по этим прокси и проверять их на работоспособность.

Которые работают оставлять, а что умерли вычищать из списка.
Что бы у пользователей всегда был более мение актуальный список проксе.
 

Блин, где на все взять время :(

прокся сьедят быстро))Публичный доступ это дело такое)Лучше бы советовал бонусом по 50 проксей тестовых кидать на обучение)

Ссылка на комментарий
Поделиться на других сайтах


2 минуты назад, Alexcctv сказал:

прокся сьедят быстро))Публичный доступ это дело такое)Лучше бы советовал бонусом по 50 проксей тестовых кидать на обучение)

ну с таким успехом луче их в интернете брать тогда когда они будут нужны.

Можно раздел закрыть только для своих.
Или сделать в модуле получить прокси )))

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

@Rassol2 Не раз наблюдал, когда прокси работает около минуты, потом на пол минуты просто отваливается и оживает как ни в чем не бывало.

Даже если при первом чеке выживет 20% прокси, то среди них в этот момент времени будут уже мёртвые.

 

Тут простым разовым чекером ситуацию не спасти, нужно вести историю по каждому адресу и по итогам нескольких чеков сортировать по "средней живучести".

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, Nomandvs сказал:

@Rassol2 Не раз наблюдал, когда прокси работает около минуты, потом на пол минуты просто отваливается и оживает как ни в чем не бывало.

Даже если при первом чеке выживет 20% прокси, то среди них в этот момент времени будут уже мёртвые.

 

Тут простым разовым чекером ситуацию не спасти, нужно вести историю по каждому адресу и по итогам нескольких чеков сортировать по "средней живучести".

Ну вот давно хотел найти себе задание для на Python будет хороший повод по изучать пайтон, и написать на нем хороший парсер для проксей.
там можно и в многоточечном режиме сделать. И вести историю, и те прокси которые умерли повторно опрашивать отдельно.

Можно загорячится и сделать мясорубку проксей. ;-)

Ссылка на комментарий
Поделиться на других сайтах

2 минуты назад, Nomandvs сказал:

@Rassol2 Не раз наблюдал, когда прокси работает около минуты, потом на пол минуты просто отваливается и оживает как ни в чем не бывало.

Даже если при первом чеке выживет 20% прокси, то среди них в этот момент времени будут уже мёртвые.

 

Тут простым разовым чекером ситуацию не спасти, нужно вести историю по каждому адресу и по итогам нескольких чеков сортировать по "средней живучести".

да, да такую беду заметил пока не купил приват) Работало ушло в небытие (халява), общий ресурс всем интерес под свои нужды) Прокси это штука такая, для малыъ целей поможет, для моей проблемы только приват спасает. На начальном уровне парсинга в тысяч 14 с разных сайтов траблов небыло, вот один попался хостинг проблемный)

Ссылка на комментарий
Поделиться на других сайтах


Только что, Rassol2 сказал:

Ну вот давно хотел найти себе задание для на Python будет хороший повод по изучать пайтон, и написать на нем хороший парсер для проксей.
там можно и в многоточечном режиме сделать. И вести историю, и те прокси которые умерли повторно опрашивать отдельно.

Можно загорячится и сделать мясорубку проксей. ;-)

На перле удобней, и язык более читабельны:)

Ссылка на комментарий
Поделиться на других сайтах


9 минут назад, Alexcctv сказал:

На перле удобней, и язык более читабельны:)

Ой не знаю не знаю. :cool:
 

10 минут назад, Alexcctv сказал:

Прокси это штука такая, для малыъ целей поможет, для моей проблемы только приват спасает.

А может и так. Не стоит оно того, есть публичные прокси, есть их списки в интернете зачем повторять все это. Кому нужно для маленького проекта взмет там.
А кому серьезнее воспользуется платными.

Ссылка на комментарий
Поделиться на других сайтах

Обновление 2.9-8_beta

Это обновление посвятил всяким мелочам, которые не глобальные но их накопилось.

Пред просмотр парсинга в ИМ
 

Спойлер

MphU3Yg.png

Добавлена кнопа быстрого перехода на страницу сайта что вы просматриваете. Кнопка появляется только когда нажата кнопка пред просмотр.
Кликнув на ее в браузере откроется новая вкладка и в ней загрузится страница сайта донора.
Помогает быстро сравнить данные.
Так же добавлен вывод акционной цены если она есть в товаре.
 

Спойлер

iVZcdJU.png

В отладочной информации добавлен вывод информации об акционной цене, и об производителе (не знаю почему производителя не было раньше. Может забыл :-))

 

Если в парсинге опции отрабатывает опция по умолчанию.
 

Спойлер

RikbBMK.png

Это подсвечивается в пред просмотре.
 

Спойлер

YvF5fE6.png

Так же подробно про данные которые попадают в опции можно узнать в отладочной информации.
Здесь я постарался слать формат понятный обывателю.
 

Спойлер

NAnDsEx.png

Одна опция от другой отделяются решетками.
А операторы {csvnc} выводятся только в отладочной информации, и только для того что бы вы видили как произведена настройка, и где происходит сбой.

 


Логи
Логи очень информативные, и помогают мне решить много вопросов. В связи с этим решил прокачать даже такую банальную функцию как просмотр логов.
 

Спойлер

CiVFVPB.png

 

1. Добавлена возможность выводить логи в обратном порядке, то есть сперва самые свежие, затем старые. Все это работает без перезагрузки страницы.
Обратите внимание что эта настройка не влияет на порядок записи логов, а только на вывод логов на этой странице. что бы вы постоянно не проматывали в самый низ для того что бы увидеть свежие записи.

 

2. В последних версия ограничение на максимальный размер файла стояло 25 мб, если лог файл превышал это размер, тогда логи не выводились. Но и этого оказалось мало. Так что добавил настройку где вы можете выбрать максимальный размер для пред просмотра логов. Это действие требует нажать кнопку сохранить.

3. Частота авто обновления, и кнопка авто обновления это отдельный разговор.
Теперь вы можете запустить парсинг, открыть вторую вкладку с логами. Выбрать частоту обновления логов в 10сек. И нажать кнопку авто обновление.
После чего заварив кофе наблюдать как каждые 10 секунд логи на этой странице будут обновятся. Если еше выбрать вывод логов в обратном порядке то каждые 10 секунд вы будете получать вывод актуальных лога.
Уже обкатал на себе безумный кайф.

Но есть и черная сторона с авто обновлением.
При авто обновлении модуль запрашивает весь лог файл. И выводит его вам, и если вы парсите что то на 10+ тысяч товаров то лог файл может весить очень много.
Так вот если лог файл весит 20мб и вы используете авто обновление получается что каждые 10 секунд модуль обращается на сервер выкачивает 20мб и показывает их вам. И через 10 сек повторяет действие. То есть это трудозатратно для сервера где вы хоститесь.
Вторая беда с этим заключается в том что PHP язык одно поточный, так что в момент когда пошел запрос обновить лог, парсер замирает, когда логи вам отдали продолжает. И так замирает каждые 10 скек. или сколько вы там выберите. Хоть это и доли секунд но на дистанции в 5 , 10 ,15 тысяч это будет минуты и даже часы.

Так что рекомендую использовать эту возможность в момент настройки парсинга, и отладки. И не забывать отключать. !!!!

По этому когда идет авто обновления кнопка горит красным. Видите красны отключайте !!!!
qlTDas2.png

 


Браузер.

Добавлена возможность отправлять куки через сами заголовки.
То есть берете заголовок с браузера, строку кук как есть и записываете в раздел Собственные заголовки
В браузере мазила это выглядит так.

Спойлер

0146wwz.png


И после этого все запросы на сайт донор с этой формы будут уходить с указанными куками.
 

Спойлер

YfBYkrP.png

Метод своего рода прибить куки гвоздями.

На этом все. :)
Для обновления необходимо выполнить /inst.php

  • +1 4
Ссылка на комментарий
Поделиться на других сайтах

4 часа назад, hippvik сказал:

Интересненький АНОНС)))

Получилось как анонс, потому что я не мог загрузить на форум архив. Он упорна отказывался грузится.
сейчас вроде загружен.

Ссылка на комментарий
Поделиться на других сайтах

А если во вкладке "Парсинг в ИМ" Сделать кнопку "загрузить прайс". Просто бывает хочется  подредактировать и потом просмотреть как выглядит в  предпросмотре" ну, а затем  загружать в им.Соответственно прайс который спарсился во вкладке "CSV/Парсинг". 

Мне кажется очень  нужная Кнопочка. Ну и тогда парсер станет универсальным модулем  )) типа import/export CSV )

Ссылка на комментарий
Поделиться на других сайтах


40 минут назад, hippvik сказал:

А если во вкладке "Парсинг в ИМ" Сделать кнопку "загрузить прайс". Просто бывает хочется  подредактировать и потом просмотреть как выглядит в  предпросмотре" ну, а затем  загружать в им.Соответственно прайс который спарсился во вкладке "CSV/Парсинг". 

Мне кажется очень  нужная Кнопочка. Ну и тогда парсер станет универсальным модулем  )) типа import/export CSV )

ну вы предлагаете сделать еше загрузку прайс листов?

уже есть такие модули


Автоматическая обработка прайс листов. 
CSV Price Pro import/export

 

Во первых зачем если такие модули уже есть, если уже тратить свое время на создание чего то то это что то должно решать задачу которую пока не как не решить.
Во вторых мне бы пока со своей областью разобраться. Все же луче делать хорошо что то одно, чем все но плохо.
 

Пока что в планах нету делать загрузки с прайс листов. Это своя кухня со своими особенностями, и у этой кухни уже есть как минимум два шеф повара.

Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.