[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

2 минуты назад, urlmy сказал:

Добрый день! Купил модуль, сделал все по инструкции, распаковал в корне на хостинге, перешел на мойсайт.ru/inst.php, после чего перешел  Система->Пользователи->Группы пользователей->Администратор, выделил все и сохранил. Перещел в модификаторы, модуля небыло видно и даже после нажатой кнопки обновить. Перешел в сам модуль а там ошибка такого плана:Fatal error: Can't use function return value in write context in /var/www/vhosts/v-10058.webspace/www/мойсайт.ru/admin/model/catalog/simplepars.php on line 231

Здравствуйте.
Какая версия движка у вас стоит ?

 

[urlmy]

Just now, Rassol2 said:

Здравствуйте.
Какая версия движка у вас стоит ?

 

Version 3.0.3.1 (rs.2)

[Rassol2]

@urlmy модуль доступен в боковом меню в вкладке каталог

 

А по поводу ошибки интересно поскольку у меня в строке 231 нету возврата значений.

[Rassol2]

1 минуту назад, urlmy сказал:

Version 3.0.3.1 (rs.2)

если есть возможность напишите мне в ЛС данные подключения к админке и фтп.
Я все проверю и поправлю. Если ошибка в модуле.

[urlmy]

1 minute ago, Rassol2 said:

@urlmy модуль доступен в боковом меню в вкладке каталог

 

А по поводу ошибки интересно поскольку у меня в строке 231 нету возврата значений.

При переходе в этот раздел ошибка появляется на белом фоне вместо самого содержания модуля

[Rassol2]

1 минуту назад, urlmy сказал:

При переходе в этот раздел ошибка появляется на белом фоне вместо самого содержания модуля

есть возможность предоставить доступ что бы не гадать что у вас не так ?

[Rassol2]

если нет то будем так решать. Но с доступом было бы понятнее что не так у вас.

[kagan25]

Привет. У меня почему-то стал парсинг виснуть на 250-310 товаров( не пойму в чем причина

и при сохранении ссылок на первой вкладке выдает gateway timeout - можно как-то побороть это?

[Rassol2]

21 минуту назад, kagan25 сказал:

Привет. У меня почему-то стал парсинг виснуть на 250-310 товаров( не пойму в чем причина

и при сохранении ссылок на первой вкладке выдает gateway timeout - можно как-то побороть это? 

1. пришлите мне настройки. Формы с ссылками. И посмотрите лог, на какой ссылке застраивает модуль.
Я проверю.

Но перед этим нажмите в браузере f12 и откройте консоль и посмотрите что там написано. Если там есть красный текст ошибки то что то в модуле. Тогда присылайте и буду смотреть все.

 

2. Скорее всего вы пытаетесь засунуть больше 10т ссылок. И вам не хватает времени скрипта на выполнение этой задачи.
Я уже как то писал что с этой функцией есть сложности и не по вине модуля. Просто так устроен веб протокол.
Как говорится нельзя просто взять и засунуть миллион ссылок. Потому что модуль должен брать ссылку и проверять ее и записывать в базу данных.
А это время и ресурсы.
+ на хостинга есть ограничения по количеству данных которые можно принять в одном пост запросе.

Я улучу эту функцию она будет больше принимать за раз. Но сама проблема так не решается. Мой рекорд был засунуть 61т ссылок.
 

[Rassol2]

Так внимание если вы после установки видите сообщение
Fatal error: Can't use function return value in write context in

 

то скорее всего у вас на хостинге стоит php 5.4
Модуль работает на версии 5.6 и выше это написано в описании модуля.

Ну и господа на дворе уже 2019 год пора бы переходить на php 7+ он намного производительнее. !!!

[Rassol2]

@kagan25 И да сейчас вы можете просто поделить ссылки на несколько загрузок.
к примеру по 50-10т в зависимости от того сколько ваг хостинг пропустить.
И порой загрузок занести их в модуль.

[kagan25]

25 минут назад, Rassol2 сказал:

@kagan25 И да сейчас вы можете просто поделить ссылки на несколько загрузок.
к примеру по 50-10т в зависимости от того сколько ваг хостинг пропустить.
И порой загрузок занести их в модуль.

я добавлял 8400 ссылок, оно выбивает ошибку спустя минуту примерно, кликаю назад и они вроде как сохранены в модуле. может это и нормальное поведение, я не знаю)

 

по поводу парсинга - убирал проверку на наличие товара, по вашему совету в коде модуля. в консоль падала ошибка и парсинг останавливался. 

удалил товары - добавлю заново уже с проверкой на наличие(строку удалил) - вроде идет все ок

 

модуль обновлял сегодня - заливкой новых файлов и запуском inst.php

 

еще вопрос был по сбору ссылок - у меня на сборку и проверку ссылок ушло около 6-7 часов. ссылок всего 9000. 

это нормальная скорость или у меня так долго?

например тот же screaming frog собрал их за 15 минут

 

Змінено 27 червня 2019 користувачем kagan25

[kagan25]

@Rassol2 заметил еще такую штуку. 

у меня например на доноре идет название товара и в конце стоит "оптом и в розницу", которое мне не нужно. Соответственно я конец границы парсинга делаю "оптом и в розницу</h1>". Но такая схема сделана не во всех категориях. Было бы круто, если будет уловие на проверку, например по первому варианту конец границы парсинга не совпал, то использовать второй вариант. 

 

надеюсь мысль донести получилось

[Rassol2]

22 минуты назад, kagan25 сказал:

по поводу парсинга - убирал проверку на наличие товара, по вашему совету в коде модуля. в консоль падала ошибка и парсинг останавливался. 

удалил товары - добавлю заново уже с проверкой на наличие(строку удалил) - вроде идет все ок

Не по совету а по предостережению не открывать яшик пандоры.
А если серьезно. Когда я писал модуль я не предусматривал что пользователь мог ломать систему по желанию. По этому с чем это связано и не скажу наверное.

Цитата

еще вопрос был по сбору ссылок - у меня на сборку и проверку ссылок ушло около 6-7 часов. ссылок всего 9000. 

это нормальная скорость или у меня так долго?

например тот же screaming frog собрал их за 15 минут

Над сбором ссылок я сейчас готовлю пачку исправлений и дополнений но в целом, это нормально.
Суть в том что php работает в одном потоке.
То есть одна ссылка обработалась берем следующею. Так вот если взять средний показатель к примеру 2сек. На то что бы отправить запрос на сайт. получить данные. Произвести обработку получить ссылки, сравнить с ссылками в базе, записать ссылки. И перейти к следующей итерации. То 6т это уже 3,3часа.
А если учесть что модуль должен при сборе ссылок пройтись по всем. А их бывает гораздо больше чем выдачи. То да для веб приложения это нормально.

В будущем есть планы написать многопоточный парсер на pythone, и красиво это объединить с php
Но сейчас это пока в планах. Но концепт у меня уже в голове. Должно быть круто.

[Rassol2]

14 минут назад, kagan25 сказал:

@Rassol2 заметил еще такую штуку. 

у меня например на доноре идет название товара и в конце стоит "оптом и в розницу", которое мне не нужно. Соответственно я конец границы парсинга делаю "оптом и в розницу</h1>". Но такая схема сделана не во всех категориях. Было бы круто, если будет уловие на проверку, например по первому варианту конец границы парсинга не совпал, то использовать второй вариант. 

 

надеюсь мысль донести получилось 

уже реализовано!
Скидывайте 2 имени где есть эта запись и где нет к примеру.
Или ссылки на 2 товара я вам напишу правило которое будет это обрабатывать.

[Rassol2]

Писал в этом обновлении

Добавлена поддержка регулярных выражений в поиск замена.

 

 

[kagan25]

6 минут назад, Rassol2 сказал:

уже реализовано!
Скидывайте 2 имени где есть эта запись и где нет к примеру.
Или ссылки на 2 товара я вам напишу правило которое будет это обрабатывать.

написал в личку

[urlmy]

Добрый день! На странице "Настройка парсинга" вставляю ссылку для просмотра кода, нажимаю кнопку "Загрузить страницу" и открывается отдельным окном ошибка: 

Forbidden

You do not have permission to access this document.

 

---

Web Server at v-10058.webspace

[Rassol2]

38 минут назад, urlmy сказал:

Добрый день! На странице "Настройка парсинга" вставляю ссылку для просмотра кода, нажимаю кнопку "Загрузить страницу" и открывается отдельным окном ошибка: 

Здравствуйте.
По ссылке что видно на скриншоте у меня сайт даже в браузере не открывается.
Может он не работает ?
Если у вас в браузере открывается скиньте ссылку я проверю у себя в модуле.


Так же не забывайте если сильно нагружать сайт донор администрация можете бороться с аномальной активностью и заблокировать вас.

[urlmy]

12 minutes ago, Rassol2 said:

Здравствуйте.
По ссылке что видно на скриншоте у меня сайт даже в браузере не открывается.
Может он не работает ?
Если у вас в браузере открывается скиньте ссылку я проверю у себя в модуле.


Так же не забывайте если сильно нагружать сайт донор администрация можете бороться с аномальной активностью и заблокировать вас.

https://pelican-style.ru/catalog/bzrm4114-plashch-dlya-malchikov.html

Я даже пробовал ссылку яндекса вбить https://yandex.ru таже история

 

[Rassol2]

7 минут назад, urlmy сказал:

https://pelican-style.ru/catalog/bzrm4114-plashch-dlya-malchikov.html

Я даже пробовал ссылку яндекса вбить https://yandex.ru таже история

 

У меня все отрывается. Данная ошибка что у вас на скриншотах говорит о том что вам закрыли доступ.
На уровне вашего сайта блокировка или доноров я ответить не могу.

Вот у меня.

Спойлер

Второе окно пустое, это потому что данный донор запрещает открывать его везде кроме самого сайта.
А точнее запрещает в ifrem но на парсинг это не как не сказывается. Только не будет работать окно пред просмотра.
Сделаю на сайте модуля специально страницу для проверки разрешения работы iframe

Что бы проверить что сайт не разрешает его открывать в iframe нужно посмотреть заголовки ответа сайта. Если видите это

 

Значит пред просмотр пред просмотр сайта в нижнем окное не будет работать, но настраивать можно. Открыв страницу для наглядности в другой вкладке в браузере.
Для этого можно нажать сюда

[Rassol2]

33 минуты назад, urlmy сказал:

https://pelican-style.ru/catalog/bzrm4114-plashch-dlya-malchikov.html

Я даже пробовал ссылку яндекса вбить https://yandex.ru таже история

так же посмотрите на вкладке модуля Логи последние строки что модуль говорит при попытке пред просмотра сайта яндекса или https://pelican-style.ru/
там будет код ответа. Интересно увидеть его.

[urlmy]

25 minutes ago, Rassol2 said:

У меня все отрывается. Данная ошибка что у вас на скриншотах говорит о том что вам закрыли доступ.
На уровне вашего сайта блокировка или доноров я ответить не могу.

Вот у меня.

  Reveal hidden contents

Второе окно пустое, это потому что данный донор запрещает открывать его везде кроме самого сайта.
А точнее запрещает в ifrem но на парсинг это не как не сказывается. Только не будет работать окно пред просмотра.
Сделаю на сайте модуля специально страницу для проверки разрешения работы iframe

Что бы проверить что сайт не разрешает его открывать в iframe нужно посмотреть заголовки ответа сайта. Если видите это

 

Значит пред просмотр пред просмотр сайта в нижнем окное не будет работать, но настраивать можно. Открыв страницу для наглядности в другой вкладке в браузере.
Для этого можно нажать сюда

Этта кнопка неактивна, но если на нее нажать выкидывает на страницу логина с сообщением:  Неправильная токен-сессия. Авторизуйтесь снова.

[Rassol2]

10 минут назад, urlmy сказал:

Этта кнопка неактивна, но если на нее нажать выкидывает на страницу логина с сообщением:  Неправильная токен-сессия. Авторизуйтесь снова.

Она должна быть неактивна пока вы не начнете просматривать код страницы.
Это я поправлю в следующем обновлении. Он должна быть неактивна и не кликатся. А кликнуть можно когда активируется.

[Rassol2]

НИШТЯЧКИ

 

Сделал для вас простенький скрипт для проверки почему сайт не выводится в настройках парсинга в окне пред просмотра.
Постоянная ссылка на этот инструмент - https://simplepars.top/tools/test_pre_view.php

В случаи если сайт можно просмотреть вы получите такой ответ.

Спойлер

 

А если сайт запрещает просматривать его в iframe получите такой ответ.

 

Спойлер

Функционал банально прост. Вставили ссылку нажали кнопку. Все.
Думаю тут все все будет понятно.

Я думаю это нужный инструмент что бы быстро определить причину почему не выводится сайт в пред просмотре.