Rassol2 Опубліковано: 2 липня 2019 Автор Share Опубліковано: 2 липня 2019 3 минуты назад, AlexDW сказал: может что из этого https://stackoverflow.com/questions/1361340/how-to-insert-if-not-exists-in-mysq Сейчас буду изучать. 1 минуту назад, Yesvik сказал: Так добавь поле с хешем MD5 link+dn_id то есть вы предлагаете добавить еше одно поле которое будет равно md5 хешу склейки dn_id и link и сделать его уникальным ключём ? А вот это прикольное решение. Нужно запустить свою промышленную машину тестирования и обкатать вариант. Спасибо. Надіслати Поділитися на інших сайтах More sharing options... fanatic Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 12 минут назад, Rassol2 сказал: Но система построена так что модуль кушает одну ссылку делает все дела. И цикл заканчивается. так может алгоритм в модуле поменять? Надіслати Поділитися на інших сайтах More sharing options... Yesvik Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 1 минуту назад, Rassol2 сказал: то есть вы предлагаете добавить еше одно поле которое будет равно md5 хешу склейки dn_id и link и сделать его уникальным ключём ? Да, и тогда можно INSERT IGNORE... 1 Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 2 липня 2019 Автор Share Опубліковано: 2 липня 2019 1 минуту назад, fanatic сказал: так может алгоритм в модуле поменять? нет. Если в базе 45т ссылок тогда вы упретесь в время выполнения скрипта. А если парсить по одной ссылке. А браузер будет выступать а роли демона и проверять ответ, и дергать по новой. Тогда можно запустить парсинг и уйти спать. Пока открыта страница модуль будет колотить. И ограничение хостинга на время выполнения его не будут касатся. главное что бы парсинг одной ссылки вкладывался в допустимый лимит. Надіслати Поділитися на інших сайтах More sharing options... Yesvik Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 Возьми роллинг курл или ангри курл и заряжай парсинг пачками, которые укладываются в лимит времени... после каждой пачки делай редирект скрипта на самого себя Надіслати Поділитися на інших сайтах More sharing options... Назад 1 2 Вперед Сторінка 2 з 2 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 0 Перейти до списку тем Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку Последние темы Последние дополнения Последние новости Вся активність Головна Підтримка та відповіді на запитання. Допомога програмістам та розробникам Возможно ли формировать мульти запросы в Opencart Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Повний пакет SEO Автор: GeekoDev SameSite Session Fix Opencart 3 Автор: web_bond SP Telegram повідомлення FREE Автор: spectre Відключити порожні категорії Автор: spectre SEO Автор тексту категорії / фільтра / блогу з датою оновлення контенту + мікророзмітка Автор: radaevich × Уже зареєстровані? Ввійти Реєстрація Ваші замовлення Назад Придбані модулі та шаблони Ваші рахунки Лист очікувань Альтернативні контакти Форум Новини ocStore Назад Офіційний сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Завантажити ocStore Документація Історія версій ocStore Блоги Модулі Шаблони Назад Безкоштовні шаблони Платні шаблони Де купувати модулі? Послуги FAQ OpenCart.Pro Назад Демо Купити Порівняння × Створити... Important Information На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність. Я даю згоду
fanatic Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 12 минут назад, Rassol2 сказал: Но система построена так что модуль кушает одну ссылку делает все дела. И цикл заканчивается. так может алгоритм в модуле поменять? Надіслати Поділитися на інших сайтах More sharing options... Yesvik Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 1 минуту назад, Rassol2 сказал: то есть вы предлагаете добавить еше одно поле которое будет равно md5 хешу склейки dn_id и link и сделать его уникальным ключём ? Да, и тогда можно INSERT IGNORE... 1 Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 2 липня 2019 Автор Share Опубліковано: 2 липня 2019 1 минуту назад, fanatic сказал: так может алгоритм в модуле поменять? нет. Если в базе 45т ссылок тогда вы упретесь в время выполнения скрипта. А если парсить по одной ссылке. А браузер будет выступать а роли демона и проверять ответ, и дергать по новой. Тогда можно запустить парсинг и уйти спать. Пока открыта страница модуль будет колотить. И ограничение хостинга на время выполнения его не будут касатся. главное что бы парсинг одной ссылки вкладывался в допустимый лимит. Надіслати Поділитися на інших сайтах More sharing options... Yesvik Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 Возьми роллинг курл или ангри курл и заряжай парсинг пачками, которые укладываются в лимит времени... после каждой пачки делай редирект скрипта на самого себя Надіслати Поділитися на інших сайтах More sharing options... Назад 1 2 Вперед Сторінка 2 з 2 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 0 Перейти до списку тем Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку Последние темы Последние дополнения Последние новости Вся активність Головна Підтримка та відповіді на запитання. Допомога програмістам та розробникам Возможно ли формировать мульти запросы в Opencart Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Повний пакет SEO Автор: GeekoDev SameSite Session Fix Opencart 3 Автор: web_bond SP Telegram повідомлення FREE Автор: spectre Відключити порожні категорії Автор: spectre SEO Автор тексту категорії / фільтра / блогу з датою оновлення контенту + мікророзмітка Автор: radaevich
Yesvik Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 1 минуту назад, Rassol2 сказал: то есть вы предлагаете добавить еше одно поле которое будет равно md5 хешу склейки dn_id и link и сделать его уникальным ключём ? Да, и тогда можно INSERT IGNORE... 1 Надіслати Поділитися на інших сайтах More sharing options... Rassol2 Опубліковано: 2 липня 2019 Автор Share Опубліковано: 2 липня 2019 1 минуту назад, fanatic сказал: так может алгоритм в модуле поменять? нет. Если в базе 45т ссылок тогда вы упретесь в время выполнения скрипта. А если парсить по одной ссылке. А браузер будет выступать а роли демона и проверять ответ, и дергать по новой. Тогда можно запустить парсинг и уйти спать. Пока открыта страница модуль будет колотить. И ограничение хостинга на время выполнения его не будут касатся. главное что бы парсинг одной ссылки вкладывался в допустимый лимит. Надіслати Поділитися на інших сайтах More sharing options... Yesvik Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 Возьми роллинг курл или ангри курл и заряжай парсинг пачками, которые укладываются в лимит времени... после каждой пачки делай редирект скрипта на самого себя Надіслати Поділитися на інших сайтах More sharing options... Назад 1 2 Вперед Сторінка 2 з 2 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 0 Перейти до списку тем Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку Последние темы Последние дополнения Последние новости Вся активність Головна Підтримка та відповіді на запитання. Допомога програмістам та розробникам Возможно ли формировать мульти запросы в Opencart
Rassol2 Опубліковано: 2 липня 2019 Автор Share Опубліковано: 2 липня 2019 1 минуту назад, fanatic сказал: так может алгоритм в модуле поменять? нет. Если в базе 45т ссылок тогда вы упретесь в время выполнения скрипта. А если парсить по одной ссылке. А браузер будет выступать а роли демона и проверять ответ, и дергать по новой. Тогда можно запустить парсинг и уйти спать. Пока открыта страница модуль будет колотить. И ограничение хостинга на время выполнения его не будут касатся. главное что бы парсинг одной ссылки вкладывался в допустимый лимит. Надіслати Поділитися на інших сайтах More sharing options... Yesvik Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 Возьми роллинг курл или ангри курл и заряжай парсинг пачками, которые укладываются в лимит времени... после каждой пачки делай редирект скрипта на самого себя Надіслати Поділитися на інших сайтах More sharing options... Назад 1 2 Вперед Сторінка 2 з 2 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 0 Перейти до списку тем Зараз на сторінці 0 користувачів Ні користувачів, які переглядиють цю сторінку
Yesvik Опубліковано: 2 липня 2019 Share Опубліковано: 2 липня 2019 Возьми роллинг курл или ангри курл и заряжай парсинг пачками, которые укладываются в лимит времени... после каждой пачки делай редирект скрипта на самого себя Надіслати Поділитися на інших сайтах More sharing options... Назад 1 2 Вперед Сторінка 2 з 2 Створіть аккаунт або увійдіть для коментування Ви повинні бути користувачем, щоб залишити коментар Створити обліковий запис Зареєструйтеся для отримання облікового запису. Це просто! Зареєструвати аккаунт Вхід Уже зареєстровані? Увійдіть тут. Вхід зараз Share More sharing options... Передплатники 0
Recommended Posts