CHATGPT-4 та його ліміти

[paramount]

Перешерстив гугл щодо інформіції про ліміти chatgpt 4 та не знайшов актуальної на цю годину.

Може хтось є користувачем даного чату з цього форуму? Які ліміти на кількість повідомленнь за годину та наскільки швидше за 3?

[chukcha]

А ви де шукали?

 

Цитата

During the limited beta rollout of GPT-4, the model will have more aggressive rate limits to keep up with demand. Default rate limits for gpt-4/gpt-4-0314 are 40k TPM and 200 RPM. Default rate limits for gpt-4-32k/gpt-4-32k-0314 are 80k TPM and 400 RPM. We are unable to accommodate requests for rate limit increases due to capacity constraints. In its current state, the model is intended for experimentation and prototyping, not high volume production use cases.

 

[kabantejay]

якщо ви маєте на увазі ліміти Plus версії за 20 доларів, то вони дуже змінюються в залежності від різних обставин та можуть бути навіть до 20-25 запитів на годину:

https://www.reddit.com/r/OpenAI/comments/10zk56z/hourly_rate_limit_for_chatgpt_plus_dont_waste/

 

[paramount]

В 08.05.2023 в 22:01, kabantejay сказав:

якщо ви маєте на увазі ліміти Plus версії за 20 доларів, то вони дуже змінюються в залежності від різних обставин та можуть бути навіть до 20-25 запитів на годину:

https://www.reddit.com/r/OpenAI/comments/10zk56z/hourly_rate_limit_for_chatgpt_plus_dont_waste/

 

Так я це теж читав, хтось пише шо 50 а хто 100, тому хотів уточнити це правда чи ні.. шкода що за такі гроші діють обмеження 

[kabantejay]

09.05.2023 в 10:55, paramount сказал:

Так я це теж читав, хтось пише шо 50 а хто 100, тому хотів уточнити це правда чи ні.. шкода що за такі гроші діють обмеження 

 

так, це правда, буває по різному, в залежності від навантаження на сервіс, країни та іншого... для роботи в режимі користувача для якихось повсякденних завдань його в цілому вдосталь, і ці 20 баксів то просто копійки в порівнянні з тим наскільки він себе окуповує, але для масової роботи так, цього недостатньо((

та переваги GTP-4 нажаль ви не зможете використовувати в API для масовоъ роботи, тому що поки що доступу для простих смертних до нього немає, це по перше.

по друге - так, він краще, більше ліміти, але в середньому ви не витратите навіть половину ліміту на запит навіть для 3.5 турбо для заповнення товарів чи статей..
по-третє - для базових завдань генерації тексту/відповідей та іншого, якщо ми не займаємось якимись важкими математичними або іншими завданнями, то за даними тестів 4 не набагато краще за 3.5 і так само можливі неточні або непередбачувані результати.
четверте - ціна на нього в 30 разів більша ніж у моделі GPT-3.5 Turbo... що це означає практиці:

я тісно пов'язаний з GTP тому що я розробник модулю для генерації / масової генерації опісів для сайту:
https://opencartforum.com/files/file/9151-opencart-chatgpt-kontent-generator-s-iskusstvennym-intellektom/

У користувача chukcha що вам відповів, до речі теж є схожий, ось його: https://opencartforum.com/files/file/9163-chatgpt-v-opencart/

 

---------------

 

Теперь дивіться, наприклад якщо ми берем 1000 товарів (або совокупність -1000 різних сторінок, товари/блог/категорії/фільтри та інше), припустимо що у середньому для генерації даних в нас займає приблизно мінімум 2000 символів (хай буде до 1500 на описа та 500 разом на заголовки, мета тайтл та діскріпшн).

для моделі 3.5 turbo це приблизно займе 1000 токенів = 0,002$
тобто 1000 сторінок мінімально буде коштувати 2 долари.

для моделі gpt-4 ціна складає 0,06$ за 1000 токенів на відповідь - рівно у 30 разів дорожче, тобто 1000 сторінок мінімально це буде вже:
1000*0.06 = 60 доларів. а різницю в якості та результатах ви можливо навіть не помітите...

[paramount]

Дякую за розгорнуту відповідь.
Мені більш цікаво з якими об'ємами даних він зможе працювати, я дуже давно цікавився програмуванням і хочеться повернутися в це діло та бачучи можливості ШІ він дуже допомагає з кодом, так, може надати лише приклад реалізації з пояснюванням  але це правильно, дає не тільки майже готовий код та ще й змушує подумати аби мозок не зовім атрофувався.
Я вже дивився ваш модуль, планую придбати.

[kabantejay]

11.05.2023 в 13:09, paramount сказал:

Дякую за розгорнуту відповідь.
Мені більш цікаво з якими об'ємами даних він зможе працювати, я дуже давно цікавився програмуванням і хочеться повернутися в це діло та бачучи можливості ШІ він дуже допомагає з кодом, так, може надати лише приклад реалізації з пояснюванням  але це правильно, дає не тільки майже готовий код та ще й змушує подумати аби мозок не зовім атрофувався.
Я вже дивився ваш модуль, планую придбати.

 

взагалі дивлячись за самим запитом, тобто чим більш конкретні запити даєте тим краще буде відповідь, це я про код та й взагалі... дуже гарно працює стиль написання, коли ви заздалегідь знаєте приблизно варіанти відповідей та також даєте йому ввідні дані, ще гарно працює коли ви додаєте конкретно очікуваний результат - він може спробувати код підлаштувати під те що має бути на виході. можливості дуже круті але дійсно на 100% він за вас програму не зробить.

обсяги велики, 3.5 турбо ліміт 4000 токенів, це десь до 7-8 тис. символів кирилицею, у вас скоріше ліміт виконання скрипта спрацює ніж ліміт моделі. у 4 версії - 8 тис. токенів, також є gpt-4-32k - це вже громадні дані, але доступу до гпт-4 як вже казав просто ще немає, видають дууже лімітовано(

[chukcha]

11.05.2023 в 13:17, kabantejay сказал:

чим більш конкретні запити даєте тим краще буде відповідь,

правильно поставлене питання – дає 80 відсотків результату