NeoTerra-Theosophy Forum | Теософский форум | Теософия | Блаватская Е.П.

Yurii Gaidai писал(а):

Про сьогоднішні новини про захмарну капіталізацію Nvidia та Microsoft, які, вкупі з Apple, уже перегнали капіталізацію китайського ринку.

На днях вийшов великий есей "Ситуаційна обізнаність. Найближче десятиліття" Леопольда Ашенбергера, колишнього працівника OpenAI Superalignment, проєкту по нагляду за системами ШІ іншим ШІ.

Вступ до цього есею добре ілюструє настрої на ринку, які гріють такий виліт в космос, тому дам його повністю.

Leopold Aschenbrenner писал(а):

Ви можете побачити майбутнє першими у Сан-Франциско. Протягом останнього року розмови у місті змістилися від кластерів обчислень вартістю 10 мільярдів доларів до кластерів вартістю 100 мільярдів доларів і до кластерів вартістю трильйон доларів. Кожні шість місяців до планів у залах засідань додається ще один нуль. За кулісами йде запекла боротьба за укладання всіх можливих контрактів на постачання електроенергії на решту десятиліття, за кожен трансформатор напруги, який можна отримати. Великий американський бізнес готується вкласти трильйони доларів у мобілізацію американської промислової могутності, небачену протягом тривалого часу. До кінця десятиліття виробництво електроенергії в Америці зросте на десятки відсотків; від сланцевих родовищ Пенсільванії до сонячних ферм Невади будуть гудіти сотні мільйонів графічних процесорів. Гонка за створенням штучного загального інтелекту розпочалася. Ми будуємо машини, які можуть думати і розмірковувати. До 2025/26 років ці машини перевершать випускників коледжів. До кінця десятиліття вони будуть розумніші за вас чи мене; ми матимемо суперінтелект у повному розумінні цього слова. По дорозі будуть задіяні сили національної безпеки, яких не бачили вже пів століття, і невдовзі Проект буде запущено. Якщо нам пощастить, ми будемо в запеклій гонці з Комуністичною Партією Китаю; якщо не пощастить, то в повномасштабній війні. Зараз усі говорять про ШІ, але мало хто має найменше уявлення про те, що на них чекає. Аналітики Nvidia досі думають, що 2024 рік може бути близьким до піку. Мейнстримні оглядачі застрягли у впертій сліпоті "це лише прогнозування наступного слова". Вони бачать лише ажіотаж і звичайний хід бізнесу; у кращому випадку вони розглядають це як ще одну технологічну зміну масштабу Інтернету. Незабаром світ прокинеться. Але зараз є, можливо, кілька сотень людей, більшість з яких у Сан-Франциско та лабораторіях ШІ, які мають ситуаційну обізнаність. Завдяки якимось дивним силам долі, я опинився серед них. Кілька років тому цих людей висміювали як божевільних — але вони довіряли трендам, що дозволило їм правильно передбачити досягнення ШІ останніх кількох років. Чи матимуть вони рацію щодо наступних кількох років — це ще належить побачити. Але це дуже розумні люди — найрозумніші люди, яких я коли-небудь зустрічав, і саме вони створюють цю технологію. Можливо, вони стануть чудернацькою зноскою в історії, а може увійдуть в історію, як Сілард, Оппенгеймер і Теллер. Якщо вони бачать майбутнє хоча б приблизно правильно, нас чекають шалені часи.

Відклав вдумливо почитати на вихідних (там 165 сторінок), але основні думки есею:

• з існуючими трендами розвитку в найближчі три роки ШІ перевершить рівень якісного дослідника/інженера
• прогрес на цьому не зупиниться - автоматизація розробки стисне десятилітній прогрес алгоритмів до року
• таке прискорення прогресу алгоритмів веде до промислової мобілізації - трильйони доларів будуть влиті у датацентри та електрогенерацію для них
• цей прогрес створює величезні виклики для національної і глобальної безпеки, бо ШІ дасть вирішальну економічну та воєнну перевагу. Тому варто чекати радикального втручання держав у галузь.
• поки залишається невирішеним питання контролю систем, які будуть значно перевершувати людський інтелект.

В цілому есе співпадає з багатьма озвученими раніше поглядами зсередини галузі, співпадає навіть з оцінками старого Курцвейла про сингулярність до 2029-го.

Але! У нього ряд слабких місць з т.з. економіста.

Перше - припущення про збереження існуючих трендів прогресу в обчислювальній потужності та якості алгоритмів.

Екстраполяція по кількох точках часто є помилковою. Особливо екстраполяція експоненційних процесів, штучно зведених до лінійних через конструкт OOM (orders of magnitude).

Прогрес може впертися у обмеження на боці ресурсів. Так, заради проривної технології трильйони доларів можна і надрукувати, але від цього миттєво не збільшиться на порядок виробництво мікрочіпів, і не збільшиться в десять разів кількість кваліфікованих інженерів та адміністраторів дата-центрів.

Вдосконалення також може впертися в технологічні обмеження, на кшталт - чи збережуться темпи вдосконалення, коли рівень "інтелекту" систем перевершить створений людьми корпус знань і людський рівень нагляду/оцінки систем? Це ще відкрите питання, наскільки я розумію.

Ну і треба робити поправку на те, що Ашенбергер запустив інвестиційний фонд в галузі ШІ, тому цей есей слід читати через оптику рекламного проспекту.

Але він може виявитися і правим. От на цьому припущенні ринок і тримається. ))

Доречі, про графік під цим дописом. Це хрестоматійна схема бульбашки, яка дуже схожа на динаміку акцій Nvidia.

Бачите оцей "New paradigm!!!" на піку? От цей есей Ашенбергера дуже схожий на цей момент.

447725392_3067421980077105_3731285738100867328_n.jpg