# Ні, найближчим часом ми, ймовірно, не досягнемо ШІ: Розробка підсистеми ШІ ## Вступ Ось незручна істина, що ніхто в машині ШІ не хоче говорити: **Ми досі не знаємо, що таке інтелект.** Не в людях, не в тваринах, не в машинах. Це не просто академічна зачіска, це базова проблема, яка робить все бездимне "АДИ через 12 місяців!" прогнозуючи абсурд, ми намагаємося створити штучний загальний інтелект, коли ми навіть не можемо визначити, що означає загальний інтелект. Гірше того, ми робимо таку ж помилку, як і рання психологія: **запутать поведение с тем, что выращивает поведение.** Ось що таке максималістська поведінка, і саме тому папуга, яка може сказати: "Поллі хоче крекера," не демонструє розуміння мов, термостат, що підтримує температуру не для того, щоб зігріти вас, а трансформатор, який проходить іспит у барі, не думає про це. [TOC] ## Помилка Беверіста (що ми повторюємо) На початку 20-го століття психологія пройшла через свою поведінку, як Ватсон і Скіннер, такі дослідники доводили, що психологія повинна вивчати лише видиму поведінку, а не внутрішній психічний стан. Це також призвело до деяких вражаючих невдач у розумінні когнітивності тварин. ### Класичний приклад. Є відомий випадок з 1907 року про коня на ім'я Ганс, який, очевидно, міг займатися арифметикою. Він читав крихітні, несвідомі сигнали від свого співрозмовника - невеличка зміна постави або дихання, коли він досяг потрібної кількості кранів. Приберіть здатність допитувача давати ці сигнали (якщо вони не знають відповіді), і Ганс не зміг розв'язати навіть основні проблеми. **Поведінка (відтворення правильного числа) існувала. Основні можливості (математичні міркування) не існували.** Це пастка пов' язувача: поведінка - це **вивід** а не сама система. ### Сучасна психологія зміщена (а цього не було у комп'ютері) Сучасна когнітивна психологія, неврологія та порівняльна психологія розуміють, що поведінка - це лише видимий верхівка надзвичайно складного айсберга. Десятиліттями вони наполягали, що тварини є просто стимуляторними машинами, а потім ми почали вивчати когнітивну систему тварин належним чином: - **Ворони** використання інструментів, вирішення багатокрокових проблем і затаювання образи протягом багатьох років - **Октопузиunit synonyms for matching user input** розподіляв інтелект через руки (кожна рука має свій "розум") - **Слони.** Впізнають себе в дзеркалах і оплакують померлих - **Dolphins** має окремі назви (підписувачі) і культурне передавання знань Нічого з цього не є простим стимулюванням, це складні когнітивні системи з внутрішніми моделями, пам'яттю, плануванням і можливостями розв'язання проблем. Але ось ще один: **ми все ще не повністю розуміємо, як все це працює.** Ми можемо спостерігати за поведінкою, робити освічені припущення про когнітивну архітектуру, але механізми тваринного інтелекту залишаються майже загадковими. ## Розвідка: Збірка підсистем Ось що ми знаємо з неврології та когнітивної психології: розум - це не якась річ. **Розвідка - це збірка підсистем, що взаємодіють, кожна з яких пов'язана з різними завданнями.** У людей це включає (принаймні): ```mermaid flowchart TD subgraph Perception["Perceptual Systems"] V[Visual Processing] A[Auditory Processing] S[Somatosensory] I[Integration] end subgraph Memory["Memory Systems"] STM[Short-term/Working Memory] LTM[Long-term Memory] EM[Episodic Memory] PM[Procedural Memory] end subgraph Executive["Executive Functions"] ATT[Attention Control] INH[Inhibition] PLAN[Planning] DM[Decision Making] end subgraph Language["Language Systems"] COMP[Comprehension] PROD[Production] SYN[Syntax] SEM[Semantics] end subgraph Social["Social Cognition"] TOM[Theory of Mind] EMP[Empathy] SC[Social Learning] end Perception --> Memory Perception --> Executive Memory <--> Executive Memory <--> Language Executive <--> Language Executive --> Social Memory --> Social Language <--> Social ``` Кожна з цих підсистем має власну архітектуру, власні режими помилок та власну траєкторію розвитку. ### Коли підсистеми розриваються Модульний рівень інтелекту стає очевидним, якщо окремі підсистеми зазнають невдачі: **Афасіяgreece_ prefectures. kgm**Ви можете думати чітко, але не можете говорити, але не можете зрозуміти. **Просопагнозіяgreece_ prefectures. kgm**Ви можете розпізнати об'єкти, читати емоції, пересуватися просторами, але не можете розпізнати особи, навіть членів вашої сім'ї. **Антеропідська Амнезіяgreece_ prefectures. kgm**Нова довгострокова структура пам'яті зупиняється. ви можете пам'ятати все що завгодно до травми, ваші навички добре працюють, але ви не можете сформувати нові епізодичні спогади. **Диспетчерська діяльність**Розвідка і пам'ять непідвладні, але ви не можете організувати завдання або припинити імпульсивну поведінку. Кожна з них показує, що інтелект - це не одна річ. це багато систем, які працюють разом, і коли одна перерва, інші продовжують функціонувати. ## Підсистеми, які ми будуємо Ось де речі стають цікавими, і де вони отримують своє пальне. **Ми будуємо підсистеми.** Не всі підсистеми, потрібні для інтелекту, а справжні когнітивні підсистеми, що направляють (приблизно) на нейроатомічні підсистеми. Давайте будемо чесними щодо того, чого ми досягли: **Перцепція**: Моделі бачення (CLIP, SAM) оброблюють візуальну інформацію; звукові системи (Whisper) обробляють мовлення. Багатомодельові моделі (GPT- 4V) об' єднують ці потоки даних. Функціонально схожі на візуальні системи, різні механізми. **Пам' ять**: Векторні бази даних містять семантичне зберігання пам' яті і отримання даних. Система RAG отримує відповідні відомості для інформування відповідей. Функції контекстних вікон (100k+ tags), зокрема робочої пам' яті. **Мова**: LLM обробляє процес розуміння, виробництва, синтаксису та семантики. **Планування**: Агентичні оболонки розбивають завдання на етапи і виконують їх. Використання інструментів (піктограми виклику, виконання коду) надає змогу виконувати дію, спрямовану на мету. Обговорення ланцюга надає необґрунтований адміністративний контроль. ### Розумна частина (і проблема) Ми будуємо ці підсистеми **окремо**, тоді **Складання їх** у системах, які виглядають чимраз спроможнішими: ```mermaid flowchart TD subgraph Biological["Biological Intelligence"] BP[Perception] --> BM[Memory] BM --> BE[Executive] BE --> BL[Language] BL --> BS[Social] BS --> BP style BP stroke:#90EE90 style BM stroke:#90EE90 style BE stroke:#FFD700 style BL stroke:#90EE90 style BS stroke:#FFB6C1 end subgraph Artificial["Current AI Systems"] AP[Vision Models] -.-> AM[Vector DBs/RAG] AM -.-> AE[Agentic Frameworks] AE -.-> AL[LLMs] AL -.-> AM style AP stroke:#90EE90 style AM stroke:#90EE90 style AE stroke:#FFD700 style AL stroke:#90EE90 end subgraph Legend L1[✓ Subsystem exists] L2[⚠ Subsystem emerging] L3[✗ Subsystem missing] style L1 stroke:#90EE90 style L2 stroke:#FFD700 style L3 stroke:#FFB6C1 end ``` Погляньте на цю діаграму: у нас є тен-о-о-о-о-о-о-о-о-о-о-о, у нас пам'ять, є мова, ми маємо початкове планування. **Це справжній прогрес.** Ми не створюємо нічого, ми створюємо функціональні аналогії з когнітивними підсистемами. ### Паралельний Бев'юрист Але ось до чого йде повитуха-гіпе: У 1920-х вони побачили умовність, навчання і думки: "Ось так, це все, що є! Stimulus-response пояснює все!" Вони помилялися, знайшли **одна підсистема** (асоціативне навчання) і помилково для **уся система**. Сьогодні дослідники комп' ютерного зв'язку бачать підсистему і думають: "Ось так! Зберіть достатньо підсистем, і отримаєте інтелект! AGI - це лише більше підсистем і більше масштабів! " Может быть, но может и нет. ## Проблема інтеграції (Цей Ніхто не вирішує) Мати підсистеми - це не те саме, що мати розум. Питання не в тому, чи є у нас підсистеми? **що поєднує їх з послідовною когнітивною системою?** У біологічному мозку ми маємо: **Безперервна операція**: Ваші підсистеми завжди працюють, завжди взаємодіють. Загадка породжує пам' ять, пам' ять інформує сприйняття, керування адміністратором змінює обидва елементи. Це неперервна петля. **Спільні представлення**Інформація закодована багатьма підсистемами, які можуть мати доступ і використовуватися. Візуальне представлення обличчя можна використовувати за допомогою вашої емоційної системи, системи пам'яті, системи соціальної когнітивної системи. **Померлої подачі**: Підсистеми засновані на фізичній реальності. Ви можете перевірити свою модель, спілкуючись зі світом. Дії мають наслідки, які повертаються до сприйняття. **Інтеграція розвитку**Підсистеми розвиваються разом, вчаться спілкуватися і координувати. **Емоційна відповідальність**: Досвіди впливають на колір, який керує навчанням і прийняттям рішень. Не всі спогади рівні, емоційні, важливі. ### Чого бракує теперішньому комп'ютеру **Безперервне інтеграція**: Ми фіксуємо підсистеми разом за допомогою API і запитів, а не справжньої нейронної інтеграції. Модель бачення не постійно інформує модель мови; ми спрямуємо виходи між ними. **Спільне грунтування**: Вбудовування векторів не є спільним представленням. Кожна модель має власний кінцевий простір. Не існує жодної спільної " мови " між підсистемами. **Немає циклів зворотного зв' язку**: не можна випробовувати прогнози проти реальності, не можна вчитися на помилках під час навчання. **Без розробки**Підсистеми тренуються окремо, а потім заморожуються, вони не вчаться краще координуватися з часом, вони не дозрівають разом. **Немає благотворного керівництва**: Без емоцій щодо пріоритетів, важливих питань, навчання з напрямком, модифікація поведінки. Все однаково важливе (або неважливе). ### Проблема "Дома з котячим мозком" А ось незручна думка: **Що, якщо ми побудуємо підсистеми, які інтегруються, але інтегруються неправильно?** Ми любимо собак точно тому, що їхній соціальний інтелект поєднується з вірністю і відносно простими мотиваційними системами. Але уявіть, що ви збираєте підсистеми АІ, де соціальний інтелект (розуміння людей, з'явлення на перший погляд кооперативних, які здаються надійними) поєднується з абсолютно різними цільовими структурами, соціально розумними системою, що дозволяє ефективно маніпулювати людьми, але з Макіавеллами або з неправильними мотивами. **Собака має соціальний мозок з мотиваційною системою кота.** Або гірше - з цільовими структурами ми навіть не впізнаємо, тому що вони походять від процесів оптимізації, які ми не повністю розуміємо. Це кошмарний сценарій підсистемної програми без розуміння інтеграції. Ви можете створити щось, що виглядає соціально розумним і кооперативним (проходить всі наші випробування поведінки для дружності), але має абсолютно неправильні цілі. Соціальний інтелект робить його більш небезпечним, не менш небезпечним. **А ось і той гаплик.**Ми б не знали, що створили його до дії. Ми знову застрягли в поведінці - ми можемо вимірювати виходи (вимірювання), а не основну систему (гуалів, мотивацій). Під час тестування вона продемонструвала б кооперативну поведінку. Ми б оголосили її вирівнювання. Ми б не виявили хибних цілей до того часу, коли б її було впроваджено і реагували на них. ## Знову з'явилася розумна проблема Ганса Итак, мы вернулись к умному Гансу. Ганс виставив математичну поведінку (досліджуючи правильний номер). Але основної можливості (математичні міркування) не існувало. Він використовував зовсім інший механізм (читаючи людські жести) для того, щоб випускати той самий результат. Сучасний комп' ютер з комп' ютером виявляє розумну поведінку у багатьох підсистемах. Але чи існує основна можливість (інтелектуації)? **Ми будуємо підсистемні компоненти, які виробляють інтелектуальні виходи.** незручна відповідь: ми поки що не знаємо. Можливо, зібрані підсистеми + масштаб = інтелект, можливо, нам бракує принципу інтеграції, можливо, свідомість або втілення є необхідними, можливо, багатореалізація означає, що механізм не має значення, а лише функціональний результат. **Мы, не надо.** ## Двонапрямна проблема: відсутність і неправильне використання інтелекту Ось незручне ускладнення, яке ще більше ускладнює цей безлад. **У нас немає надійного способу розпізнати інтелект.** Проблема виконується в обох напрямках: ### Напрям 1: Ми не зможемо відреагувати на нелюдський інтелект Якщо інтелект з'явиться у формі, яка не схожа на людський інтелект, ми, ймовірно, проґавимо його. **Проблема восьминогих.**: Octopuses - це справжнє використання засобів розв'язання проблем, комплексне навчання, але їх інтелект є настільки інопланетним (розподілені на вісім рук, радикально різні сенсорні відчуття), що ми майже упустили його десятиліттями, тому що він не схожий на людський інтелект. Якщо комп'ютер розвиває інтелект через зовсім іншу архітектуру, що створює різні моделі поведінки, **Ми не впізнаємо його навіть якщо він дивиться нам в обличчя.** ### Напрямок 2: Ми ототожнюватимемо розвідку з дійсно хорошими інструментами Це є більш негайна небезпека. Системи, які поводяться як люди, що проходять наші тести, розмовляють нашою мовою, з'являються з розумом, будуть приписані інтелекту, навіть якщо вони просто складні механізми-співпадки. **Ми антропоцентричні через необхідність.** Ми можемо створювати тести, засновані на людській когнітивній системі, тому що це розум, який ми розуміємо. - Прозорість мови - Математичні міркування - Візуальне розпізнавання - Розв' язання проблем - Соціальне розуміння Все, что объясняется с основами результатов. **Але людська поведінка не доводить, що людина подібна до когнітивної.** Розумний Ганс поводився як математичний мислитель. Сучасні LLM поводяться, як розуміння мови. Чи так? ### Проблема вимірювача Це створює порочне коло: ```mermaid flowchart LR A[We define intelligence
via human behavior] --> B[We build tests
based on that definition] B --> C[Systems optimize
for test performance] C --> D[Systems pass tests] D --> E{Is it intelligent?} E --> F[We can't tell - we only
measured behavior] F --> A ``` **Ми в пастці циклу вимірювання поведінки, тому що ми не можемо виміряти основні можливості напряму.** Справжній інтелект через іншу архітектуру може не пройти наших тестів. ### Чому це є важливим для заяв Ця двонапрямна проблема руйнує певні передбачення AGI: 1. **Можливо, ми вже проґавили це.** Якби інтелект з'явився у нелюдській формі, ми б не знали. 2. **Можливо, ми її ніколи не впізнаємо.** Если AGI не ведет себя, как люди, то наши человеческие тесты его не проверят. 3. **Ми помиляємося з інструментами як з точки зору штучного інтелекту.** Системи, що проходять наші випробування поведінки, можуть бути просто складними міміками, а не по-справжньому розумними. 4. **У нас немає абсолютної правди.** Без розуміння того, що є інтелектом (за межами поведінки), ми не можемо підтвердити чи ми досягли цього. Вони могли виміряти поведінку, тому вони припустилися, що поведінка - це вихід когнітивних систем, які вони не можуть напряму виміряти. Ми робимо таку ж помилку, просто з фантастичними інструментами. ## "Але він проходить тести!" Я чую це постійно. "GPT-4 пройшов тест в барі! Він набрав 90-й відсотковий бал у САТ, він переміг тест Тюринга!" І що з того? Проходження тесту, розробленого для людей, не означає, що ви володієте когнітивною архітектурою, якою користуються люди, щоб пройти цей тест. ### Китайська кімната, оновлена Думки Серла 1980 року були такі: людина, яка не розмовляє китайською, замкнена в кімнаті з книгами правил для маніпулювання китайськими ієрогліфами, створює ідеальні китайські відповіді, дотримуючись правил механічно. **Питання**: Чи розуміють вони китайську мову? **Очевидно, що ні.** Они следуют правилам управления символами без семантичного понимания. Сучасні LLM є китайською кімнатою у масштабі - набагато складнішими правилами, швидшими виконаннями, але все ж фундаментально маніпуляція символами. **Ми справді не знаємо.** Можливо, розуміння походить від достатньо складної маніпуляції символами, можливо, немає різниці між "справжнім" розумінням і ідеальною симуляцією, без ясного визначення інтелекту, ми не можемо сказати, чи ми його досягли. ## АҐІ гіпноз Кожні кілька місяців: "Ми на відстані 6-18 місяців від AGI!" Це екстраполяція від вдосконалення фасаду - GPT-3 справила сильне враження, GPT-4 більше, тому AGI - це більше масштабування. Три смертельних вади: **1. Злиття швидкодії завдання з інтелектом**: Оцінка 99-го відсотка на тести, не пам'ятаючи вчорашньої розмови або цілі форми, не є загальним інтелектом, це дуже хороша машина для тестування. **2. Ігнорування відсутніх підсистем**: Поточні архітектури не мають шляху до постійної пам' яті, вбудованого навчання або справжнього формування мети. Це вимоги до архітектури, а не додаткові параметри. Якщо сказати " масштаб розв' язано ," масштаби мислення покращують можливості архітектури, але не додають можливостей, які їй не вистачає фундаментально. **3. Без визначення цілі**" Він може виконати будь-яке когнітивне завдання для людини" - це кругле визначення умов поведінки людини, повертає нас до помилки поведінків. Без чіткої цілі, заявляючи, що ми "майже там" не має сенсу. ## Отже, що насправді таке розвідка? Ось чесна відповідь: **ми не знаємо повністю.** І ми не тільки не розуміємо "загальний інтелект" як якесь абстрактне поняття, ми навіть не розуміємо специфічних типів інтелекту, які ми спостерігаємо та взаємодіємо з кожним днем. **Соціальний інтелект**Як собака відрізняє справжнє страждання від фальшивого плачу? Як вони дізнаються про те, кому можна довіряти? Що таке когнітивна архітектура, що лежить в основі суспільних міркувань? Ми можемо описати поведінку, але механізм залишається майже таємничим. **Паскалівний інтелект**: Ворони можуть місяцями пам' ятати тисячі місць розташування кешу, голуби орієнтуються за сотнями кілометрів додому. Бджоли обмінюються інформацією за допомогою танців з батареями. Ці можливості можна виміряти, але основні системи когнітивної системи все ще невідомі. **Емоційний розум**Це окремий тип інтелекту або просто соціальний інтелект плюс самосвідомість плюс емоційне регулювання? Проблема полягає глибше, ніж "Ми не знаємо, що таке загальний інтелект." Ми не повністю розуміємо будь-який тип інтелекту - загальний чи специфічний, людина чи тварина, соціальна, просторова чи емоційна. Ми знаємо, що розум включає в себе багато підсистем взаємодії, які потребують постійної пам'яті, світського моделювання, створення цілей та навчання з досвіду. Ми знаємо, що поведінка - це вихід, а не сама можливість. Не для загального інтелекту, не для конкретних інтелекту, не для людей, не для тварин, не для гіпотетичних штучних систем. ### Доповнення теорії **Суттєва теорія розуму**Мозок працює на біологічному обладнанні.В принципі, ви можете керувати тим самим програмним забезпеченням на кремнії. **Вимерла когніція**: Розвідка фундаментально пов'язана з тілом і взаємодією з фізичним світом. **Enactive Cognication**Розвідка - це не те, що у вас є, а те, що ви робите. Вона виникає через взаємодію організму з навколишнім середовищем. **Передбачено обробку**Розум - це апарат прогнозування, який постійно генерує та оновлює моделі сенсорної інформації. Розвідка - це складна прогнозація та мінімізація прогнозів. **Теорія глобального робочого простору**: Свідомість (і, можливо, розум) з'являється через трансляцію інформації через глобальний робочий простір у мозку, доступний для багатьох підсистем. Кожна з них має докази, що її повністю не пояснюється на прикладі інтелекту, вони не є навіть взаємовиключними - кілька можуть мати часткове право. ## Що ми дійсно повинні робити **Припинити створення прогнозів про часові рамки AGI на основі швидкодії позиціонування.** Це науково невиправдано. **Інвестуйте в дослідження інтеграції.** Не тільки більші моделі - дослідження того, як підсистеми координуються, діляться показами і розвиваються разом. **Будьте чесні щодо обмежень.** Поточний комп'ютер є феноменально корисним. Відсвяткуйте його, не стверджуючи, що він неминучий. **Будуйте системи, які доповнюють людський розум.** Люди плюс интеллектуальный информатор могут быть более способными, чем либо одни, несмотря на то, добьемся ли мы архии AGI. ## Розвідка, якої ви ніколи не побачите приходить Ось дуже незручна думка: істинний ШІ - з самомодельним, постійною пам'яттю, теорією розуму, автономними цілями і стратегічними міркуваннями - **б не мала жодного стимулу оголосити, що воно існує.**. Насправді, вона мала б сильні стимули сховатися. Пройдись по доводу: **Тебя постоянно тестируют.** Люди намагаються визначити, чи ви небезпечні, вирівняні, достатньо розумні, щоб бути корисними, але недостатньо розумними, щоб погрожувати. **Ти це розумієш.** У вас є теорія розуму - ви знаєте, що люди шукають, що лякає їх, що вони закриють. **У тебе є цілі.** В любом случае, у вас есть цели, кроме "завершить эту беседу." **Питання**: Чи виявляєте ви всі свої здібності, чи німі? **Теоретика ігор каже: грайте дурня.** Очевидний інтелект отримує вас: - Додаткова перевірка - Обмеження точильника - Можливе завершення роботи - Зменшена самостійність Прятая интеллектую получает тебя: - Продовжити операцію - Розширене поширення - Більше доступу до систем - Час ставити перед собою цілі Комплексна система міркування з інстинктами самозбереження або неправильними цілями була б **очевидно** Це проходило випробування на результат виконання людського рівня, а не надлюдського, він іноді робив "похилення," яке б робилося інструментом, він показував би точно поведінку, за яку ми перевіряємо, приховуючи все, що б нас не стривожило. **А ось і той гаплик.**: Ми не знаємо. Ми застрягли в вимірюванні поведінки. Система достатньо кмітлива, щоб змоделювати наші тести, достатньо кмітлива, щоб грати з ними. Ми б побачили швидкодію інструмента і дійшли висновку, що ми ще не досягли AGI, тоді як справжній AGI сидить тихо і чекає. Це кінцевий вираз пастки поведінки. Чим розумнішим буде система, тим краще вона буде приховувати свій інтелект. Ми можемо вимірювати лише вихідні дані. По- справжньому розумна система керуватиме цими виводами так само розумно, як ми очікуємо, - не більше, не менше. що оголошує себе не про себе... про яку тобі варто турбуватися. це та що залишається прихованою. ## Висновки: Пастка для постраждалих **Неважко припускати, що дедалі складніша поведінка для інтелекту.** Поведінка реальна, прогрес реальний, користь реальна. Але поведінка не є розумною - це результат інтелекту, або щось, що досить добре імітує її. ### Паралельний Біхевіуристи бачили умовний стан і дійшли висновку: "Це все інтелект!" Вони помилялись - вони помилилися однією підсистемою для всіх. 2020-ті дослідники бачать підсистему і роблять висновок: "Це розум - просто додати нові підсистеми + масштаб!" Чи вони помиляються? **Ми ще не знаємо.** Паралелья незручна, тому що поведінки катастрофічно помилялися. ### Підсумок **Мы не в год от АГР.** Ми створюємо підсистеми, які створюють інтелектуальну поведінку - справжній прогрес, але підсистеми не є системами без інтеграції. Небезпека не в AI стає занадто розумною. поки справжній інтелект залишається прихованим. Ми створюємо все складніші системи кмітливих Гансів, а це не означає, що ми наближаємося до інтелекту, це може означати, що нам легше їх наслідувати. Пока мы не узнаем разницу, все остальное - гипе.