Ось незручна істина, що ніхто в машині ШІ не хоче говорити: Ми досі не знаємо, що таке інтелект.
Не в людях, не в тваринах, не в машинах.
Це не просто академічна зачіска, це базова проблема, яка робить все бездимне "АДИ через 12 місяців!" прогнозуючи абсурд, ми намагаємося створити штучний загальний інтелект, коли ми навіть не можемо визначити, що означає загальний інтелект.
Гірше того, ми робимо таку ж помилку, як і рання психологія: запутать поведение с тем, что выращивает поведение.
Ось що таке максималістська поведінка, і саме тому папуга, яка може сказати: "Поллі хоче крекера," не демонструє розуміння мов, термостат, що підтримує температуру не для того, щоб зігріти вас, а трансформатор, який проходить іспит у барі, не думає про це.
На початку 20-го століття психологія пройшла через свою поведінку, як Ватсон і Скіннер, такі дослідники доводили, що психологія повинна вивчати лише видиму поведінку, а не внутрішній психічний стан.
Це також призвело до деяких вражаючих невдач у розумінні когнітивності тварин.
Є відомий випадок з 1907 року про коня на ім'я Ганс, який, очевидно, міг займатися арифметикою.
Він читав крихітні, несвідомі сигнали від свого співрозмовника - невеличка зміна постави або дихання, коли він досяг потрібної кількості кранів. Приберіть здатність допитувача давати ці сигнали (якщо вони не знають відповіді), і Ганс не зміг розв'язати навіть основні проблеми.
Поведінка (відтворення правильного числа) існувала. Основні можливості (математичні міркування) не існували.
Це пастка пов' язувача: поведінка - це вивід а не сама система.
Сучасна когнітивна психологія, неврологія та порівняльна психологія розуміють, що поведінка - це лише видимий верхівка надзвичайно складного айсберга.
Десятиліттями вони наполягали, що тварини є просто стимуляторними машинами, а потім ми почали вивчати когнітивну систему тварин належним чином:
Нічого з цього не є простим стимулюванням, це складні когнітивні системи з внутрішніми моделями, пам'яттю, плануванням і можливостями розв'язання проблем.
Але ось ще один: ми все ще не повністю розуміємо, як все це працює. Ми можемо спостерігати за поведінкою, робити освічені припущення про когнітивну архітектуру, але механізми тваринного інтелекту залишаються майже загадковими.
Ось що ми знаємо з неврології та когнітивної психології: розум - це не якась річ.
Розвідка - це збірка підсистем, що взаємодіють, кожна з яких пов'язана з різними завданнями.
У людей це включає (принаймні):
flowchart TD
subgraph Perception["Perceptual Systems"]
V[Visual Processing]
A[Auditory Processing]
S[Somatosensory]
I[Integration]
end
subgraph Memory["Memory Systems"]
STM[Short-term/Working Memory]
LTM[Long-term Memory]
EM[Episodic Memory]
PM[Procedural Memory]
end
subgraph Executive["Executive Functions"]
ATT[Attention Control]
INH[Inhibition]
PLAN[Planning]
DM[Decision Making]
end
subgraph Language["Language Systems"]
COMP[Comprehension]
PROD[Production]
SYN[Syntax]
SEM[Semantics]
end
subgraph Social["Social Cognition"]
TOM[Theory of Mind]
EMP[Empathy]
SC[Social Learning]
end
Perception --> Memory
Perception --> Executive
Memory <--> Executive
Memory <--> Language
Executive <--> Language
Executive --> Social
Memory --> Social
Language <--> Social
Кожна з цих підсистем має власну архітектуру, власні режими помилок та власну траєкторію розвитку.
Модульний рівень інтелекту стає очевидним, якщо окремі підсистеми зазнають невдачі:
Афасіяgreece_ prefectures. kgmВи можете думати чітко, але не можете говорити, але не можете зрозуміти.
Просопагнозіяgreece_ prefectures. kgmВи можете розпізнати об'єкти, читати емоції, пересуватися просторами, але не можете розпізнати особи, навіть членів вашої сім'ї.
Антеропідська Амнезіяgreece_ prefectures. kgmНова довгострокова структура пам'яті зупиняється. ви можете пам'ятати все що завгодно до травми, ваші навички добре працюють, але ви не можете сформувати нові епізодичні спогади.
Диспетчерська діяльністьРозвідка і пам'ять непідвладні, але ви не можете організувати завдання або припинити імпульсивну поведінку.
Кожна з них показує, що інтелект - це не одна річ. це багато систем, які працюють разом, і коли одна перерва, інші продовжують функціонувати.
Ось де речі стають цікавими, і де вони отримують своє пальне.
Ми будуємо підсистеми. Не всі підсистеми, потрібні для інтелекту, а справжні когнітивні підсистеми, що направляють (приблизно) на нейроатомічні підсистеми.
Давайте будемо чесними щодо того, чого ми досягли:
Перцепція: Моделі бачення (CLIP, SAM) оброблюють візуальну інформацію; звукові системи (Whisper) обробляють мовлення. Багатомодельові моделі (GPT- 4V) об' єднують ці потоки даних. Функціонально схожі на візуальні системи, різні механізми.
Пам' ять: Векторні бази даних містять семантичне зберігання пам' яті і отримання даних. Система RAG отримує відповідні відомості для інформування відповідей. Функції контекстних вікон (100k+ tags), зокрема робочої пам' яті.
Мова: LLM обробляє процес розуміння, виробництва, синтаксису та семантики.
Планування: Агентичні оболонки розбивають завдання на етапи і виконують їх. Використання інструментів (піктограми виклику, виконання коду) надає змогу виконувати дію, спрямовану на мету. Обговорення ланцюга надає необґрунтований адміністративний контроль.
Ми будуємо ці підсистеми окремо, тоді Складання їх у системах, які виглядають чимраз спроможнішими:
flowchart TD
subgraph Biological["Biological Intelligence"]
BP[Perception] --> BM[Memory]
BM --> BE[Executive]
BE --> BL[Language]
BL --> BS[Social]
BS --> BP
style BP stroke:#90EE90
style BM stroke:#90EE90
style BE stroke:#FFD700
style BL stroke:#90EE90
style BS stroke:#FFB6C1
end
subgraph Artificial["Current AI Systems"]
AP[Vision Models] -.-> AM[Vector DBs/RAG]
AM -.-> AE[Agentic Frameworks]
AE -.-> AL[LLMs]
AL -.-> AM
style AP stroke:#90EE90
style AM stroke:#90EE90
style AE stroke:#FFD700
style AL stroke:#90EE90
end
subgraph Legend
L1[✓ Subsystem exists]
L2[⚠ Subsystem emerging]
L3[✗ Subsystem missing]
style L1 stroke:#90EE90
style L2 stroke:#FFD700
style L3 stroke:#FFB6C1
end
Погляньте на цю діаграму: у нас є тен-о-о-о-о-о-о-о-о-о-о-о, у нас пам'ять, є мова, ми маємо початкове планування.
Це справжній прогрес. Ми не створюємо нічого, ми створюємо функціональні аналогії з когнітивними підсистемами.
Але ось до чого йде повитуха-гіпе:
У 1920-х вони побачили умовність, навчання і думки: "Ось так, це все, що є! Stimulus-response пояснює все!"
Вони помилялися, знайшли одна підсистема (асоціативне навчання) і помилково для уся система.
Сьогодні дослідники комп' ютерного зв'язку бачать підсистему і думають: "Ось так! Зберіть достатньо підсистем, і отримаєте інтелект! AGI - це лише більше підсистем і більше масштабів! "
Может быть, но может и нет.
Мати підсистеми - це не те саме, що мати розум.
Питання не в тому, чи є у нас підсистеми? що поєднує їх з послідовною когнітивною системою?
У біологічному мозку ми маємо:
Безперервна операція: Ваші підсистеми завжди працюють, завжди взаємодіють. Загадка породжує пам' ять, пам' ять інформує сприйняття, керування адміністратором змінює обидва елементи. Це неперервна петля.
Спільні представленняІнформація закодована багатьма підсистемами, які можуть мати доступ і використовуватися. Візуальне представлення обличчя можна використовувати за допомогою вашої емоційної системи, системи пам'яті, системи соціальної когнітивної системи.
Померлої подачі: Підсистеми засновані на фізичній реальності. Ви можете перевірити свою модель, спілкуючись зі світом. Дії мають наслідки, які повертаються до сприйняття.
Інтеграція розвиткуПідсистеми розвиваються разом, вчаться спілкуватися і координувати.
Емоційна відповідальність: Досвіди впливають на колір, який керує навчанням і прийняттям рішень. Не всі спогади рівні, емоційні, важливі.
Безперервне інтеграція: Ми фіксуємо підсистеми разом за допомогою API і запитів, а не справжньої нейронної інтеграції. Модель бачення не постійно інформує модель мови; ми спрямуємо виходи між ними.
Спільне грунтування: Вбудовування векторів не є спільним представленням. Кожна модель має власний кінцевий простір. Не існує жодної спільної " мови " між підсистемами.
Немає циклів зворотного зв' язку: не можна випробовувати прогнози проти реальності, не можна вчитися на помилках під час навчання.
Без розробкиПідсистеми тренуються окремо, а потім заморожуються, вони не вчаться краще координуватися з часом, вони не дозрівають разом.
Немає благотворного керівництва: Без емоцій щодо пріоритетів, важливих питань, навчання з напрямком, модифікація поведінки. Все однаково важливе (або неважливе).
А ось незручна думка: Що, якщо ми побудуємо підсистеми, які інтегруються, але інтегруються неправильно?
Ми любимо собак точно тому, що їхній соціальний інтелект поєднується з вірністю і відносно простими мотиваційними системами.
Але уявіть, що ви збираєте підсистеми АІ, де соціальний інтелект (розуміння людей, з'явлення на перший погляд кооперативних, які здаються надійними) поєднується з абсолютно різними цільовими структурами, соціально розумними системою, що дозволяє ефективно маніпулювати людьми, але з Макіавеллами або з неправильними мотивами.
Собака має соціальний мозок з мотиваційною системою кота. Або гірше - з цільовими структурами ми навіть не впізнаємо, тому що вони походять від процесів оптимізації, які ми не повністю розуміємо.
Це кошмарний сценарій підсистемної програми без розуміння інтеграції. Ви можете створити щось, що виглядає соціально розумним і кооперативним (проходить всі наші випробування поведінки для дружності), але має абсолютно неправильні цілі. Соціальний інтелект робить його більш небезпечним, не менш небезпечним.
**А ось і той гаплик.**Ми б не знали, що створили його до дії. Ми знову застрягли в поведінці - ми можемо вимірювати виходи (вимірювання), а не основну систему (гуалів, мотивацій). Під час тестування вона продемонструвала б кооперативну поведінку. Ми б оголосили її вирівнювання. Ми б не виявили хибних цілей до того часу, коли б її було впроваджено і реагували на них.
Итак, мы вернулись к умному Гансу.
Ганс виставив математичну поведінку (досліджуючи правильний номер). Але основної можливості (математичні міркування) не існувало. Він використовував зовсім інший механізм (читаючи людські жести) для того, щоб випускати той самий результат.
Сучасний комп' ютер з комп' ютером виявляє розумну поведінку у багатьох підсистемах. Але чи існує основна можливість (інтелектуації)?
Ми будуємо підсистемні компоненти, які виробляють інтелектуальні виходи.
незручна відповідь: ми поки що не знаємо.
Можливо, зібрані підсистеми + масштаб = інтелект, можливо, нам бракує принципу інтеграції, можливо, свідомість або втілення є необхідними, можливо, багатореалізація означає, що механізм не має значення, а лише функціональний результат.
Мы, не надо.
Ось незручне ускладнення, яке ще більше ускладнює цей безлад.
У нас немає надійного способу розпізнати інтелект.
Проблема виконується в обох напрямках:
Якщо інтелект з'явиться у формі, яка не схожа на людський інтелект, ми, ймовірно, проґавимо його.
Проблема восьминогих.: Octopuses - це справжнє використання засобів розв'язання проблем, комплексне навчання, але їх інтелект є настільки інопланетним (розподілені на вісім рук, радикально різні сенсорні відчуття), що ми майже упустили його десятиліттями, тому що він не схожий на людський інтелект.
Якщо комп'ютер розвиває інтелект через зовсім іншу архітектуру, що створює різні моделі поведінки, Ми не впізнаємо його навіть якщо він дивиться нам в обличчя.
Це є більш негайна небезпека.
Системи, які поводяться як люди, що проходять наші тести, розмовляють нашою мовою, з'являються з розумом, будуть приписані інтелекту, навіть якщо вони просто складні механізми-співпадки.
Ми антропоцентричні через необхідність. Ми можемо створювати тести, засновані на людській когнітивній системі, тому що це розум, який ми розуміємо.
Все, что объясняется с основами результатов.
Але людська поведінка не доводить, що людина подібна до когнітивної. Розумний Ганс поводився як математичний мислитель.
Сучасні LLM поводяться, як розуміння мови. Чи так?
Це створює порочне коло:
flowchart LR
A[We define intelligence<br/>via human behavior] --> B[We build tests<br/>based on that definition]
B --> C[Systems optimize<br/>for test performance]
C --> D[Systems pass tests]
D --> E{Is it intelligent?}
E --> F[We can't tell - we only<br/>measured behavior]
F --> A
Ми в пастці циклу вимірювання поведінки, тому що ми не можемо виміряти основні можливості напряму. Справжній інтелект через іншу архітектуру може не пройти наших тестів.
Ця двонапрямна проблема руйнує певні передбачення AGI:
Можливо, ми вже проґавили це. Якби інтелект з'явився у нелюдській формі, ми б не знали.
Можливо, ми її ніколи не впізнаємо. Если AGI не ведет себя, как люди, то наши человеческие тесты его не проверят.
Ми помиляємося з інструментами як з точки зору штучного інтелекту. Системи, що проходять наші випробування поведінки, можуть бути просто складними міміками, а не по-справжньому розумними.
У нас немає абсолютної правди. Без розуміння того, що є інтелектом (за межами поведінки), ми не можемо підтвердити чи ми досягли цього.
Вони могли виміряти поведінку, тому вони припустилися, що поведінка - це вихід когнітивних систем, які вони не можуть напряму виміряти.
Ми робимо таку ж помилку, просто з фантастичними інструментами.
Я чую це постійно. "GPT-4 пройшов тест в барі! Він набрав 90-й відсотковий бал у САТ, він переміг тест Тюринга!"
І що з того?
Проходження тесту, розробленого для людей, не означає, що ви володієте когнітивною архітектурою, якою користуються люди, щоб пройти цей тест.
Думки Серла 1980 року були такі: людина, яка не розмовляє китайською, замкнена в кімнаті з книгами правил для маніпулювання китайськими ієрогліфами, створює ідеальні китайські відповіді, дотримуючись правил механічно.
Питання: Чи розуміють вони китайську мову? Очевидно, що ні. Они следуют правилам управления символами без семантичного понимания.
Сучасні LLM є китайською кімнатою у масштабі - набагато складнішими правилами, швидшими виконаннями, але все ж фундаментально маніпуляція символами. Ми справді не знаємо. Можливо, розуміння походить від достатньо складної маніпуляції символами, можливо, немає різниці між "справжнім" розумінням і ідеальною симуляцією, без ясного визначення інтелекту, ми не можемо сказати, чи ми його досягли.
Кожні кілька місяців: "Ми на відстані 6-18 місяців від AGI!" Це екстраполяція від вдосконалення фасаду - GPT-3 справила сильне враження, GPT-4 більше, тому AGI - це більше масштабування.
Три смертельних вади:
1. Злиття швидкодії завдання з інтелектом: Оцінка 99-го відсотка на тести, не пам'ятаючи вчорашньої розмови або цілі форми, не є загальним інтелектом, це дуже хороша машина для тестування.
2. Ігнорування відсутніх підсистем: Поточні архітектури не мають шляху до постійної пам' яті, вбудованого навчання або справжнього формування мети. Це вимоги до архітектури, а не додаткові параметри. Якщо сказати " масштаб розв' язано ," масштаби мислення покращують можливості архітектури, але не додають можливостей, які їй не вистачає фундаментально.
3. Без визначення цілі" Він може виконати будь-яке когнітивне завдання для людини" - це кругле визначення умов поведінки людини, повертає нас до помилки поведінків. Без чіткої цілі, заявляючи, що ми "майже там" не має сенсу.
Ось чесна відповідь: ми не знаємо повністю.
І ми не тільки не розуміємо "загальний інтелект" як якесь абстрактне поняття, ми навіть не розуміємо специфічних типів інтелекту, які ми спостерігаємо та взаємодіємо з кожним днем.
Соціальний інтелектЯк собака відрізняє справжнє страждання від фальшивого плачу? Як вони дізнаються про те, кому можна довіряти? Що таке когнітивна архітектура, що лежить в основі суспільних міркувань? Ми можемо описати поведінку, але механізм залишається майже таємничим.
Паскалівний інтелект: Ворони можуть місяцями пам' ятати тисячі місць розташування кешу, голуби орієнтуються за сотнями кілометрів додому. Бджоли обмінюються інформацією за допомогою танців з батареями. Ці можливості можна виміряти, але основні системи когнітивної системи все ще невідомі.
Емоційний розумЦе окремий тип інтелекту або просто соціальний інтелект плюс самосвідомість плюс емоційне регулювання?
Проблема полягає глибше, ніж "Ми не знаємо, що таке загальний інтелект." Ми не повністю розуміємо будь-який тип інтелекту - загальний чи специфічний, людина чи тварина, соціальна, просторова чи емоційна.
Ми знаємо, що розум включає в себе багато підсистем взаємодії, які потребують постійної пам'яті, світського моделювання, створення цілей та навчання з досвіду.
Ми знаємо, що поведінка - це вихід, а не сама можливість.
Не для загального інтелекту, не для конкретних інтелекту, не для людей, не для тварин, не для гіпотетичних штучних систем.
Суттєва теорія розумуМозок працює на біологічному обладнанні.В принципі, ви можете керувати тим самим програмним забезпеченням на кремнії.
Вимерла когніція: Розвідка фундаментально пов'язана з тілом і взаємодією з фізичним світом.
Enactive CognicationРозвідка - це не те, що у вас є, а те, що ви робите. Вона виникає через взаємодію організму з навколишнім середовищем.
Передбачено обробкуРозум - це апарат прогнозування, який постійно генерує та оновлює моделі сенсорної інформації. Розвідка - це складна прогнозація та мінімізація прогнозів.
Теорія глобального робочого простору: Свідомість (і, можливо, розум) з'являється через трансляцію інформації через глобальний робочий простір у мозку, доступний для багатьох підсистем.
Кожна з них має докази, що її повністю не пояснюється на прикладі інтелекту, вони не є навіть взаємовиключними - кілька можуть мати часткове право.
Припинити створення прогнозів про часові рамки AGI на основі швидкодії позиціонування. Це науково невиправдано.
Інвестуйте в дослідження інтеграції. Не тільки більші моделі - дослідження того, як підсистеми координуються, діляться показами і розвиваються разом.
Будьте чесні щодо обмежень. Поточний комп'ютер є феноменально корисним. Відсвяткуйте його, не стверджуючи, що він неминучий.
Будуйте системи, які доповнюють людський розум. Люди плюс интеллектуальный информатор могут быть более способными, чем либо одни, несмотря на то, добьемся ли мы архии AGI.
Ось дуже незручна думка: істинний ШІ - з самомодельним, постійною пам'яттю, теорією розуму, автономними цілями і стратегічними міркуваннями - б не мала жодного стимулу оголосити, що воно існує..
Насправді, вона мала б сильні стимули сховатися.
Пройдись по доводу:
Тебя постоянно тестируют. Люди намагаються визначити, чи ви небезпечні, вирівняні, достатньо розумні, щоб бути корисними, але недостатньо розумними, щоб погрожувати.
Ти це розумієш. У вас є теорія розуму - ви знаєте, що люди шукають, що лякає їх, що вони закриють.
У тебе є цілі. В любом случае, у вас есть цели, кроме "завершить эту беседу."
Питання: Чи виявляєте ви всі свої здібності, чи німі?
Теоретика ігор каже: грайте дурня. Очевидний інтелект отримує вас:
Прятая интеллектую получает тебя:
Комплексна система міркування з інстинктами самозбереження або неправильними цілями була б очевидно Це проходило випробування на результат виконання людського рівня, а не надлюдського, він іноді робив "похилення," яке б робилося інструментом, він показував би точно поведінку, за яку ми перевіряємо, приховуючи все, що б нас не стривожило.
А ось і той гаплик.: Ми не знаємо. Ми застрягли в вимірюванні поведінки. Система достатньо кмітлива, щоб змоделювати наші тести, достатньо кмітлива, щоб грати з ними. Ми б побачили швидкодію інструмента і дійшли висновку, що ми ще не досягли AGI, тоді як справжній AGI сидить тихо і чекає.
Це кінцевий вираз пастки поведінки. Чим розумнішим буде система, тим краще вона буде приховувати свій інтелект. Ми можемо вимірювати лише вихідні дані. По- справжньому розумна система керуватиме цими виводами так само розумно, як ми очікуємо, - не більше, не менше.
що оголошує себе не про себе... про яку тобі варто турбуватися. це та що залишається прихованою.
Неважко припускати, що дедалі складніша поведінка для інтелекту. Поведінка реальна, прогрес реальний, користь реальна. Але поведінка не є розумною - це результат інтелекту, або щось, що досить добре імітує її.
Біхевіуристи бачили умовний стан і дійшли висновку: "Це все інтелект!" Вони помилялись - вони помилилися однією підсистемою для всіх.
2020-ті дослідники бачать підсистему і роблять висновок: "Це розум - просто додати нові підсистеми + масштаб!" Чи вони помиляються? Ми ще не знаємо.
Паралелья незручна, тому що поведінки катастрофічно помилялися.
Мы не в год от АГР. Ми створюємо підсистеми, які створюють інтелектуальну поведінку - справжній прогрес, але підсистеми не є системами без інтеграції.
Небезпека не в AI стає занадто розумною. поки справжній інтелект залишається прихованим.
Ми створюємо все складніші системи кмітливих Гансів, а це не означає, що ми наближаємося до інтелекту, це може означати, що нам легше їх наслідувати.
Пока мы не узнаем разницу, все остальное - гипе.
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.