МСМ (Больші мовні моделі МSK1 використовують як датчики МSK2 Це помилка категорії: за допомогою вероятностного синтезатора, де вимагається детермінативний граничний пристрій

Це не "'", а "" разработчики "". МSK1 "" - помилка. МSK2 "" Більшість головних прикладів та інструкцій показують найпростішу демонстрацію, МSK3 "", МSK4 "" просто надсилати її на модель "" МSK5 "". Це робить посадку на борт "" легшою "".

Ця стаття про Reduced RAG - архітектура, де детерміністичними трубними лініями, що по feed можливих компонентів, не навпаки . В правильному RAG-системі

• Трубопроводи МSK0сенсори → локальні моделі МSK2 структуровані факти ) зменшують
• ЛЛМ працювати лише на зменшеному структурному варіанті ",".
• Ніколи надсилати сирові дані безпосередньо на LLMs

До прикладу: В OCR (Опtical Character RecognitionM SK2 pipeline, Vision LLM - це рівень МSK4, а не рівень \ 1. Він працює лише після тексту M SK6 heuristika подібності і локального провалу OCR . Це не оптимізація MSC8 Це правила кордону - архітектурна перешкода, яка запобігає неправильнему використанню інструментів, незважаючи на відчуття зручності

Частина 1: Проблема МSK1 Чому LLM не працює як датчикиM SK2

Ідеальна помилка, Різні методи

Ось ідентичні architectural failures across different domains:

• ОCR (Опtical Character RecognitionM SK1: Посилання необроблених кадрів відео безпосередньо на LLM Vision замість використання текстуM SK1геуристики подібності плюс локальних моделей OCR
• аналіз зображення: Вимагати від LLM МSK1 описати це зображення МSK2 замість того, щоб спочатку виділяти структуровані сигнали
• Обробка відео: запуск кадру LLMs - замість МSK2 кадру, щоб виявляти кадри МSK3 виокремлювати кадри ключів мSK4 і відтворювати візуальний контент
• Аудіо-аналіз: Вимагати, щоб LLM вирахували ідентичність або якість звуку від сирих форм хвиль, замість використання обробки сигналів

flowchart TD
    subgraph Wrong["❌ Common Anti-Pattern"]
        Raw[Raw Data<br/>Pixels, Waveforms, Frames] -->|Direct feed| LLM1[Vision/Audio LLM<br/>$$$, variance, hallucination]
        LLM1 --> Unreliable[Unreliable Output<br/>High cost, non-deterministic]
    end

    style Wrong fill:none,stroke:#dc2626,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style LLM1 fill:none,stroke:#dc2626,stroke-width:2px
    style Unreliable fill:none,stroke:#dc2626,stroke-width:2px

Симптоми

Ці архітектурні помилки викликають передбачувані невдачі:

1. Галюциноване сприйняття: LLMs повинна видавати टोकони. У стані невизначеності вони заповнюють прогалини plausible completions Це головна проблема.

2. Неможливий детермінативний провал: Розбіжність між температурою та схемою бюджетного рухуM SK1 Один і той самий вхід МSK2 різні виходи. Помилання стає статистичним аналізомMSC4

3. Ресурсні відходи: Неважливо, чи ви платите за один токен ( API МSK3 або працюєте з місцевими моделями

Проблема в тому, що локально організований LLM галюцинуючий результат OCR такий же поганий, як важкий API виклик, який робить те ж саме.

Чому це відбувається? МСК0 Сенсори проти . Синтезатори

Ця помилка існує, тому що сенсор і синтезатор є фундаментально різними інструментами:

Сенсор - це граничний пристрій:

• Снижує розмір світа' M SK1 фотони → структуровані сигнали)
• Додає факти з показниками довіри
• Знає, характерні режими невдачі
• дешевий, швидкийМSK1 повторюванийM SK2 детермінативний

LLM - це високий синтезізатор -variance МSK1

• Розширює рівні свободи ( факти МSK1 проза МSK2 структурований → неструктурований
• Немає стабільного поняття """, нічого не виявлено
• Виход змінюється в залежності від контексту.
• Шкала витрат лінійно з розміром вхідних даних
• Недетерміністична по дизайну

flowchart LR
    subgraph Sensor["Sensor (Boundary Device)"]
        World[Physical World<br/>∞ dimensions] -->|Reduce| Signal[Structured Signal<br/>Bounded dimensions]
        Signal -->|Confidence| Facts[Facts<br/>± certainty]
    end

    subgraph LLM["LLM (Synthesizer)"]
        Input[Structured Input] -->|Synthesize| Prose[Unstructured Output<br/>High entropy]
        Prose -->|No confidence| Tokens[Token stream<br/>No 'nothing' state]
    end

    style Sensor fill:none,stroke:#16a34a,stroke-width:2px
    style LLM fill:none,stroke:#b45309,stroke-width:2px
    style World fill:none,stroke:#6b7280,stroke-width:2px
    style Signal fill:none,stroke:#2563eb,stroke-width:2px
    style Facts fill:none,stroke:#059669,stroke-width:2px
    style Input fill:none,stroke:#6b7280,stroke-width:2px
    style Prose fill:none,stroke:#d97706,stroke-width:2px
    style Tokens fill:none,stroke:#dc2626,stroke-width:2px

Ось чому StyloFlow сприймає сигнали як незмінні факти

Частина 2: Принцип МSK1Сенсори першими МSK2 Синтез останній )

Що робить мозок правильним? (Не романтикаM SK1

Мозок не починає з мислення. Вони починають з обмеження.

сітківка - це не кора головного мозку

• Виокремлення краю (наM SK1центрі,за межамиMSC3середні гангліонові клітиниМSK4
• Розпізнавання руху (прямова вибірка у VM SK1
• Стиснення контрасту (посередня інгібіціяM SK1
• Шумове захоплення (початковий рівень МSK1запуск на основі МSK2

Коли сенсорні обмеження слабшають, галюцинації зростають. Невелике світло, пропущені краєвидиM SK1 двозначні знаки . Це не метафора МSK3 це той самий режим невдачі, що і галюцинації LLM під невизначеною силою МSK4 Інженери вже знають це: коли SNR випадає вгоруMSC6 класифікатори внизу стають нестабільнимиMSL7

Уявні канали між видами

Ця проблема - -, модель розв 'язання з' являється у всіх системах сприйняття тварин - МSK1, а не лише людського зору

Ехолокація кажанів (auditoryM SK1

• Проблема: Жинні ультразвукові відбиття містять мільйони точок даних за секунду
• Рішення: Специалізовані фільтри для обробки кохлеарів для змін Доплера , затримки часу МSK2 амплитуда
• Результат: Структуровані сигнали
• Інженеричні паралелі: Обробка аудіосигнального сигналу

Базування медоносних бджіл (викриття рухуM SK1

• Проблема: Rapidly changing visual field during flight
• Рішення: обчислення зорового потоку в ламіні
• Результат: Уникнення зіштовхування працює на векторах руху
• Інженеричні паралелі: Detection motion of OpenCV → Tracking МSK2 semantic analysis

flowchart LR
    subgraph Bat["Bat Echolocation"]
        Echo[Ultrasonic Echo<br/>∞ waveform data] --> Cochlea[Cochlear Filters<br/>Doppler, delay, amplitude]
        Cochlea --> BatBrain[Auditory Cortex<br/>Distance, texture facts]
    end

    subgraph Bee["Honeybee Vision"]
        Motion[Visual Field<br/>Rapid motion] --> Lamina[Lamina<br/>Optical flow computation]
        Lamina --> BeeBrain[Central Brain<br/>Motion vectors, not pixels]
    end

    style Bat fill:none,stroke:#7c3aed,stroke-width:2px
    style Bee fill:none,stroke:#d97706,stroke-width:2px
    style Echo fill:none,stroke:#6b7280,stroke-width:2px
    style Cochlea fill:none,stroke:#a855f7,stroke-width:2px
    style BatBrain fill:none,stroke:#6366f1,stroke-width:2px
    style Motion fill:none,stroke:#6b7280,stroke-width:2px
    style Lamina fill:none,stroke:#f59e0b,stroke-width:2px
    style BeeBrain fill:none,stroke:#d97706,stroke-width:2px

Поширена модель:

1. Невироблені сенсорні дані (проблемаM SK1 надто багато , надмірно шумна
2. Упереднє оброблення кордонів (здібністьМSK1спеціалізована обладнанняM SK2наwetware зменшує,фільтриMSC4структури )
3. Когнітивний процес ( працює на фактахM SK1 не на сирих сигналах )

Це не """, а натхнення з природи. МSK1 "". Це конвергентна еволюція обробки інформації під фізичними обмеженнями.

Інженерифікація дуже щільна:

flowchart TD
    subgraph Brain["Biological Vision Pipeline"]
        Photons[Photons] --> Retina[Retina<br/>Edge detection, contrast]
        Retina --> V1[V1 Cortex<br/>Orientation, motion]
        V1 --> IT[Inferotemporal Cortex<br/>Object recognition]
        IT --> PFC[Prefrontal Cortex<br/>Reasoning, synthesis]
    end

    subgraph Engineering["Engineering Vision Pipeline"]
        Pixels[Raw Pixels] --> OpenCV[OpenCV + Heuristics<br/>Sharpness, text-likeliness]
        OpenCV --> Local[Local Models<br/>Florence-2, EAST/CRAFT OCR]
        Local --> Structured[Structured Signals<br/>Bounding boxes, confidence]
        Structured --> LLM[LLM Synthesis<br/>Only when needed]
    end

    Brain -.->|Maps to| Engineering

    style Brain fill:none,stroke:#7c3aed,stroke-width:2px
    style Engineering fill:none,stroke:#2563eb,stroke-width:2px
    style Photons fill:none,stroke:#6b7280,stroke-width:2px
    style Retina fill:none,stroke:#16a34a,stroke-width:2px
    style V1 fill:none,stroke:#059669,stroke-width:2px
    style IT fill:none,stroke:#0891b2,stroke-width:2px
    style PFC fill:none,stroke:#6366f1,stroke-width:2px
    style Pixels fill:none,stroke:#6b7280,stroke-width:2px
    style OpenCV fill:none,stroke:#16a34a,stroke-width:2px
    style Local fill:none,stroke:#059669,stroke-width:2px
    style Structured fill:none,stroke:#0891b2,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px

Мозок не сприймає "помічатиM SK1 пікселі . Вони ніколи їх не бачать

Кора головного мозку працює на сигналах, які були зменшені, відфільтровані, структуровані попередніми шарами,

Інженеричні наслідки (Правила проектуванняM SK1

Це не філософське сприйняття.

1. Ескаляція має бути подолана: LLM - це рівень 3, а не рівень \1. Викликати тільки тоді, коли дешеві датчики не працюють

2. Пороги упевненості повинні бути експлицивнимиМSK0 " Текст, виявлений за допомогою МSK2 довіри " є фактом

3. Руйтинг має бути детерміністичним: Ті ж самі сигнали МSK1 той самий шлях МSK2 Жодна зміна пропону , ніяких ефектів температури

4. Цифрова економіка - це обмеження, а не виправлення витрат: Якщо ваша труба ' масштабує витрати з розміром необроблених даних МSK2 ви використовуєте неправильне інструментарій

5. Факти потребують доказів: Якщо ви можете ' не вказувати на коробку з обертанням МSK2 раму M SK3 або на хвилястий простір

Довідка: Оптимізація filmstrip

В Трубопровод VideoSummarizer, текстM SK1 тільки плівкові дорожки зменшують вартість символа на ~30x, тоді як покращення Вірність OCR. LLM бачить сигнал M SK1відокремлені текстові ділянки МSK2 не сцену МSK3повні RGB кадри ).

Це не оптимізація. Це коректація категоріїM SK1

Частина 3: Модель в практиці

Ogólnий візерунок: Reduced RAG is MapM SK1Reduce for Probabilistic Systems

Це Reduced RAG архітектурна модель. Головний принципM SK1 трубопроводи годують можливими компонентами.

Reduced RAG is Map-Reduce applied to probabilistic systemsM SK1

• Фаза карти (детерміністичнаM SK1 паралельна, розподіленаMSC3 Сенсори та локальні моделі виділяють структуровані факти з необроблених даних
• Фаза скорочення (припустимийM SK1 послідовний , централізований M SK3 LLM синтезує отримані факти

Традиційний RAG отримує це назад - він відбирає документи і сподівається, що LLM витягує факти . Reduced RAG extracts factos first (mapM SK1 тоді дозволяє LLM синтезувати (reduce).

Модель повторюється у всіх мультиmodaльних системах:

1. Карта: Сенсори зменшуються (детермінативний хеуристичний фильтр і структурні сирові дані МSK1 паралельні між кадрами
2. Карта: Випис локальних моделей (спеціалізовані моделі виробляють факти з показниками довіри МSK1 паралельно на единицу даних
3. Карта: Політичні маршрути (останнє або ескаляльне значення детермінативних бар 'єрів
4. Снизити синтез LLM (працювати лише над зібраними фактами

flowchart TD
    subgraph Map["MAP PHASE (Parallel, Deterministic)"]
        Raw[Raw Data<br/>10,000 frames] --> Split{Split}

        Split --> S1[Sensors<br/>Frame 1-1000]
        Split --> S2[Sensors<br/>Frame 1001-2000]
        Split --> S3[Sensors<br/>Frame 2001-3000]
        Split --> SDots[...]

        S1 --> L1[Local Models<br/>Batch 1]
        S2 --> L2[Local Models<br/>Batch 2]
        S3 --> L3[Local Models<br/>Batch 3]
        SDots --> LDots[...]

        L1 --> F1[Facts: 120]
        L2 --> F2[Facts: 98]
        L3 --> F3[Facts: 156]
        LDots --> FDots[...]

        F1 --> Collect[Collect Facts]
        F2 --> Collect
        F3 --> Collect
        FDots --> Collect

        Collect --> Facts[(Facts Database<br/>500 total facts)]
    end

    subgraph Reduce["REDUCE PHASE (Sequential, Probabilistic)"]
        Query[User Query] --> Retrieve[Retrieve Relevant Facts<br/>Filter: 50 facts]
        Facts --> Retrieve
        Retrieve --> LLM[LLM Synthesis<br/>Reason over 50 facts]
        LLM --> Answer[Grounded Answer]
    end

    style Map fill:none,stroke:#16a34a,stroke-width:3px
    style Reduce fill:none,stroke:#6366f1,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style Split fill:none,stroke:#16a34a,stroke-width:2px
    style S1 fill:none,stroke:#16a34a,stroke-width:2px
    style S2 fill:none,stroke:#16a34a,stroke-width:2px
    style S3 fill:none,stroke:#16a34a,stroke-width:2px
    style SDots fill:none,stroke:#16a34a,stroke-width:1px,stroke-dasharray: 5 5
    style L1 fill:none,stroke:#059669,stroke-width:2px
    style L2 fill:none,stroke:#059669,stroke-width:2px
    style L3 fill:none,stroke:#059669,stroke-width:2px
    style LDots fill:none,stroke:#059669,stroke-width:1px,stroke-dasharray: 5 5
    style F1 fill:none,stroke:#0891b2,stroke-width:2px
    style F2 fill:none,stroke:#0891b2,stroke-width:2px
    style F3 fill:none,stroke:#0891b2,stroke-width:2px
    style FDots fill:none,stroke:#0891b2,stroke-width:1px,stroke-dasharray: 5 5
    style Collect fill:none,stroke:#16a34a,stroke-width:2px
    style Facts fill:none,stroke:#0891b2,stroke-width:3px
    style Query fill:none,stroke:#6b7280,stroke-width:2px
    style Retrieve fill:none,stroke:#7c3aed,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px
    style Answer fill:none,stroke:#16a34a,stroke-width:2px

Dokument-перший RAG протиM SK1 Снижений RAG:

Конкретні заходи

Три системи виробництва впроваджують цю модель:

• ImageSummarizer: Хирургія МSK1 Флоренція МSK2 ОCR → Виглядовий ЛЛМ
• AudioSummarizer: Акустичні характеристики МSK1 Диаризація МSK2 LLM ( лише час запиту
• Відеозбиральник: Виявление вистрілу → Кліверні кадри МSK2 Вмонтування за допомогою CLIP МSK3 LLM M( اختیارна МСК5

Чому це працює?

Ось справжні цифри від VideoSummarizer на відео 10-мин. МSK1секундиM SK2 МSK3fps = \18,000 кадри):

Правильна архітектура точніше. Це також дешевше 180x, але це МSK2 побічний ефект правильних дій МSK3, а не мета . Навіть з безкоштовними локальними LLM \ , \ кадром - \ \ МSK7 \ підход до кадру все ще був би помилковим, тому що він виробляє ненадійний результат \

Завершення

Якщо ваша система штучного інтелекту починається з LLM, ви вже втратили контроль над нею

Інтелект не починається з мислення. Він починається з обмеженьM SK1

Сенсори зменшують невизначеність. Синтезувальники розширюють значенняM SK1 Заплутають дві системи блокування.

Зробіть синтез останній крок.

Головні терміни

• Reduced RAGМСК0 КартаМSK1Редукція для систем упередженості. Карта МSK3детерміністичне видобутокМСК4 MСК5 Редукція мСК6 синтез ЛЛММ СК7
• Помилка в категорії: Визначати щось, що належить до фундаментально іншого виду, ніж воно є
• Пограничний пристрій: Перетворює високовимірніM SK1вичерпні необроблені дані на низькіМSK2вимірно-структуровані сигнали з відомою точністю
• Рівень ескалації: Переход до LLM лише тоді, коли детерміністичні методи провалюються. МSK1точністьM SK2виграний, невеликий витрати
• Диарізація: Розмежування гучномовця в аудіо МSK1хто говорив, коли

Подібні статті

• Reduced RAG: MapM SK1Reduce for Probabilistic Systems
• VideoSummarizer: Reduced RAG for Video
• ImageSummarizer: Конstrained Fuzzy Image Intelligence
• AudioSummarizer: Судова аудіокартерізація
• StyloFlow: Сигнальний сигнал-Driven Workflows