Action Prediction and Trust

agent의 치명적 단점은 어떤 action을 할지 예측 불가능하다는 것. 이게 비개발자 segment에 결정적 — 코딩은 돌이킬 수 있지만 컴퓨터 조작은 비가역 action 가득. 예측 가능성은 LLM의 capability가 아니라 harness의 design에서 나온다. 일반 agent harness의 진짜 fundamentals.

1. 철학

코딩 ecosystem은 암묵적 prediction layer를 가진다 — git diff, review, undo. agent가 어떤 action을 할지 정확히 모르겠어도 결과를 볼 수 있고 되돌릴 수 있다. 이 안전망이 LLM의 unpredictability를 흡수했다.

비코딩 일반 agent는 그 안전망이 없다:

• 이메일 발송 — 보내는 순간 끝
• 결제 — 환불 cycle 필요
• 파일 삭제 — 휴지통도 비워지면 끝
• 메시지 전송 — Slack 메시지 수정/삭제는 흔적 남음

비가역 action + LLM의 예측 불가능성 = trust 영구 파괴

이게 사용자 thesis의 핵심 진단. 그리고 답:

핵심 thesis 한 줄:

agent는 예측 가능해야 trust를 얻는다. trust 없이는 비개발자 segment에 채택 안 된다. 예측 가능성은 LLM의 capability가 아니라 harness의 design에서 나온다.

LLM은 본질적으로 probabilistic. 같은 input에 다른 output 가능. 이건 바뀌지 않는다. 그러나 harness layer가 LLM 위에서 예측 가능성을 박을 수 있다. 이게 사용자가 박은 harness 단에서 해결의 정확한 의미.

이 노트는 ① fundamentals의 5번째 축이 될 자리. 4축 (단순함, layer 분리, de facto, 관대함)이 표준이 살아남는 조건이라면, 이 5번째 축은 agent harness가 신뢰받는 조건. postels-law-and-robustness와 짝 — Postel은 input 받을 때 관대 (liberal receiver), 이 노트는 action 낼 때 엄격 (strict sender).

2. 추상 작동 구조

Prediction layer가 박힌 agent flow

각 단계가 예측 가능성을 박는 자리. 모든 action에 같은 mechanism이 적용되는 게 아니라 — action 유형별로 다른 layer가 작동.

Action의 4 분류 — 유형별 prediction 압력

핵심 — 모든 action에 같은 mechanism이 X. read-only에 confirm gate를 박으면 confirmation fatigue 폭증. irreversible에 confirm gate 빠지면 trust 영구 파괴. 유형별 다른 mechanism.

Trust 누적 mechanism

Trust는 한 번에 만들어지지 않음. 예측 일치 누적으로 만들어짐. 그러나 한 번 깨지면 회복 거의 불가능. 이게 postels-law-and-robustness Trap 1 (HTML quirks 30년 lock-in)과 비슷한 비대칭.

비대칭의 결과 — 처음부터 prediction 정확해야 한다. 나중에 고치는 모델이 작동하지 않음. Worse is Better가 prediction 영역에서는 trap. 이게 ① 4축과의 interesting tension.

Easy ↔ Predictable trade-off

이게 사용자 thesis의 진짜 trade-off. 답은 layered approach — action 유형별 다른 mechanism. 유형 분류 정확도가 harness의 design quality 결정.

3. 약점

Trap 1 — Confirmation fatigue

너무 자주 물으면 사용자가 대충 yes. 안전망이 깨짐. 이게 prediction layer의 가장 큰 trap. 사용자 attention도 자원이고 — 너무 자주 호출하면 고갈된다. 정확한 confirmation 빈도가 segment 의존. 학내 비개발자는 confirmation 한도가 더 낮음 (⚠️ AI 추정).

Trap 2 — Preview의 비용

Preview 자체가 자원. read-heavy preview는 시간 비용. 모든 action에 preview 가능하지도 않음 (e.g. 결제 결과는 preview 불가). harness가 어디서 preview 가능한지 design.

Trap 3 — Explanation의 해석 가능성 한계

LLM의 explanation도 LLM이 만든 거 — 진짜 이유 아닐 수 있음. post-hoc rationalization 위험. 사용자가 어떻게 검증할지가 자체 문제. explanation은 trust 도구이지 증명이 아니다. 의식해야 함.

Trap 4 — Plan ↔ Execution gap

LLM이 plan을 박은 후 다른 action 실행 가능. 같은 LLM이지만 plan과 execution이 일치 안 할 수 있음. harness가 plan-execution consistency 강제 필요. plan과 다른 execution은 reject 또는 새 plan.

Trap 5 — 비가역성의 주관적 정의

"되돌릴 수 있는가?"는 사용자마다 다름. email 보낸 후 "오타 알았다"는 심리적 비가역. 어디까지 비가역으로 보는지가 segment 의존. 학내 비개발자는 심리적 비가역도 비가역으로 봐야 (⚠️ AI 추정).

Trap 6 — Predictability와 easy의 근본 trade-off

• 모든 action 확인 → predictable but slow → 사용 안 됨
• 너무 easy → not predictable → trust 깨짐
• 유형별 layered가 답이지만 — 유형 분류 정확도가 harness 책임

이 trade-off가 사용자 thesis의 진짜 자리. 일반 agent harness가 답을 박아야 하는 핵심.

Trap 7 — Trust의 비대칭 — 깨지면 회복 어려움

Trust는 천천히 쌓이지만 한 번 깨지면 거의 영구. 이게 처음부터 정확해야 하는 압력. iterative improvement 모델이 작동 안 함. Worse is Better의 trap이 prediction 영역에서 결정적.

Trap 8 — 유형 분류 자체의 모호성

"이건 reversible인가 irreversible인가?" — 모호한 case가 가득. 같은 action이 context에 따라 다른 유형. v1.0에서 context-aware 유형 분류가 필요한데 이게 또 새 압력.

4. 대안 흐름

다른 방향들과 운명:

⚠️ AI 추정: Layered approach가 답. 그러나 유형 분류가 정확해야 작동. v1.0의 design 자리.

Production 사례 (⚠️ AI 추정)

⚠️ AI 추정: 일반 agent의 prediction layer는 2025-26 진행 중인 frontier. 표준 부재. 학내 segment 진입 시 직접 design해야.

5. 인사이트

5.1 agent의 치명적 단점은 LLM이 아니라 harness 부재

LLM은 본질적으로 unpredictable. 이건 바뀌지 않음. harness가 예측 가능 layer를 만든다 — 이게 사용자 thesis 정확히. harness 단에서 해결하는 게 정답. LLM 자체를 predictable하게 만들려는 시도는 (RLHF, constitutional AI 등) — 효과 있지만 한계. 결국 harness layer가 결정적.

5.2 Trust는 예측 일치 누적으로만 만들어진다 — 비대칭

한 번에 만들어지지 않음. 그러나 한 번 깨지면 회복 어려움. 처음부터 prediction 정확해야. iterative improvement 모델이 작동 안 함. v1.0이 prediction 정확도에서 압축 시도하면 안 됨 — 이건 Worse is Better의 trap이 적용 안 되는 영역.

5.3 Action 유형별 다른 prediction mechanism

• Read-only: 빠른 실행 + audit
• Reversible: explain → 실행 → undo
• Limited reversible: explain → 실행 → damage limit
• Irreversible: plan → preview → confirm gate

모든 action에 같은 mechanism 적용 X. 유형 분류 정확도가 harness의 design quality.

5.4 Confirmation fatigue가 결정적 trap

너무 자주 물으면 사용자가 자동 yes. 안전망이 깨짐. 빈도가 segment 의존 — 학내 비개발자는 한도가 낮음. v1.0에서 측정해서 조정. confirmation을 질과 빈도 둘 다 감시.

5.5 Preview/Plan-execution consistency가 harness의 진짜 책임

LLM이 plan 박았다고 그대로 실행되는 게 아님. harness가 plan ↔ execution 일치 강제. plan과 다른 execution은 reject 또는 새 plan. 이게 harness가 LLM 위에 만드는 contract. protocol-theory-lamport-tanenbaum의 protocol = 합의된 약속이 LLM-harness 사이에 적용된 사례.

5.6 Predictability와 Easy의 trade-off가 사용자 thesis의 핵심 자리

모든 action 확인 = predictable but slow. 어떤 action도 확인 X = easy but no trust. 답이 Action 유형별 layered mechanism. 유형 분류가 segment 의존 — 학내 비개발자의 비가역 정의가 심리적 비가역까지.

5.7 비가역성의 주관적 정의가 segment 의존

비개발자 segment의 비가역 정의가 다름:

• 코딩: git revert 가능 = reversible
• 일반: 이메일 보낸 후 "오타 알았다" = 심리적 비가역
• 학내 비개발자: 더 보수적. 사회적 노출도 비가역

v1.0에서 segment specific 비가역 catalog design. 이건 tool catalog만큼 중요한 자리.

5.8 AI explanation의 해석 가능성 한계

LLM의 explanation도 LLM이 만든 거 — 신뢰성 한계. post-hoc rationalization 가능. 답: 간접 verification (effect 측정, system state) + explanation 측정 (사용자가 explanation 보고 한 결정의 정확도). explanation은 trust 도구이지 증명이 아니다.

5.9 Harness가 complex를 simple로 변환하는 mechanism이 prediction

• LLM의 자유 = complex (예측 불가능)
• harness layer = simple (예측 가능)
• prediction layer가 easy → simple translation의 본질

이게 easy-to-simple-translation 노트의 thesis와 직접 연결. harness의 진짜 정의 — LLM의 unpredictable easy를 simple predictable로 번역하는 layer.

5.10 일반 agent harness의 진짜 차별점

• 코딩 harness (Claude Code 등): git diff/review로 prediction 자연스러움
• 일반 agent harness: prediction이 명시적 design 책임
• 비코딩 영역에서 prediction이 결정적 lever. 코딩 harness ecosystem 분석에서 이 영역이 약했던 이유

이게 기존 12 노트의 blind spot이었다. 이 노트가 그 영역을 박는다.

5.11 postels-law-and-robustness와 짝 — strict sender

• Postel: input 받을 때 관대 (liberal receiver)
• 이 노트: action 낼 때 엄격 (strict sender)
• 둘이 짝 — agent의 입력은 관대, 출력은 엄격

이게 일반 agent harness의 robustness 정책 핵심. layer마다 다른 robustness 정책 (Postel 5.2)이 입력/출력 비대칭까지 확장.

5.12 측정 hook이 prediction의 데이터 자리

• prediction 정확도 측정 = trust 양적 평가
• 사용자 기대 vs 실제 action 일치도
• confirmation 빈도 vs 정확한 비가역 대응 비율
• v1.0에서 측정 hook 박아두면 v2.0에서 prediction 정밀화 가능
• synthesis-for-v1 Q7과 직접 연결 — 측정 hook이 비코딩 segment에서 더 결정적

5.13 ① 4축의 5번째 축으로 이 thesis 박기

기존 4축 + 5번째:

• 1. 단순함 (worse-is-better)
• 2. layer 분리 (protocol-theory-lamport-tanenbaum)
• 3. de facto 권력 (standardization-political-economy)
• 4. 관대함 (postels-law-and-robustness)
• 5. 예측 가능성 (이 노트) — output 측 strict, action 유형별 layered

이게 일반 agent harness의 완성된 fundamentals. 4축은 표준이 살아남는 조건, 5번째 축은 harness가 신뢰받는 조건. 둘이 합쳐져야 비개발자 segment의 채택 가능.

6. 다음으로의 연결

이 노트는 새 fundamentals 5번째 축. 짝으로 박을 노트들:

• easy-to-simple-translation — harness의 본질. prediction layer가 어떻게 easy → simple 변환하는지. 이 노트의 일반화
• disorder-tolerance-general-user — input 측. Postel + 일반 사용자 messy 적용
• frontier-computer-use-and-browser-agent — 일반 agent의 진짜 frontier. Anthropic Computer Use, OpenAI Operator, browser agents
• synthesis-for-v1-general-agent — 마지막 종합. 일반 agent 관점의 결정 도구

이 4 노트가 추가로 박히면 — 일반 agent harness의 완성된 lens가 12+5=17 노트.

참조

• Anthropic Computer Use — 일반 agent의 prediction layer 사례
• OpenAI Operator — irreversible action confirmation 사례
• Web automation tools (Selenium, Playwright)의 intent-action gap
• HCI 연구의 direct manipulation 원칙
• "Trust calibration in AI agents" — ⚠️ 학술 진행 중

연결:

• postels-law-and-robustness — 짝 (input 관대 / output 엄격)
• protocol-theory-lamport-tanenbaum — plan = 합의된 약속. plan-execution consistency
• worse-is-better — prediction 영역에서 trap이 되는 thesis
• segment-application-non-developer-majority — 비개발자의 심리적 비가역 정의
• synthesis-for-v1 — 측정 hook이 prediction에서 더 결정적
• design-principles reversibility — prediction이 reversibility의 upstream