research

Disorder Tolerance — 일반 사용자 messy input의 input 측 translation

Disorder Tolerance for General Users

easy-to-simple-translationoutput 측 translation을 박았다. 이 노트는 input 측 — 사용자의 messy input을 어떻게 받아들이는가. agent가 비개발자 segment를 채택하려면 완벽한 input을 기대할 수 없다 — 사용자의 disorder를 받아들이면서도 simple action으로 번역해야 한다. L10 영역의 직접 design (maturity-frontier-analysis 미개척).


1. 철학

비개발자 사용자의 input은 messy. 코딩 사용자가 spec 따라 정확한 prompt를 박는 것과 다르다. 일반 사용자의 disorder 패턴:

  • 오타 / 문법 깨짐 — "메일을 보네줘" (의도 명확)
  • 중간 변경 — "그… 아니, 사실 그게 아니라"
  • 모호함 — "그거 좀 처리해줘"
  • 상충 — "조용한 카페 + 활기찬 분위기"
  • 누락 — "회의 잡아줘" (시간/대상 빠짐)
  • 과잉 — 한 prompt에 여러 task 섞임
  • 부정확한 reference — "어제 그거" (어제 무엇?)

이 disorder를 받아들이지 못하는 agent는 — 비개발자 segment에서 사용 안 됨. 그러나 너무 관대하게 받으면 — 잘못된 action 실행. trust 깨짐. 이게 input 측 trade-off의 핵심.

핵심 thesis 한 줄:

agent의 robustnessoutput 측 strict + input 측 liberal-but-clarifying의 합산이다. input 측이 strict면 비개발자 진입 막힘. input 측이 너무 liberal하면 잘못된 action.

이게 postels-law-and-robustnessstandardized liberal일반 사용자 input에 적용된 사례. 그러나 코딩 영역과 다른 점 — 코딩에선 추상 구조가 명확 (함수 호출, schema 등)이라 liberal이 문법 관대함만 다루면 됐지만, 일반 사용자 input은 의미 모호성이 가득. 다른 종류의 liberal이 필요.

답은 clarification loop. 모호하면 묻는다. 그러나 너무 자주 물으면 easy 깨짐. 이 trade-off가 input 측 design의 진짜 자리.


2. 추상 작동 구조

사용자 input의 disorder 분류

각 disorder 유형이 다른 mechanism. 한 mechanism으로 모두 처리 불가.

Disorder 유형별 처리 mechanism

Disorder처리 mechanism예시
오타/문법silent normalization — 그냥 처리"메일 보네줘" → "메일 보내줘"
중간 변경trace + final — 마지막 의도만 따름"A 했다가 B" → B만
모호함clarification gate — 묻는다"그거 처리해줘" → "어떤 것?"
상충explicit highlight — 충돌 알림"조용 + 활기" → "둘 다 만족 어려운데, 어느 쪽?"
누락completion gate — 누락 항목 묻기"회의 잡아줘" → "시간? 대상?"
과잉task split — 여러 task로 나누기"이메일 + 캘린더 + 검색" → 3 task로
부정확 referenceresolution gate — context 기반 해결 또는 묻기"어제 그거" → 최근 context 탐색 또는 묻기

핵심 — 유형별 다른 mechanism. silent normalization과 clarification gate는 전혀 다른 trust 비용.

Clarification loop의 trade-off

Confirmation fatigueaction-prediction-and-trust Trap 1이었다. 이 노트에선 input 측 fatigue. 너무 자주 묻는 것도 동일한 trap. 사용자 attention이 자원.

답: threshold-based clarification — 모호함의 수준에 따라 묻기. 명확하면 그냥 처리, 모호하면 묻기, 매우 모호하면 옵션 제시.

Layered input handling

easy-to-simple-translation의 layered vocabulary와 대칭:

input 측도 layered. L4 → L3은 silent (오타), L3 → L2는 clarification 가능, L2 → L1은 LLM 책임. 각 layer가 다른 처리 압력.


3. 약점

Trap 1 — Clarification fatigue

너무 자주 물으면 사용자가 대충 답변. 안전망 깨짐. action-prediction-and-trust Trap 1과 . 사용자 attention 한도 segment 의존.

Trap 2 — 조용한 normalization의 위험

agent가 조용히 normalize하면 — 사용자가 의도 안 한 변경에 노출. "메일 보네줘"를 "메일 보내줘"로 normalize는 ok. 그러나 "30분 회의" → "30시간 회의"를 조용히 normalize하면 — disaster. 어디까지 silent로 가는지 결정.

Trap 3 — Clarification의 해석 어려움

agent가 묻는 question 자체가 모호할 수 있음. "어떤 것을 의미하시나요?"는 너무 광범위. 답: option-based clarification — "A, B, C 중 어느 것?"

Trap 4 — Sequence disorder

한 prompt 안의 disorder가 아니라, 대화 sequence의 disorder — 이전 메시지와 모순. agent가 어디까지 sequence를 기억하는지 결정. 너무 많이 기억하면 이전 변경에 영향, 너무 적게 기억하면 context 잃음.

Trap 5 — Disorder 유형 분류 자체가 모호

"이건 모호함인가 누락인가?" 같은 case. ⚠️ AI 추정: 분류 정확도가 학습 가능하지만 — v1.0의 초기 분류 정확도는 낮음. 측정 hook으로 진화.

Trap 6 — Cultural/언어 disorder

한국어/영어/다른 언어마다 disorder 패턴이 다름. "메일 보네줘" 같은 오타 문화 specific. 학내 segment 외 다른 segment 복제 시 — 언어/문화 layer가 segment specific.

Trap 7 — 과잉 처리의 trap

모든 disorder를 다 처리하려다 — agent가 사용자 input을 너무 많이 변형. 결과: 사용자 의도와 다른 action. 답: 최소 변형 원칙. silent normalize는 명확한 경우만.

Trap 8 — Clarification이 prediction 측 압력

clarification 묻기 = 사용자가 agent의 다음 action을 알게 됨. 즉 prediction 도구로도 작동. 그러나 너무 자주 — fatigue. 이 노트와 action-prediction-and-trust교차하는 자리.


4. 대안 흐름

Disorder 처리의 다른 방향

가상 path효과 (⚠️ AI 추정)
Strict input사용자가 spec 따라 입력. 비개발자 진입 X
All silent normalizeagent가 모두 처리. 의도와 다른 action 위험
All clarification모두 묻기. fatigue 폭증. easy 깸
Threshold-based clarification (이 노트의 답)모호 수준 따라 묻기. 균형
Multi-agent clarification다른 agent가 사용자에게 묻기. 비용 ↑

⚠️ AI 추정: threshold-based clarification + 유형별 mechanism이 현재 best. 그러나 threshold 설정이 segment 의존.

Clarification의 segment specific threshold

SegmentClarification threshold이유
코딩 사용자높음spec 따라 입력 익숙. 모호 = 무시 가능
비개발자 일반중간너무 자주 물으면 fatigue, 너무 적으면 잘못된 action
학내 비개발자낮음trust 깨질 위험 큼. 자주 묻기로 안전 우선 (⚠️ AI 추정)
자동화 power user매우 높음빠른 처리 우선. 잘못은 본인이 catch

threshold가 segment 의존이라 — v1.0 default는 학내 비개발자에 맞춤, 다른 segment 복제 시 조정.


5. 인사이트

5.1 agent robustness = input 측 liberal + output 측 strict의 합산

postels-law-and-robustnessliberal receiver + strict senderagent 영역에서 합쳐진다. 이 노트가 input 측, action-prediction-and-trust가 output 측. 둘이 . 둘 다 박혀야 robustness 작동.

5.2 비개발자 input은 완벽하지 않다 — 받아들이는 게 mandatory

input 측 strict는 비개발자 segment에 대한 거부. 학내 segment를 노릴 거면 — input 측 liberal은 선택이 아니라 mandatory. 그러나 얼마나 liberal은 segment 의존.

5.3 Disorder 유형별 다른 mechanism

  • 오타: silent normalize
  • 모호: clarification gate
  • 상충: explicit highlight
  • 누락: completion gate
  • 과잉: task split
  • 부정확 reference: resolution gate

한 mechanism으로 모두 처리 X. action-prediction-and-trust 5.3 (action 유형별 다른 prediction)과 대칭.

5.4 Threshold-based clarification이 답

  • 너무 적게 묻기 → 잘못된 action → trust 깸
  • 너무 자주 묻기 → fatigue → easy 깸
  • 답: 모호함 수준에 따라. 명확 → 처리, 약간 모호 → option 제시, 매우 모호 → open question

threshold가 segment 의존. 학내 비개발자는 낮은 threshold (자주 묻기로 안전 우선).

5.5 Silent normalization의 위험 — 의도 변형

agent가 조용히 normalize하면 — 사용자가 의도 안 한 변경에 노출. 최소 변형 원칙: silent normalize는 명확한 경우만 (오타). 의미 변경은 반드시 clarification.

5.6 Clarification이 prediction 도구로도 작동

clarification 묻기 = 사용자가 agent의 다음 action을 알게 됨. 즉 input 측 robustness가 prediction 신뢰성에도 기여. 이 노트와 action-prediction-and-trust교차하는 mechanism.

5.7 Layered input handling — output 측과 대칭

easy-to-simple-translation의 layered vocabulary가 output 측. 이 노트의 layered input handling이 input 측. 둘이 대칭 구조. 양쪽 모두 layered translation이 답.

L4 (raw) → L3 (cleaned) → L2 (structured intent) → L1 (action plan) — 각 layer가 다른 처리 책임.

5.8 Sequence disorder가 추가 layer

한 prompt 안 disorder 외에 대화 sequence의 disorder도 처리 필요. 이전 메시지와 모순. v1.0에서 어디까지 sequence를 기억하는지 결정. 너무 많이 — 이전 변경에 묶임. 너무 적게 — context 잃음.

5.9 Cultural/언어 disorder가 segment specific

한국어/영어/다른 언어 disorder 패턴 다름. 학내 segment 한국어 기반 — disorder 패턴 한국어 specific. 다른 segment 복제 시 언어/문화 layer가 segment specific. 추상 구조 (유형별 mechanism)는 공유.

5.10 v1.0의 진짜 design 자리 — L10

maturity-frontier-analysis에서 본 L10 (Disorder tolerance + clarification loops)은 <10% maturity. 거의 미개척. v1.0이 직접 design하면 — 비개발자 agent의 첫 통합 사례. 학내 외 segment에 가치 (복제 가능한 추상 구조).

5.11 과잉 처리 함정 — 최소 변형 원칙

모든 disorder를 다 처리하려다 — agent가 사용자 input을 너무 많이 변형. 결과 = 의도와 다른 action. 답: 최소 변형. 처리할 수 있어도 처리하지 않는 영역 (의미 변경)은 clarification으로.

5.12 측정 hook이 disorder pattern 학습의 데이터 자리

  • disorder 유형별 빈도 측정
  • clarification 후 얼마나 정확한 답 받는지
  • silent normalize의 오류율
  • v1.0에서 측정 hook 박아두면 — v2.0에서 disorder 처리 정밀화

5.13 Clarification grammar가 또 design 자리

agent가 묻는 question 자체가 grammar. "A, B, C 중 어느 것?" 같은 option-based가 자유 question보다 효과적. 그러나 option이 항상 가능하지 않음. 질문 형식의 layered grammar가 design 자리.


6. 다음으로의 연결

이 노트와 action-prediction-and-trustbidirectional translation의 양쪽. 둘이 짝.

남은 일반 agent 노트:

이 둘이 박히면 — 일반 agent harness lens 완성.


참조

  • ⚠️ AI 추정 — 사용자 disorder 패턴 분류는 학술적 기반 약함. 일반화는 사용자 research로 검증 필요
  • Chatbot UX 연구 — clarification mechanism의 design 패턴
  • Conversational AI의 intent classification — disorder 처리의 학술 기반
  • Voice assistant (Siri, Alexa)의 완전 자유 input 처리 — 일반 agent보다 narrow vocabulary 사례

연결: