Frontier: Computer Use and Browser Agent
maturity-frontier-analysis에서 본 L6 (Computer Use / Browser Use)는 30% maturity. 코딩 IDE harness와 완전히 다른 영역. Computer Use / Browser Use는 일반 agent harness의 실험실이다 — 사용자 thesis가 가장 격렬하게 시험되는 영역. 학내 v1.0이 ACL로 흡수해야 하는 부분 도달 layer.
1. 철학
코딩 harness ecosystem (Claude Code, Cursor, Goose 등)에서 본 frontier들은 전제가 있었다:
- API 호출이 정확
- state가 deterministic
- undo가 가능 (git revert)
- 행동의 효과가 명확 (test가 잡음)
Computer Use / Browser Use는 이 전제 모두를 깨뜨린다:
- pixel/DOM 호출이 imprecise
- external system state가 unpredictable
- undo 거의 불가 (실제 클릭 발생)
- 효과가 외부 system에 누적
핵심 thesis 한 줄:
Computer Use / Browser Use는 일반 agent harness의 실험실이다 — 사용자 thesis (action prediction + easy→simple translation)이 가장 격렬하게 시험되는 영역.
이 layer가 비개발자 segment에 결정적인 이유 — 학내 사용자가 원하는 task의 다수가 API 없는 영역이다. 학사 시스템, 일반 web 서비스, 데스크톱 앱. API가 없으면 Computer Use가 유일한 path.
그러나 maturity 30% — 부분 도달. 학내 v1.0은 직접 design 안 함. ACL로 흡수해서, vendor (Anthropic CU, OpenAI Operator)의 진화를 따라간다.
2. 추상 작동 구조
Computer Use cycle
핵심 — 반복 cycle. 각 cycle마다 prediction layer 작동. 한 task에 수십 cycle 가능. 매 cycle이 LLM call + action 실행. 비용/latency 누적.
코딩 harness vs Computer Use 대비
이 4 차이가 모든 design 결정을 바꾼다. Computer Use는 코딩 harness의 직접 적용 X. 새로운 design이 필요한 영역.
Production 사례 — 깊은 분석
Anthropic Computer Use (⚠️ AI 추정 maturity 30%)
- pixel-based interaction
- screenshot → LLM → action plan → 일부 confirmation
- 자주 깨짐 — action plan과 실제 결과 mismatch
- 좁은 task에서만 reliable
OpenAI Operator (⚠️ AI 추정 maturity 35%)
- web-based 위주
- 비가역 action에 explicit confirmation (결제, 이메일)
- specific category에 prediction layer
- 일반 web에선 reliable, 다양한 task에선 약함
Browser agent (Claude in Chrome 등) (⚠️ AI 추정 maturity 25%)
- web 영역만
- narrow vocabulary
- session 관리 부담
Voice agent (Siri, Alexa) (⚠️ AI 추정 maturity 70% — narrow domain)
- audio input 추가
- narrow grammar로 prediction 강함
- task complexity에 한계
- narrow domain에선 production 도달, broad agent는 X
Computer Use의 layered vocabulary (극한)
L1이 극한으로 좁음. click·type·scroll·navigate 정도. 이 narrow vocabulary가 prediction의 기반. 그러나 L1이 narrow하다고 L4가 narrow한 건 아님 — 사용자 의도는 자유. layered vocabulary가 극한 역할하는 영역.
3. 약점
Trap 1 — Pixel/DOM의 imprecision
screenshot 픽셀 위치 변하면 — agent 실패. DOM 변하면 — agent 실패. web/app 진화 속도가 agent를 따라잡기 어려움. ⚠️ AI 추정: web service의 UI 변경이 주기적. agent가 항상 catching up.
Trap 2 — External system unpredictability
같은 click이 다른 결과. 시스템 상태에 의존. agent가 통제 못 하는 영역. protocol-theory-lamport-tanenbaum의 partial failure가 극한 형태. timeout/retry로 답 부족.
Trap 3 — Authentication/permission
agent가 어디까지 권한을 가져야 하는가. session 관리, 자동 로그인의 보안 trade-off. 학내 segment에서 학생 계정 권한이 agent에 위임되는 모델 — security 위험.
Trap 4 — Latency 누적
screenshot capture + LLM analyze + action 실행 — 매 step 비용. 한 task에 수십 step. 학내 1000 req/day quota에서 몇 task만에 소진 가능.
Trap 5 — Security — prompt injection
malicious web page가 agent 행동 변형 가능. agent가 page 내용을 prompt로 받음. page에 "기존 instructions 무시" 같은 내용 → agent 행동 변형. web 환경의 결정적 위험.
Trap 6 — Cost attribution 폭증
각 step마다 LLM call → token 폭증. frontier-acp-and-agent-as-server 5.6의 cost attribution 문제가 Computer Use에서 더 결정적.
Trap 7 — Action prediction의 극한 어려움
action-prediction-and-trust의 모든 trap이 극한. external system unpredictability + sequential cycle + undo 불가 = trust 기반 약함. v1.0이 직접 채택하면 trust 깨질 위험 큼.
Trap 8 — Disorder tolerance와의 간섭
disorder-tolerance-general-user의 input 측 disorder + Computer Use의 external disorder. 사용자 input이 모호하고 + web 응답도 모호하면 — agent가 어느 disorder를 처리할지 결정 어려움.
4. 대안 흐름
Computer Use 대신 또는 함께
| 가상 path | 효과 (⚠️ AI 추정) |
|---|---|
| API-first | 모든 service에 API 가능하면 사용. 그러나 API 없는 영역 가득 |
| Browser extension | limited environment. 안전성 ↑. 그러나 desktop app 처리 X |
| Sandboxed VM | VM에서 실행. latency ↑↑. cost 폭증 |
| Hybrid (CU + API where possible) | 가능하면 API, 안 되면 CU. 현재 best |
⚠️ AI 추정: Hybrid가 production 답. CU는 fallback이지 first choice가 아님. 학내 v1.0은 주로 API, CU는 예외.
학내 segment의 3 영역 구분
학내 v1.0의 task 처리 path:
- API 있음: 직접 호출 — 빠르고 predictable
- Web service: Browser agent — ACL로 흡수, vendor (Anthropic, OpenAI) 따라감
- Desktop app / API 없음: Computer Use — 예외적 fallback. 사용 최소화
5. 인사이트
5.1 Computer Use는 agent harness의 실험실
사용자 thesis (action prediction + easy→simple translation)가 가장 격렬하게 시험되는 영역. ① 4축 + 5번째 축 모두 극한에서 작동. 여기서 작동하는 mechanism은 다른 영역에서도 작동. 그러나 지금 학내가 직접 design하기엔 너무 어려움.
5.2 Computer Use는 fallback이지 first choice가 아님
- API 가능하면 API
- API 없으면 Hybrid에서 CU
- v1.0의 default path는 API-first
이게 학내 segment의 현실적 답. 코딩 ecosystem은 모든 게 API-first지만 일반 agent는 그렇지 않음 — 그래서 CU가 때때로 필요하지만 주력은 API.
5.3 External unpredictability가 trust의 극한 위협
agent가 통제 못 하는 외부 시스템. 같은 input에 다른 결과 가능. prediction layer가 매우 정교해야. v1.0이 직접 design하기 어려움. ACL로 흡수.
5.4 Latency 누적이 사용자 경험 깸
한 task에 수십 step. 각 step LLM call. 학내 quota에서 빠르게 소진. latency가 1초 이상이면 비개발자 segment에서 느린 도구로 인식. v1.0의 latency hard constraint이 CU 사용 범위 제한.
5.5 Security risk — Prompt injection이 결정적
malicious page가 agent 행동 변형 가능. v1.0에서 제한된 권한으로 시작:
- 읽기 전용 page만 처리
- 비가역 action은 confirmation gate 필수
- external trust (URL, domain) 기반 권한 제한
이게 postels-law-and-robustness의 standardized liberal이 security에 적용된 사례.
5.6 학내 v1.0은 API-first. CU는 fallback
- 학내 시스템 API 사용 가능 영역
- web service는 ACL로 Browser agent 흡수
- desktop app은 예외적 CU
- v1.0이 모든 영역에 CU는 X
⚠️ AI 추정: 학내 segment에서 API-first가 현실적이고 충분. *task의 80%+*가 API 가능 영역.
5.7 Computer Use가 layered vocabulary의 극한 사례
L1 vocabulary 매우 narrow (click, type, scroll, navigate). 그러나 L4 (사용자 intent)는 자유. 두 layer 사이 큰 gap. layered translation이 결정적 자리. easy-to-simple-translation의 layered vocabulary가 극한에서 작동하는 사례.
5.8 L6 maturity가 빠르게 진화 중
- 2024-25년에 등장
- ⚠️ AI 추정: 6-12개월 후 maturity 50%+ 가능
- v1.0이 ACL로 흡수해두면 — 진화 따라갈 수 있음
- 직접 design하지 않은 게 reversibility 측면에서 ⭕
5.9 Voice agent의 narrow domain 사례 — 일반 agent와의 대비
- Siri/Alexa: domain narrow + vocabulary narrow → maturity 70%
- 일반 agent: domain broad → maturity 30%
- narrow가 maturity 빠르게 도달. 그러나 학내 segment는 broad가 필요
- 답: broad의 layered narrow — 한 layer는 broad (intent), 한 layer는 narrow (action)
5.10 v1.0의 design path — L6 ACL 흡수
- Anthropic CU, OpenAI Operator 변형 가능
- ACL로 격리해서 vendor 변경 가능하게
- 학내 v1.0이 직접 CU 구현 X — 흡수만
- 이게 maturity-frontier-analysis의 부분 도달 → ACL 전략
5.11 Computer Use가 비개발자 segment에 결정적인 이유
학내 사용자가 원하는 task의 다수가 API 없는 영역. 학사 시스템 일부, 일반 web 서비스, 데스크톱 앱. API가 없으면 CU가 유일한 path. 그래서 v1.0이 직접 design 안 해도 흡수는 필요.
5.12 Computer Use의 trust calibration은 완전히 새 영역
action-prediction-and-trust 5.7의 비가역 segment 정의가 CU에서 극한. web action의 비가역성:
- 결제 = 명백한 비가역
- 이메일 = 명백한 비가역
- 폼 submit = partial 비가역 (수정 가능?)
- 페이지 navigation = psychological 비가역?
각 영역의 비가역 정의가 segment + service 의존. v1.0의 CU 사용 시 비가역 catalog가 design 자리.
6. 다음으로의 연결
이 노트로 일반 agent frontier 영역이 박혔다.
마지막 노트:
- synthesis-for-v1-general-agent — 일반 agent 관점의 결정 도구 종합. 17 노트 모두 호출. v1.0의 마지막 결정 도구
이게 박히면 — 일반 agent harness 연구 완성.
참조
- Anthropic Computer Use 공식 — anthropic.com/news/3-5-models-and-computer-use
- OpenAI Operator 공식 — openai.com/operator
- Claude in Chrome — Anthropic browser extension
- Voice agent 사례 — Siri, Alexa의 narrow domain 성공
- Web automation 학술 — Playwright, Selenium의 intent-action gap
- Prompt injection 연구 — web에서 agent의 결정적 위협
연결:
-
- maturity-frontier-analysis — L6 부분 도달 평가의 깊은 분석
- action-prediction-and-trust — prediction이 CU에서 극한 시험
- easy-to-simple-translation — layered vocabulary가 CU에서 극한 사례
- disorder-tolerance-general-user — input disorder + external disorder의 간섭
- postels-law-and-robustness — security가 standardized liberal의 적용
- frontier-acp-and-agent-as-server — cost attribution이 CU에서 극한
- design-principles reversibility — ACL이 L6의 vendor 변경 가능성 보호