Frontier: RL-based Skill Generation

Skill을 사람이 작성하는 것에서 자동 생성으로 진화하는 frontier. AutoSkill, WebRL, SkillRL — 학술 진행 빠르나 production maturity 낮음. agent ecosystem의 다음 frontier는 skill을 생성하는 layer다. 이게 자리잡으면 — 사람의 자리가 더 strategic으로 옮겨간다.

1. 철학

evolution-mcp-to-skills에서 본 layer 위의 layer 패턴이 또 한 번 작동한다. Skills lazy loading이 자리 잡은 직후 새 압력 — skill을 누가 만드는가. 사람이 모든 skill을 만들 수 없다. 더 많은 skill이 필요한데 생산이 병목.

답이 가시화되는 frontier — RL/ML 기반 skill 자동 생성.

핵심 thesis 한 줄:

agent ecosystem의 다음 frontier는 skill을 생성하는 layer다. 이게 자리잡으면 — 사람의 자리가 strategic으로 더 옮겨간다.

이게 software-fundamentals-thesis (Matt) thesis의 연장. 사람=strategic, AI=tactical 경계가 또 한 번 위로 이동한다. RL 기반 skill 생성은 tactical을 또 한 단계 자동화. 사람은 어떤 skill이 필요한가를 정하고, AI는 그걸 어떻게 만들지를 학습한다.

그러나 production maturity가 낮다. ⚠️ AI 추정 — 학술 결과는 빠르지만 production 도달은 12% 미만 (research-to-production-gap). 학내 segment에서 지금 바로 채택은 risk.

2. 추상 작동 구조

Skill 생성의 진화 단계

각 단계가 사람의 자리를 strategic으로 더 옮긴다. 학내 marketplace v1.0은 ① ② ③까지가 적절. ④ ⑤는 진화 hook만 박아둠.

Layer 위의 layer 패턴 — 또 한 번

evolution-mcp-to-skills에서 본 layer 위의 layer 패턴이 다시 작동. Skills lazy loading 위에 skill 생성 layer가 추가, 그 위에 governance layer가 다음 frontier로 등장 가능.

세 흐름의 비교

⚠️ AI 추정: AutoSkill이 production maturity 가장 높음. Markdown 출력이 해석 가능하다는 게 결정적. WebRL/SkillRL은 black box 문제로 비개발자 segment 적합도 낮음.

Production maturity 평가

학내 marketplace v1.0은 Manual + Template + AI-assisted까지. 이게 production maturity 70% 이상의 안전 영역. 그 위는 진화 hook만.

3. 약점

Trap 1 — Reward function 정의의 어려움

무엇이 좋은 skill인가를 정의하기 어렵다. accuracy? user satisfaction? token efficiency? — 다 trade-off. 학내 segment에서 reward 정의는 더 어려움 (use case 다양). 이게 RL 기반 자동화가 production 도달 어려운 결정적 원인.

Trap 2 — Production maturity 낮음

학술 결과는 빠르지만 production 도달은 12% 미만 (research-to-production-gap). demo는 작동, 실사용은 깨짐 패턴. 학내 segment에서 지금 바로 채택은 risk. ⚠️ AI 추정: 2026~2027에 production maturity 50% 도달 가능, 2028 이후 80%.

Trap 3 — Cold start 문제

AutoSkill은 사용 데이터가 있어야 작동. 새 marketplace는 데이터 부족 → AutoSkill 작동 X. 답: manual + template으로 시작, 데이터 쌓이면 AutoSkill 추가. v1.0이 데이터 수집까지 의식해야 하는 이유.

Trap 4 — 생성된 skill의 품질 보증

자동 생성은 깨진 skill 만들 가능성. 학내 marketplace에서 깨진 skill이 사용자 경험 깸. 답: governance layer 필요. ⚠️ AI 추정: 이게 다음 frontier — skill governance 표준. 현재 부재.

Trap 5 — Black box 문제

RL로 학습된 행동은 해석 어려움. 사용자가 왜 이 skill이 작동하는지 이해 못 하면 trust 떨어짐. 비개발자 segment에서 특히 결정적. AutoSkill의 Markdown 출력은 해석 가능, RL은 더 멀음. 학내 marketplace는 해석 가능한 자동화까지가 적절.

Trap 6 — Reproducibility 문제

같은 데이터에서 학습해도 다른 skill 나올 수 있음. 학내 marketplace에서 공유 가능한 skill이 매번 달라지면 ecosystem 형성 X. 답: AutoSkill 결과를 사람이 review하고 고정 skill로 박기. 자동화의 반자동 단계 — 완전 자동화는 v2.0 이후.

Trap 7 — Skill 과잉생산의 trap

자동 생성으로 skill이 너무 많아지면 — token 부담이 다시 폭증. lazy loading만으로 부족. 결국 frontier-tool-gateway-and-compression의 gateway가 더 결정적이 됨. 자동 생성이 자동 정제를 호출.

4. 대안 흐름

자동화 대신 다른 방향들:

⚠️ AI 추정: 학내 segment의 v1.0은 AI-assisted authoring + curated catalog 조합이 적절. AutoSkill은 v2.0 이후, RL은 그 이후.

집합지능 vs 자동화의 trade-off

skill 품질의 두 출처:

• 집합지능 (rating, review, fork) — 사람들이 고른다. transparency 높음
• 자동화 (RL, AutoSkill) — algorithm이 만든다. scale 가능

⚠️ AI 추정: 집합지능이 더 빠른 학내 marketplace 채택 path. 자동화는 scale 단계에서 추가. 작은 segment에서 자동화의 비용 (cold start, governance)이 효익보다 큼.

5. 인사이트

5.1 Skill 생성의 자동화는 사람의 자리를 strategic으로 옮긴다

Manual → Template → AI-assisted → AutoSkill → RL. 각 단계마다 tactical이 자동화. 사람은 어떤 skill이 필요한가만 정하고, 어떻게 만들지는 점점 자동화. software-fundamentals-thesis thesis의 연장. 학내 marketplace의 진화 끝은 — 사람이 segment 정책만 정하고 나머지 자동화. v1.0은 그 path의 시작점.

5.2 AutoSkill은 Worse is Better의 다음 단계

사람이 skill을 완벽히 만들 필요 없음. 사용 데이터에서 대충 추출, 사용하면서 진화. 완벽한 skill을 기다리지 말고 ecosystem에 던지기가 더 빠름. worse-is-better thesis가 skill 생산에 적용된 사례.

5.3 학내 marketplace는 cold start 문제 — Manual부터 시작

AutoSkill은 사용 데이터 필요. 새 marketplace는 데이터 부족 → AutoSkill 작동 X. v1.0은 Manual + Template + AI-assisted까지. 데이터 쌓이면 AutoSkill 추가. 이 단계 진화를 처음부터 design. v1.0의 측정 hook이 v2.0 AutoSkill의 학습 데이터.

5.4 자동 생성 skill의 품질 보증이 governance layer를 호출

깨진 skill이 ecosystem 들어오면 사용자 경험 깸. 답: governance layer (rating, review, automated test). 이게 다음 frontier (⚠️ AI 추정). 학내 marketplace v1.0에 governance hook만 박아두기 — 빈 자리도 박아두는 게 reversibility.

5.5 Black box 문제 — 비개발자 segment에서 결정적

RL로 학습된 행동은 해석 어려움. 비개발자가 왜 작동하는지 이해 못 하면 trust 떨어짐. 학내 marketplace에서 해석 가능한 skill이 결정적. 답: AutoSkill의 Markdown 출력이 해석 가능. RL은 더 멀음. 학내는 Markdown 자동 생성까지가 적절. 해석 불가능한 자동화는 비개발자 segment에서 채택 안 됨.

5.6 Reproducibility 문제 — 공유성과 충돌

같은 데이터에서 다른 skill 나올 수 있음. 학내 marketplace에서 공유 가능한 skill이 매번 달라지면 ecosystem 형성 X. 답: AutoSkill 결과를 사람이 review하고 고정 skill로 박기. 완전 자동화 X — 반자동이 적절. 사람이 gate. AI는 제안.

5.7 학내 segment의 reward function은 token efficiency + accuracy

• 일반 reward 후보: accuracy, user satisfaction, token efficiency, latency
• 학내 segment의 결정적 reward: ⚠️ AI 추정 — token efficiency + accuracy. 1000 req/day quota가 강한 제약
• v1.0에서 measurement hook을 박아두면 reward 정의가 가능해짐. 이게 진화의 데이터 자리

5.8 ML/RL은 덮어쓰는 layer가 아니라 위의 layer다

AutoSkill, RL은 MCP/Skills/lazy loading을 대체하지 않음. 위에서 skill을 생성. 아래 layer는 그대로. evolution-mcp-to-skills의 layer 위의 layer 패턴 직접 적용. 학내 marketplace에서 — fundamentals layer (MCP, Skills)는 안정, RL은 위에서 옵션. 위 layer를 나중에 추가해도 아래는 영향 X.

5.9 Production maturity 낮으면 anti-corruption layer로 격리

RL 기반 skill 생성은 production maturity <10%. 직접 채택 X. 그러나 받아들일 hook은 둠. anti-corruption layer로 격리해서, RL 답이 production 도달하면 흡수 가능. design-principles reversibility 직접 적용. 미래의 frontier를 기다리는 자리를 비워두는 design.

5.10 집합지능이 자동화보다 빠르다 — 학내 segment에서

• 집합지능 (rating, review, fork): production maturity 100%. cold start 강함. transparency 높음
• 자동화 (RL, AutoSkill): production maturity 낮음. cold start 약함. black box

학내 marketplace의 v1.0은 집합지능 우선. 자동화는 scale 단계에서. 작은 segment에서 자동화의 비용 (cold start, governance)이 효익보다 큼. 이게 ⚠️ AI 추정의 가장 강한 결론 중 하나.

5.11 Skill 과잉생산이 다음 frontier를 호출

자동 생성으로 skill이 너무 많아지면 — token 부담 폭증. lazy loading만으로 부족. 결국 gateway + 자동 정제 layer가 결정적이 됨. 자동 생성이 자동 정제를 호출하는 mechanism. v1.0에서 skill 생성 hook과 skill 정제 hook을 짝으로 의식.

6. 다음으로의 연결

이 노트로 ③ Frontier의 skill 생성 영역이 박혔다. ③ 마지막 sub-노트:

• frontier-acp-and-agent-as-server — multi-agent 시대의 layer
  • ACP — agent ↔ client 표준. JetBrains/Zed/Neovim 등 25+ client
  • agent-as-MCP-server — agent 자체를 tool로 노출. multi-agent 호출
  • 이 layer가 학내 segment에 언제 필요한가의 평가

이게 박히면 ③ Frontier 완성. 그 다음 ④ Synthesis (5 옵션 trade-off)로 — 모든 lens가 모이는 자리.

참조

• Anthropic AutoSkill — Claude Code의 skill 추천 기능 (⚠️ 정식 공개 자료 기반)
• WebRL 학술 — Web task 기반 RL agent
• ⚠️ AI 추정: SkillRL — skill execution 최적화 학술 방향
• research-to-production-gap — 12% production 도달의 thesis
• software-fundamentals-thesis — Matt thesis (사람=strategic, AI=tactical)
• Anthropic Skills 자체 — 자동 생성의 Markdown 출력 적합도

연결:

• evolution-mcp-to-skills — layer 위의 layer 패턴. 이 노트는 그 다음 layer
• frontier-tool-gateway-and-compression — gateway가 자동 정제 layer를 호출
• worse-is-better — AutoSkill이 Worse is Better의 skill 생산 적용
• postels-law-and-robustness — RL 출력의 Markdown 관대함이 해석 가능성
• design-principles reversibility — RL을 anti-corruption layer로 격리하는 hook
• research-to-production-gap — production maturity 평가의 직접 사례