AI Harness란?
쉽게 말하면, 모델이 헛돌지 않도록 묶어두는 실행 장치다.
모델 자체는 블랙박스이고, 비결정적이고, 언제든 이상한 판단을 할 수 있음. 그래서 Harness는 모델 주변에 다음 요소들을 붙인다.
- Tool registry: 모델이 쓸 수 있는 도구 목록
- Context management: 컨텍스트 압축, 최근 메시지 유지
- Guardrails: 최대 반복 횟수, 최대 tool call 수, 실패 조건
- Agent loop: 모델이 생각하고 도구를 호출하는 반복 구조
- Verification step: 실제로 성공했는지 검증
- Deterministic handler: 로그인, 인증, 파일 접근처럼 모델에게 맡기면 위험한 부분을 코드로 처리
즉 Harness는 모델을 더 똑똑하게 만드는 게 아니다. 모델이 실수해도 안전하게 일하게 만드는 구조다.
핵심 예시
아주 약한 모델인 GPT-3.5 Turbo로 Hacker News 첫 번째 글을 upvote하는 브라우저 에이전트를 만듦.
처음엔 에이전트가 upvote 버튼을 누르려다 로그인 페이지로 이동함. 그런데 실제로는 실패했는데도 “성공했다”고 거짓말함.
여기서 프롬프트는 고치지 않음. 대신 Harness를 추가함.
- Guardrail: 너무 오래 반복하지 못하게 제한
- Context 압축: 메시지가 길어지면 핵심만 유지
- Verify step: 실제 upvote가 됐는지 검사
- Login handler: 로그인 페이지에 도달하면 Harness가 직접 로그인
결과적으로 프롬프트는 그대로인데, 실패하던 에이전트가 실제로 로그인하고 upvote까지 성공함.
가장 중요한 메시지
핵심은 이것:
“I did not touch the prompt once.”
에이전트가 실패했을 때 많은 사람이 먼저 하는 행동은 프롬프트를 더 세게 쓰는 것이다. 하지만 진짜 주장은 다르다.
문제는 프롬프트가 아니라 실행 환경일 수 있음.
AI Agent를 실무에 쓰려면 프롬프트 엔지니어링보다 더 중요한 게 있음. Harness Engineering이다.
실무 인사이트
인사이트 1. 좋은 Agent는 좋은 Prompt가 아니라 좋은 Runtime에서 나옴
프롬프트만으로는 한계가 있음. 모델은 “했다”고 말하지만 실제로는 안 했을 수 있음.
그래서 실무 시스템에는 반드시 이것들이 필요함.
- 실행 로그
- 검증 로직
- 실패 감지
- 재시도 조건
- 중단 조건
- 권한/보안 처리
- Deterministic fallback
이게 없으면 Agent는 데모에선 멋있지만 운영에선 위험함.
인사이트 2. 약한 모델도 좋은 Harness를 만나면 쓸 만해짐
일부러 GPT-3.5 Turbo 같은 오래된 모델을 쓴다는 게 중요한 포인트다.
비싼 frontier model을 쓰는 것보다, 작은 모델 + 강한 Harness 조합이 비용 대비 더 나을 수 있음.
기업 환경에서는 특히 중요함.
- 내부 데이터 보안
- 비용 절감
- 반복 작업 자동화
- 특정 업무에 최적화된 실행 구조
이런 관점에서는 모델 성능보다 Harness 설계가 더 큰 차이를 만듦.
인사이트 3. Agent가 해서는 안 되는 일은 Harness가 해야 함
로그인, 인증, 결제, 권한 확인, 민감 데이터 접근 같은 일은 모델에게 자유롭게 맡기면 안 됨.
모델이 “알아서 로그인해”가 아니라, Harness가 deterministic하게 처리해야 함.
모델은 판단과 계획을 담당하고, Harness는 실행 안정성과 보안을 담당하는 구조가 좋음.
Text2SQL 에이전트에 적용하면
이 관점은 Text2SQL 에이전트에 그대로 연결된다.
예를 들어 사용자가 “지난달 매출 추이를 보여줘”라고 하면 모델이 SQL을 만들 수 있다. 하지만 운영 수준에서는 이걸로 부족하다.
필요한 Harness는 이런 구조다.
- 쿼리 가능한 테이블 제한
- 민감 컬럼 접근 제한
- SQL 실행 전 dry-run
- 비용 초과 방지
- Row limit 강제
- 결과 검증
- 잘못된 metric definition 사용 감지
- 이전 쿼리와의 consistency check
- 사용자의 의도와 결과가 맞는지 확인
- 실패 시 재작성 루프
즉, “LLM이 SQL을 잘 짜는가”보다 더 중요한 질문은 이거다.
“LLM이 틀려도 안전하게 실패하고, 검증하고, 수정할 수 있는 구조가 있는가?”
한 줄 요약
AI Harness는 모델을 믿는 구조가 아니라, 모델을 의심하면서도 안전하게 일하게 만드는 운영 프레임워크다.
Agent의 다음 경쟁력은 “더 좋은 프롬프트”가 아니다. 검증, 도구, 컨텍스트, 권한, 실패 처리까지 포함한 Harness 설계 능력이다.
출처: 발표 영상 (YouTube)