TEAM BRIEFING · 대본 17분 + 질문 · 전 인원
우리가 만들고 써 온 llm-wiki-governance 이야기 —
왜 필요하고, 어떻게 발전했고, 어떻게 잘 쓰는가.
왜 필요한가 · THE PROBLEM
코드는 계속 바뀌는데 설명서는 옛날 그대로 → 결국 거짓말하는 설명서가 된다.
만들기 귀찮아서, 결국 아무도 열어보지 않는다.
챗GPT·Claude는 똑똑해도 ‘우리 회사’는 백지 상태. 설명서가 없으면 헛다리를 짚는다.
사람이든 AI든, 좋은 설명서가 있어야 일을 잘합니다.
한 문장 정의 · WHAT IT IS
아무리 똑똑한 신입(=AI)도 첫날엔 우리 회사를 모릅니다. 그래서 인수인계 매뉴얼을 주죠. llm-wiki가 바로 그 매뉴얼을 대신 정리해 주는 사서(司書) 로봇입니다.
빈 종이에 처음부터 쓰지 않게, 문서 뼈대를 생성.
“이 설명은 코드와 안 맞아요, 확인하세요”라고 알려줌.
AI 초안엔 사람 확인 전 딱지를 붙이고, 비밀번호 같은 위험 정보가 섞였는지 검사.
어떻게 지식을 주입하나 · HOW
프로젝트의 CLAUDE.md가 AI에게 “코드 고치기 전 위키부터 읽어라”라고 지시.
화면·기능·업무 규칙, 그리고 왜 그렇게 결정했는지까지 담는다.
모든 설명을 실제 코드 위치와 연결 → 헛소리(환각)가 줄어든다.
사람이 확인한 지식과 AI 초안을 구분한다.
verified needs_review핵심 개념 · 신뢰 딱지 (TRUST)
새 문서·수정은 자동으로 이 상태가 된다.
needs_review내용이 코드와 맞는지 사람이 확인 — 문지기 역할.
이제 믿고 쓰는 지식으로 승격.
verified검토 전까지는 계속 ‘확인 전’으로 남아 리포트에 표시됩니다. → AI가 쓴 걸 무턱대고 믿지 않게 하는 안전장치.
핵심 개념 · 근거 (EVIDENCE)
근거 없는 문서
결제 기능은 안전합니다.
진짜? 어디를 보고? → 믿기 어렵다.
근거 있는 문서
결제 기능은 안전합니다. (근거: src/payment.js 42번째 줄)
사실로 뒷받침 → 사람·AI 모두 신뢰.
그래서 코드가 바뀌면 “그 근거 낡았어요”라고 콕 집어줄 수도 있습니다. → 헛소리(환각)가 줄어든다.
사용 방법 · CLI · API · MCP
일하는 엔진은 하나. 그 엔진에 들어가는 ‘입구’가 셋일 뿐 — 손님만 다르고 답은 같습니다.
터미널에 명령어 타이핑. 예: llm-wiki validate → 사람이 읽는 리포트.
다른 프로그램이 코드로 호출(자동화). 예: PR마다 자동 검사 → 데이터로 답.
AI가 표준 규격(USB)으로 호출. 예: “위키 상태 어때?” → 읽기 전용 데이터.
→ 셋 다 같은 명령 · 같은 엔진 · 같은 답. 입구(부르는 방법)만 다릅니다.
MCP 자세히 ① · 어떻게 동작하나
예전엔 (1.6 이전)
AI가 사람 흉내 → 터미널에 명령 치고, 나온 글자를 읽어 해석. 지저분하고 실수가 잦음.
MCP로는 (1.6~)
AI가 도구에게 직접 물어봄 → 깔끔한 데이터로 답. (보고서 재타이핑 ❌ / 엑셀 바로 사용 ✅)
🔒 열려 있는 건 읽기/확인 18개뿐 — 파일을 바꾸는 명령은 0개. AI가 들여다볼 순 있어도 절대 못 고칩니다. read-only
MCP 자세히 ② · 서버는 어디에?
프로그램 설치본이 올라가 있는 곳. 여기서 한 번 내려받는다(내려받기 0.5MB 남짓, 풀면 1.6MB).
그 파일을 내 PC에서 실행한 것. AI 앱을 켜면 잠깐 돌고, 끄면 꺼진다.
인프라 0 · 관리 0 · 인터넷 노출 0. 휴대폰 계산기 앱처럼 열면 켜지고 닫으면 꺼집니다.
왜 지금 중요한가 · VALIDATION
세 가지 성공조건을 모두 하고 있고, 세 번째(측정)도 이제 실제 LLM 실측(N=3)으로 첫 결과를 냈습니다 — 뒷부분에서 수치를 봅니다. BCG ‘AI 전환’ 다큐멘터리 참고
한 걸음 더 · 1.16 · 새 이름 & 방향
설치 이름이 llm-wiki-governance로. 옛 이름은 이걸 가리키도록 정리했고, 명령어는 그대로 llm-wiki.
단순 문서 표준이 아니라, AI가 쓴 문서를 검증·드리프트 감지·CI로 강제하는 거버넌스 도구로 자리매김.
전 세계 팀이 쓰도록 안내·프롬프트를 영어 우선으로 정렬. 기능·안전장치는 그대로.
여러분이 바꿀 건 설치할 때 쓰는 이름 하나뿐 — 나머지 사용법은 동일합니다.
우리가 지켜온 것 · PRINCIPLES
함부로 파일을 안 쓰고, 비밀정보 탐지는 절대 못 끈다.
외부 라이브러리 0개 → 가볍고 보안 위험이 적다.
새 기능은 늘 ‘추가만’ — 기존 사용법을 안 깨뜨린다.
이 도구로 우리 문서를 관리한다(만든 사람이 먼저 쓴다).
큰 변경은 사람이 먼저 범위를 승인하고 진행한다.
실무 · 작업 한 사이클
“이 화면 만들어줘”
AI가 관련 문서부터 확인
우리 맥락에 맞게 구현
바뀐 내용 문서화
needs_review통과하면 확정
verified↺ 그리고 다시 처음으로 — 이 사이클이 계속 돌면 문서가 항상 최신으로 유지됩니다.
최근 능력 · 1.15 · 1.18 · 1.19
‘우리 방식’ 작업 절차를 AI가 버튼처럼 실행. 도구는 절차를 만들어 주고, 실행은 AI가 한다.
매번 코드를 통째로 다시 읽는 대신 필요한 문서만 검색해 가져온다 → 더 빠르고 저렴.
“코드는 바꿨는데 위키는 안 고쳤다”를 자동 점검. 근거도 ‘기계 확인 vs 사람 확인’ 단계로 구분.
앞의 작업 사이클을 더 빠르게 돌리고, 빠뜨리면 잡아내는 장치들입니다.
왜 우리에게 이득인가 · BENEFITS
새 동료(사람·AI)가 문서를 보고 바로 일한다.
우리 회사 맥락을 알고 작업 → 엉뚱한 결과가 줄어든다.
낡으면 자동으로 콕 집어 알려준다.
담당자가 떠나도 지식은 남는다.
올바른 사용법 ① · 위키가 있는 프로젝트
현재 (좋음, 하지만 아쉬움)
…를 만들어줘. 기능은 A, B, C. 구축된 llm-wiki 확인 후 작업해줘.
작업이 끝나면 위키는 그 순간 낡아버립니다. 갱신을 안 시키면 ‘거짓말하는 설명서’가 다시 생겨요.
이렇게 (한 줄 추가)
…를 만들어줘. 기능은 A, B, C. 1) 먼저 llm-wiki(관련 문서)를 읽고 컨벤션대로 작업. 2) 끝나면 관련 문서도 갱신하고, 새로/바뀐 건 needs_review 로 남겨줘.
작업 + 문서 갱신을 한 세트로 — 이게 핵심입니다.
올바른 사용법 ② · 위키가 없는 프로젝트
이 패키지는 ‘보고 베끼는 견본’이 아니라 ‘실행하는 도구’예요. 참고만 시키면 AI가 제멋대로 흉내 내서 형식이 안 맞고, 나중에 검사에서 오류가 납니다.
이렇게 — 도구를 실제로 ‘실행’시키기
llm-wiki를 새로 구축해줘. 1) 다음 명령을 실제로 실행: npx llm-wiki-governance quickstart --write --agent claude 2) 코드를 읽고 각 문서를 실제 근거로 채워줘. 3) 채운 내용은 needs_review 로 남겨줘.
“참고해서 흉내” → “도구를 실행해 뼈대 만들고 코드로 채우기”
실무 요약 · CHEAT SHEET
자주 묻는 질문 · FAQ
아니요 — 각자 PC에서 필요할 때만 돌고 꺼집니다. 인프라·관리·비용 0.
MCP는 읽기 전용. 파일 변경은 사람이 시킬 때만 일어납니다.
네 — Cursor·Copilot·Gemini 등 여러 도구용 설정을 지원합니다.
민감정보를 자동으로 검사하고, 이 안전장치는 절대 끌 수 없습니다.
정말 도움이 되나 · 실측 3-ARM 통제 실험 (REAL-LLM · N=3)
소스를 직접 읽는 쪽보다 입력 토큰 약 41% 절감, 정확도도 소폭 우위(0.978 vs 0.910).
✔ 토큰↓ · 정확도↑같은 도구를 내용만 비운 위키에 붙이니 위키가 아예 없을 때보다 토큰 +14%, 정확도는 제자리(0.911).
! 이득의 원인은 도구가 아니라 내용그래서 진짜 자산은 ‘유지된 내용’입니다 — 낡은 위키를 믿게 한 이전 실험에선 보안 관련 오답이 나왔고, 그걸 막는 게 drift·사람 검토(verified)입니다. 외부 Vue/Quasar 앱 1개 · Claude Opus 4.8 · 태스크 6개 · N=3 · 채점은 에이전트(기준은 사람 표본 비준) · 6개 중 1개는 조회가 3.17배로 패 — 보편적 속도 주장이 아닌, 스코프가 한정된 결과.
발전 스토리 ① · 1.0 → 1.27
발전 스토리 ② · 1.28 → 1.31 · 가장 최근
마무리 · TAKEAWAY
AI는 단순한 도구가 아니라,
일하는 방식을 바꾸는 것입니다.
정답을 찾기보다 계속 배우고 시도하며 현장에서 임팩트를 만든다.
우리는 이미 그 길 위에 있습니다 — 안전하게, 한 걸음씩.