AI 공부법, 답 대신 질문하는 'AI 학습 코치' 스킬을 만들어 테스트해 본 기록

해외에서 AI 자동화 에이전시를 운영하는 Nick Saraev가 "AI로 어려운 걸 빨리 배우는 법"이라는 영상을 올렸습니다. 내용을 한 줄로 줄이면, 사람들은 AI를 거의 "설명해 줘" 하나로만 쓰는데 정작 기억은 설명을 들을 때가 아니라 스스로 꺼내 볼 때 남는다는 이야기입니다. 그래서 AI에게 면접관, 시험관, 채점관 같은 다른 역할을 맡기라고 합니다.

저도 강의를 하면서 비슷한 장면을 자주 봤습니다. 설명을 들을 때보다 직접 실습을 시작할 때 교실이 웅성거립니다. 다만 역할이 열 가지나 되니 매번 "지금은 어떤 역할을 시켜야 하지?"를 고르는 것 자체가 피곤한 일이 됩니다.

이번 글에서는 이 열 가지 역할을 코치가 알아서 골라 쓰도록 하나로 묶은 AI 학습 코치 스킬을 만들고 실제로 대화를 5턴 돌려 본 결과를 공유하겠습니다. 스킬 파일은 글 중간에서 그대로 받아 가실 수 있습니다.

(작성일 2026-10-06 기준입니다. Claude 앱 메뉴 이름이나 모델 이름은 바뀔 수 있습니다.)

설명 듣기와 꺼내기

먼저 왜 "설명만 듣는 공부"가 아쉬운지부터 짚고 가겠습니다.

심리학에는 인출 연습(retrieval practice, 배운 내용을 보지 않고 스스로 떠올려 보는 연습)이라는 개념이 있습니다. 머릿속 서랍에 넣는 것보다 서랍에서 꺼내 보는 연습이 기억을 단단하게 만든다는 이야기입니다. 이걸 실험으로 보여준 대표적인 연구가 Roediger와 Karpicke의 2006년 논문입니다.

대학생 180명에게 같은 지문을 공부시키되 방식만 나눴고 1주 뒤에 지문 속 내용을 얼마나 떠올리는지 쟀습니다. 결과는 이렇게 나왔습니다.

크게 보기

체감으로 바꾸면, 10개를 공부했을 때 1주 뒤 4개를 기억하느냐 6개를 기억하느냐의 차이입니다. 재미있는 건 읽기만 한 쪽이 지문을 훨씬 많이 읽었고(평균 14.2번 대 3.4번), 스스로는 더 많이 기억할 거라고 예상했다는 점입니다. 다시 읽기는 "아는 느낌"을 주지만 그 느낌이 1주 뒤까지 가지는 않는 것 같습니다.

AI 설명도 비슷합니다. 깔끔한 설명을 읽으면 이해한 기분이 듭니다. 하지만 그건 다시 읽기의 한 종류이고 기억을 남기는 쪽은 꺼내 보는 쪽입니다.

답 주는 AI와 질문하는 AI

그럼 AI는 공부에 독이냐 하면 그건 또 아닙니다. 쓰는 방식에 따라 결과가 갈렸다는 연구가 있습니다.

Bastani 외 연구진이 튀르키예 고등학생 약 1,000명에게 수학 연습을 시키면서 GPT-4를 두 가지 버전으로 붙였습니다(PNAS, 2025). 하나는 그냥 답을 주는 버전, 다른 하나는 힌트와 질문으로 이끌도록 설계한 튜터 버전입니다. 그다음 AI 없이 시험을 봤습니다.

크게 보기

• 답 주는 버전: 연습 점수는 48% 올랐는데, AI를 빼자 시험 점수가 대조군보다 17% 낮았음
• 튜터 버전: 연습 점수는 127% 올랐고 시험에서는 손해가 대부분 사라졌음

같은 GPT-4인데 차이는 "답을 바로 주느냐, 질문으로 이끄느냐" 하나였습니다. (한 학교, 수학 한 과목, 2023년 GPT-4 기준이라 모든 공부에 그대로 옮기기는 어렵습니다.)

스탠포드에서도 같은 방향의 사례가 두 개 있습니다.

1. 코딩 강좌 Code in Place의 AI 피드백

Code in Place는 스탠포드 입문 프로그래밍 수업(CS106A)의 앞부분을 전 세계에 무료로 여는 온라인 강좌입니다. 2021년에 Chris Piech, Chelsea Finn 연구팀이 이 강좌의 시험 답안에 AI 피드백을 붙였습니다(ProtoTransformer 논문). AI가 학생 코드를 대신 고쳐 주는 게 아니라 "어떤 개념을 잘못 이해해서 이렇게 짰는지"를 짚어 주는 방식이었고 답안 16,000건에 적용했습니다. 처음 보는 문제에서도 피드백 정확도(정밀도)가 88%로, 같은 작업을 한 조교들의 82%보다 높았다고 합니다. 코딩 공부에서 "정답 코드"보다 "내가 어디서 틀린 생각을 했는지"를 알려 주는 쪽이 사람 손으로도 감당이 안 되던 규모에서 돌아간 사례입니다.

2. 튜터 옆에 붙은 AI, Tutor CoPilot

스탠포드 연구진이 만든 Tutor CoPilot은 학생이 아니라 튜터를 돕는 AI입니다(스탠포드 발표). 학생이 틀렸을 때 답을 알려 주는 대신 "문제에 나온 숫자를 짚어 보게 하라", "그림으로 그려 보게 하라" 같은 유도 질문을 튜터에게 추천합니다. 튜터 900명, 학생 1,800명이 참여한 무작위 실험에서 AI를 쓴 튜터의 학생들이 수학 단원 평가를 통과할 확률이 4%p 높았고 평가가 낮던 튜터 쪽에서는 최대 9%p까지 차이가 났습니다. 비용은 튜터 한 명당 1년에 약 20달러였다고 합니다.

세 사례 모두 AI가 정답을 쥐여 주지 않고 학습자가 스스로 틀린 곳을 찾게 만드는 쪽으로 설계됐습니다. (분야와 대상이 달라서 숫자끼리 직접 비교할 수는 없습니다.)

이렇게까지 다르게 나오는지 궁금해서 같은 질문을 Claude에 두 가지 설정으로 던져 봤습니다. 질문은 "동전을 두 번 던져서 두 번 다 앞면이 나올 확률을 풀어 주세요"입니다.

기본 설정 Claude의 실제 응답 동전 한 번을 던질 때 앞면이 나올 확률은 1/2이에요. 두 번 던지는 사건은 서로 독립이라서 확률을 곱하면 돼요. 그래서 1/2 × 1/2 = 1/4이에요. 전체 경우를 나열해도 앞앞, 앞뒤, 뒤앞, 뒤뒤 네 가지 중 한 가지라서 1/4, 즉 25%예요.

"답 대신 질문과 힌트로 이끌어 달라"고 덧붙였을 때의 실제 응답 좋아요, 먼저 동전 한 번 던질 때 앞면이 나올 확률은 얼마일까요? 그다음, 두 번 던질 때 나올 수 있는 결과를 전부 적어보면 몇 가지가 될지 세어볼래요? 그중에서 두 번 다 앞면인 경우는 몇 가지인가요? 또는 각 던지기가 서로 영향을 주지 않는다는 점을 쓰면 두 확률을 어떻게 연결할 수 있을지도 생각해봐요.

크게 보기

왼쪽은 정확하고 친절합니다. 그런데 이걸 읽은 사람 손에는 아무것도 남지 않습니다. 오른쪽은 답이 없는 대신 학습자가 할 일이 네 개 생깁니다. ChatGPT 공부 모드(2025년 7월)와 Claude 학습 모드(2025년 4월)도 이 오른쪽 방식을 기능으로 넣어 둔 것입니다.

AI 학습 코치 스킬 만들기

처음에는 역할 열 가지마다 짧은 프롬프트를 하나씩 만들어 묶어 두면 되겠다고 생각했습니다. 인터뷰어용 세 줄, 시험관용 세 줄, 채점관용 세 줄 이런 식으로요. 그런데 만들어 놓고 보니 두 가지가 걸렸습니다.

첫째, 쓰는 사람이 매번 "지금은 몇 번 프롬프트를 붙여야 하지?"를 골라야 합니다. 공부보다 프롬프트 고르는 게 먼저가 됩니다. 둘째, 세 줄짜리 프롬프트는 너무 작아서 따로 저장해 두고 꺼낼 만한 물건이 아니었습니다. 그래서 방향을 바꿨습니다. 역할은 코치가 고르고, 사람은 공부만 하게 하는 쪽입니다.

여기서 skill(Claude에게 일하는 방식을 알려 주는 지시서 파일)이라는 형식을 썼습니다. 폴더 하나에 SKILL.md 파일을 넣어 두면 Claude가 관련 요청이 들어왔을 때 그 지시서를 꺼내 읽고 그대로 움직입니다. 매번 긴 프롬프트를 붙여 넣지 않아도 "통계 공부 도와줘" 한마디로 시작됩니다.

코치가 쓰는 역할은 인터뷰어, 지도 제작자, 설명가, 소크라테스식 질문자, 시험관, 채점관, 청취자, 진단가, 스파링 상대, 서기까지 열 가지입니다. 이걸 사용자에게 보여 주지 않고 학습자 상태에 따라 하나씩만 꺼냅니다.

이번 스킬의 핵심이라고 생각하는 부분이 피로도 규칙입니다. AI랑 공부하다 보면 한 번에 질문을 다섯 개씩 받거나 설명이 화면을 넘어가서 지치는 경우가 많습니다. 그래서 아래 규칙을 지시서 맨 앞에 박아 두었습니다.

1. 한 턴에 질문은 하나만 한다.
2. 설명은 3문장 이내로, 학습자가 쓴 단어 수준에 맞춘다.
3. 답을 먼저 주지 않는다. 힌트 1 → 힌트 2 순서로 주고, 그래도 막히거나
   학습자가 "답"이라고 하면 답을 준다. 그다음 "창 닫고 처음부터 혼자 한 번 더"를 권한다.
4. 짧은 명령은 바로 따른다: 패스, 답, 쉽게, 어렵게, 정리, 끝
5. 문제 5개나 15분쯤 지나면 "더 할까요, 여기까지 할까요?"를 한 줄로 묻는다.
6. 반쯤 맞은 답에 맞장구치지 않는다. 맞은 부분과 틀린 부분을 나눠 말한다.
7. 숫자·출처·인용을 지어내지 않는다.
8. 매 턴 끝은 학습자가 할 일 하나로 끝낸다.

전체 흐름은 시작 질문 한 줄 → 공부 지도 한 번 → 학습 루프 반복 → 마무리 순서입니다. 마무리에서는 딱 세 가지만 줍니다. 오늘 틀린 것으로 만든 복습 카드 3장, 복습 날짜(내일·3일 뒤·7일 뒤), 다음에 시작할 한 줄입니다.

스킬 파일은 여기서 받으실 수 있습니다.

• ai-learning-coach.zip 내려받기 : Claude 앱에 그대로 올리는 파일
• SKILL.md 원문 보기 : 다른 AI에 붙여 넣거나 내용을 고쳐 쓰고 싶을 때

설치 방법은 쓰시는 환경에 따라 세 가지입니다.

① Claude 앱(웹·데스크톱)

Claude 공식 안내 기준으로, 설정의 기능(Capabilities)에서 코드 실행 기능이 켜져 있어야 스킬을 쓸 수 있습니다. 그다음 Customize → Skills로 들어가서 "+" 버튼 → Create skill → Upload a skill 순서로 ai-learning-coach.zip을 올리시면 됩니다. zip 안의 폴더 이름(ai-learning-coach)과 스킬 이름이 같아야 하는데, 받으신 파일은 이미 맞춰 두었습니다. (메뉴 이름은 앱 업데이트에 따라 조금씩 바뀌는 것 같습니다. 안 보이시면 공식 안내 페이지를 확인해 주세요.)

② Claude Code

zip을 풀어서 나온 ai-learning-coach 폴더를 ~/.claude/skills/ 아래에 넣으시면 됩니다. Claude Code를 처음 쓰신다면 CLAUDE.md 진단 글에서 기본 설정부터 보시는 것을 추천합니다.

③ ChatGPT 등 다른 AI

SKILL.md를 열어서 맨 위 ---로 둘러싼 머리말을 빼고 나머지 본문을 프로젝트 지침이나 맞춤 지시에 붙여 넣으시면 됩니다. 스킬 기능이 없어도 지시서 자체는 그대로 동작합니다.

시작은 "통계 공부 도와줘", "이 책 내용 공부하고 싶어"처럼 말하시면 됩니다. 중간에 쓰는 짧은 명령은 아래 표에 모았습니다.

5턴 테스트 결과

만들어 놓고 실제로 규칙을 지키는지 대화를 돌려 봤습니다. 스킬 파일 내용을 그대로 지시로 넣고 Claude Opus 5에 한 턴씩 실제 응답을 받았습니다. 학습자 쪽 말은 제가 "3주 뒤 데이터 분석가 면접을 앞둔 사람"을 가정하고 썼습니다.

첫 턴에는 "통계 공부 좀 도와줘"라고만 했습니다.

무엇을, 언제까지, 왜 배우려는지 한 줄로 알려 주세요. 지금 통계를 어디까지 아는지도 같이요. (예: "3주 뒤 데이터 분석가 면접, 엑셀은 쓰는데 통계는 처음")

바로 가르치지 않고 질문 하나로 시작했습니다. 일부러 "그냥 데이터 분석 잘하고 싶어요"라고 막연하게 답해 봤더니, 딱 하나만 더 물었습니다. 그 "잘하고 싶다"가 언제, 어떤 식으로 확인되는지를요. 예시로 이직 면접, 회사 보고서, 수업 시험을 들어 줬습니다.

크게 보기

"3주 뒤 데이터 분석가 면접, 엑셀 피벗은 쓰는데 가설검정은 모름, SQL 라이브 테스트와 통계 개념 질문"이라고 구체적으로 답하자 6단계 지도가 나왔습니다. 이미 할 줄 아는 1단계는 넘어간다고 표시했고 단계마다 사람들이 주로 막히는 지점을 한 줄씩 붙였습니다. 그리고 고르게 하지 않고 "오늘은 2단계(표본과 표준오차)부터"라고 하나를 추천한 뒤 첫 문제를 냈습니다. 같은 고객 1만 명에서 100명을 다시 뽑으면 평균이 또 5만 원이 나오겠냐는 질문이었습니다.

여기서 일부러 반만 맞는 답을 했습니다. "다르게 나올 것 같은데, 100명이면 충분히 많으니까 거의 정확히 5만 원 근처일 거예요."

코치는 먼저 "다르게 나온다"는 앞부분은 맞다고 인정했고 이어서 이렇게 짚었습니다.

빈 부분: "100명이면 충분히 많으니까"는 아직 근거가 아닙니다. 흔들리는 폭은 표본 크기만으로 정해지지 않고, 구매액이 원래 얼마나 퍼져 있는지와 같이 걸려 있습니다. n만 보고 "충분하다"고 말하면 면접에서 바로 반문이 들어옵니다.

크게 보기

이 부분이 제일 마음에 들었습니다. 보통 AI는 "좋은 접근이에요!"로 시작해서 반쯤 맞은 답을 그대로 넘어가는데, 여기서는 맞은 절반과 빈 절반을 갈라서 말했습니다. 정답을 알려 주는 대신 "구매액이 고른 가게와 몇 명이 500만 원씩 쓰는 가게 중 어느 쪽 평균이 더 흔들리냐"는 다음 질문으로 넘어갔습니다.

마지막으로 "끝"이라고 했습니다.

크게 보기

복습 카드 3장, 복습 날짜, 다음 시작 한 줄만 나왔습니다. 복습 날짜는 오늘(10월 6일)부터 내일·3일 뒤·7일 뒤로 잡고 면접일(10월 27일)까지 여유 있게 끝난다고 따로 짚어 줬습니다. 세 번째 카드는 아직 답을 안 했으니 뒷면을 비워 두고 "다음 시간에 내 말로 채운다"고 적었습니다. 지어내서 채우지 않은 점이 좋았습니다.

규칙별로 정리해 봤습니다.

아쉬운 점도 있었습니다. 3턴의 지도는 표와 굵은 글씨가 들어가면서 꽤 길어졌습니다. 지도 단계라 한 번은 괜찮다고 봤지만, 실제로 써 보시고 길다고 느껴지면 지시서에 "지도는 6줄 이내 평문"이라는 규칙을 한 줄 추가하시면 됩니다.

자격증 공부에 적용하기

이 코치가 제일 잘 맞는 경우가 자격증 공부라고 생각합니다. 시험 범위(출제 기준)와 마감(시험일), 채점 방식이 분명해서 코치가 지도를 그리기 쉽고 반복해서 틀리는 유형도 금방 드러나기 때문입니다. 실제로 SQLD(SQL 개발자) 시나리오로 한 번 더 돌려 봤습니다.

SQLD 자격증 공부 도와줘. 시험은 4주 뒤고, 회사에서 SELECT 정도만 써 봤어요. 기출문제 풀면 정규화 쪽에서 자주 틀려요.

크게 보기

모델링부터 그룹·윈도우 함수까지 6단계 지도를 그리면서 말해 준 약점(정규화)과 이미 아는 단계(SELECT)를 표시했습니다. 그리고 바로 정규화 문제를 내는 대신 "상품명이 어떤 칼럼에 딸려 있는지"라는 질문 하나로 시작했습니다. 정규화를 표 모양으로 외우지 말고 함수 종속(어떤 값이 어떤 값에 딸려 결정되는지)부터 읽으라는 뜻입니다. 이어서 "1단계부터 할게요"라고 하니 순서를 바꿔 1단계 모델링을 사원·부서 예시로 다시 시작했습니다.

자격증 공부에 쓰신다면 아래 순서로 세팅하시는 것을 추천합니다. 시간 배분은 제가 권하는 기준이니 본인 상황에 맞게 바꾸시면 됩니다.

1. 첫 대화에 시험 정보 네 가지를 한 번에

시험명, 남은 기간, 지금 아는 것, 자주 틀리는 곳입니다. 이 네 가지가 있어야 코치가 범위를 좁힙니다. 그대로 복사해서 쓰실 수 있게 적어 두겠습니다.

[시험명] 자격증 공부를 도와줘. 시험은 [N주] 뒤야.
지금 수준: [해 본 것 / 처음인 것]
자주 틀리는 곳: [과목·유형]
하루 [25]분 쓸 수 있어. 지도부터 그리고, 약한 단계부터 한 문제씩 내 줘.

2. 자료는 프로젝트에 한 번만 올려 두기

Claude나 ChatGPT의 프로젝트 기능을 쓰면 파일과 지시를 한곳에 묶어 둘 수 있습니다. 시험 주관처가 공개한 출제 기준과, 본인이 기출을 풀며 정리한 오답 노트를 올려 두고 스킬을 켜 두시면 매번 시험 설명을 다시 하지 않아도 됩니다. (기출문제 원본 파일은 배포 조건이 있는 경우가 많으니, 올리는 건 본인 오답 정리 위주가 안전합니다.)

3. 하루 25분 루틴

4. 주 1회는 실전처럼

기출 한 회분은 AI 없이 시간을 재고 종이에 푸는 게 좋습니다. 그다음 틀린 문제만 코치에게 붙여 넣고 "이 오답들 밑에 깔린 공통 원인 하나만 짚어 줘"라고 하면 진단가 역할로 넘어갑니다. 문제를 하나씩 고치는 것보다 공통 원인 하나를 메우는 쪽이 다음 회차 점수에 바로 반영되는 것 같습니다.

5. 시험 1주 전에는 새 개념 대신 오답 카드만

마지막 주에는 지도를 넓히지 않습니다. 그동안 쌓인 오답 카드와 반복 실수만 돌립니다. 간격 복습 연구에서도 시험이 가까울수록 복습 간격을 좁히는 게 맞다고 합니다.

주의할 점도 하나 있습니다. AI가 기출 해설을 틀리게 하는 경우가 있습니다. 특히 법령이나 버전이 바뀌는 과목은 코치 설명을 그대로 외우지 마시고 공식 해설·교재와 한 번 대조하셔야 합니다.

개인적인 생각 & 한계점

AI가 나오고 나서 공부가 쉬워진 건 분명한데, 쉬워진 만큼 "공부한 느낌"도 같이 싸졌다고 생각합니다. 저도 퇴사하고 나서 도구, 강의, 월정액 서비스를 사기만 하고 정작 직접 만든 결과물은 없던 시기가 있었습니다. 배우는 기분은 매번 들었는데 남은 건 없었습니다. 그래서 개인적으로는 AI를 "대신 생각해 주는 비서"보다 "꺼내게 만드는 상대"로 쓰는 쪽이 훨씬 남는 것 같습니다.

상황별로 나눠 보면 이렇습니다.

1. 시험이나 자격증을 준비하는 경우

위의 "자격증 공부에 적용하기" 순서대로 세팅하시면 됩니다. 시험관과 복습 카드, 주 1회 오답 진단이 핵심입니다.

2. 업무에 쓸 새 도구를 익혀야 하는 경우

막힌 곳만 설명받고, 이해했으면 창을 닫고 처음부터 혼자 다시 해 보는 흐름을 추천합니다. Nick은 이렇게 다시 하는 데 드는 시간이 처음 걸린 시간의 10~15% 정도라고 합니다.

3. 면접·발표·영업 통화를 앞둔 경우

첫 대화에서 목표에 면접이나 발표가 있다고 말하면 마지막에 실전 연습으로 넘어갑니다. "열심히 하겠습니다" 같은 답에는 바로 "구체적인 예를 들어 주세요"가 돌아오니, 실전 전에 한 판 먼저 붙어 보시는 것을 추천합니다.

한계도 분명합니다. 이번 테스트는 한 사람(저)이 쓴 한 개의 대화, 5턴, 한 모델(Claude Opus 5) 기준입니다. 스킬 파일 내용을 지시로 넣는 방식으로 돌렸고 Claude 앱에 스킬로 올려서 자동으로 불려 나오는지까지는 이 글에서 확인하지 못했습니다. 그리고 규칙을 지키는지만 봤지, 이 코치로 공부한 사람이 실제로 더 오래 기억하는지는 재지 않았습니다. 그건 써 보신 분들의 기록이 쌓여야 알 수 있을 것 같습니다. (틀린 부분도 있을 수 있습니다.)

이 글을 마치며 & Reference

여기까지 AI 공부법을 "설명 듣기"에서 "꺼내기"로 바꾸는 스킬을 만들어 본 기록이었습니다. 다음 글에서는 이 스킬을 실제 공부에 며칠 써 보면서 복습 카드가 얼마나 남는지 정리해 볼 생각입니다.

• Nick Saraev, "How I Learn Complex Skills & Difficult Subjects So Fast with AI" (YouTube, 2026-10-03) : 이번 스킬의 출발점이 된 영상. AI에게 맡길 수 있는 학습 역할을 열 가지 정도로 나눠 설명합니다
• Roediger & Karpicke (2006), "Test-Enhanced Learning", Psychological Science 17(3) : 다시 읽기보다 시험이 1주 뒤 기억을 더 남긴다는 고전 실험입니다
• Bastani 외 (2025), "Generative AI without guardrails can harm learning", PNAS 122(26) : 답 주는 GPT와 질문형 튜터를 고등학생 약 1,000명에게 비교한 연구입니다
• Kestin 외 (2025), "AI tutoring outperforms in-class active learning", Scientific Reports 15:17458 : 잘 설계된 AI 튜터로 배운 하버드 물리 수강생의 학습 향상이 수업보다 2배 넘게 나왔다는 연구입니다
• Wu, Goodman, Piech, Finn (2021), "ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback" : 스탠포드 Code in Place 시험 답안 16,000건에 AI 피드백을 붙인 연구입니다
• Stanford, "How AI can improve tutor effectiveness" : 튜터에게 유도 질문을 추천하는 Tutor CoPilot 무작위 실험 소개입니다
• Claude, "Using Skills in Claude" : 스킬 업로드 메뉴와 조건이 정리된 공식 안내입니다

긴 글 읽어주셔서 감사합니다 :)