@cjunekim 책이라는 매체의 장점은 살리면서 요즘 드러나는 한계를 보완할 방법까지 주신 데서 깊은 고민이 느껴졌습니다. 특히 마지막 장의 ‘여러분 속에 이미 주체인 게 있습니다’라는 말씀에서는 코칭을 받은 것처럼 힘이 났습니다. 더 잘 배우기 위한 틀을 세울 수 있게 해 주셔서 감사합니다. #야생학습
사회생활을 하며 마주한 일상이 저자가 말하는 '야생'과 같은 환경이라고 동감함과 동시에, AI시대에 그 '야생'이 더 거칠고 무서워지고 있음을 체감하는 요즘입니다. 책은 이 불확실성의 시대를 헤처 가기 위해 어떻게 잘 배우고, 실천하고, 체화할 수 있는지를 이야기하고 있습니다. 그리고 그 내용은 과학적 근거기반으로 쓰였고, 형식은 저자가 수십 년간 본인의 삶으로서 증명해 온 철학을 담고 있습니다. 책의 말미에서 저자는 학습에서의 주체성을 이야기합니다. 이어서 우리 속의 주체를 잘 꺼내야 한다고 말합니다. 저는 이 대목에서 책의 제목이 '야생 학습'이지만 '야생에서 살아가기'와 다르지 않다고 느꼈습니다. 물론 '야생'을 대하는 방식, 생존하는 방식은 여러 가지가 있을 것입니다. 그런데 자신만의 한 걸음을 딛고 싶은 분이라면, 이 책이 아주 좋은 길잡이가 될 것이라고 생각합니다. #야생학습
@cjunekim 야생학습 프롬프트로 뭐든 잘하게 될 삶의 치트키를 얻었습니다. 요즘은 키워드가 아니라 구체적인 상황적 맥락을 넣거나, 키워드를 찾는 형태로 써보고 있네요. 더해서 시뮬레이션을 경험하다보니, 채용 면접 구조도 전부 바꿔보고 있습니다. 삶이 드라마틱하게 변하고 있어요 #야생학습#구독중
AI 시대 시험은 어떻게 바뀌어야 할까?
여기에 모순이 있다. 시험은 기본적으로 객관적 평가를 필요로 한다. 즉, 채점 루브릭스에 대해 해당 분야 전문가들의 합의가 가능해야 하고, 이 루브릭스는 점수별 구분이 확연해야 한다. 그런것들만 시험 문제로 내게 되어있다. 안그러면 항의가 쏟아질테니까. 그런데 문제는 이런 문항들일수록 AI가 잘 풀게 되어 있다는 것. 그래서 시험은 태생적으로 AI가 잘 풀 수 밖에 없는 것이다.
그런데 이런 말을 하는 사람들이 있다. AI가 잘 못푸는 문제를 내야하지 않냐고. 나이브한 생각이다. 본인이 직접 실험을 해봤는지 모르겠다. AI가 잘 못풀면서 동시에 시험문제의 자격을 갖는 문제 하나 만드는 게 얼마나 어려운지 말이다. 그래서 대안적으로 교육기관에서 그나마 시도하는 게 구술시험이라는, 시험문제를 바꾸는 게 아니라 시험형식을 바꾸는 거다. 물론 이것도 치팅의 여지는 무궁무진하다.
아직 교육계에서는 AI가 잘 못풀고 인간 전문가는 잘 풀면서 시험문제의 요건을 갖춘 문제들의 특징을 찾지 못한 것으로 보인다. 앞으로 교육계가 전력을 쏟아야 할 부분 중 하나라고 생각한다. 개인적으로는 IA(지력 증강) 능력을 측정하는 방향이 옳다고 생각한다. 물론 문제 만드는 건 정말 힘든 문제이긴 하다.
영어 학원에 등록하고 나서 오히려 영어 공부를 덜 하게 된 적 있나요?
AI 에이전트를 돌리면서 자기계발을 덜 하게 되는 것도 같은 이유에서입니다.
근거가 있습니다.
1. AI와 함께 문제를 푼 사람들이 어림한 자기 점수는 실제보다 후했습니다. AI를 잘 아는 사람일수록 더 빗나갔습니다. (알토대 연구)
2. 진도가 나갔다 싶으면 사람은 느슨해집니다. 한 실험은 다이어트 중인 사람들의 실제 진도는 그대로 두고 "많이 왔다"는 느낌만 바꿨습니다. 그 뒤 사과와 초콜릿 바 중 하나를 고르게 했더니, 초콜릿 바를 집은 비율은 그렇게 느낀 쪽이 85%, 아닌 쪽이 58%였습니다. (Fishbach & Dhar, 2005)
3. 끝냈다는 느낌은 구경만 해도 옮습니다. '대리 목표 포만(vicarious goal satiation)'이라고 합니다. 남이 과제를 끝내는 장면을 보고 나면, 같은 과제를 직접 할 의욕이 식습니다. (McCulloch 외, 2011)
에이전트로 직접 실험한 연구는 아직 못 봤습니다. 아래는 셋을 이은 제 해석입니다.
두 경우의 공통 고리는 2번, 가짜 진도감입니다.
학원에서는 출석이 진도감을 줍니다. "나는 영어 공부 중"이라는 안심이 생기고, 그 안심이 혼자 하는 공부를 밀어냅니다.
에이전트에서는 남이 끝낸 일이 진도감을 줍니다(3번). 긴 작업을 맡기고, 에이전트가 몇 시간씩 혼자 달리는 걸 지켜봅니다. 묘하게 뿌듯합니다. 뭔가 해내고 있고, 나도 자라고 있다는 느낌이 듭니다. 하지만 머리를 쓴 건 에이전트입니다. 게다가 AI와 함께 일할 때 우리는 자기 성적을 후하게 매기는 경향까지 있습니다(1번). 속으로는 "나 좀 하는데?" 싶어집니다.
학원은 그래도 내가 앉아 있기라도 합니다. 에이전트는 그조차 아닙니다.
그래서 저는 이걸 '대리 성장'이라고 부릅니다. 에이전트(agent)의 원래 뜻이 대리인이니까요. 대리만족처럼, 성장도 대리로 한 기분만 남습니다.
학원보다 알아차리기도 어렵습니다. 에이전트는 진짜 결과물을 내기 때문입니다. 그래서 "처리한 일이 늘었다"는 사실입니다. 착각은 그다음 걸음, "그러니 내 실력도 늘었다"입니다. 학원은 시험 한 번이면 들통나는데, 에이전트는 결과물이 계속 나오니 들통날 일도 없습니다.
에이전트를 쓰지 말자는 얘기가 아닙니다. 저도 매일 씁니다. 다만 같은 AI라도 대리인으로 쓰는 것과 코치로 쓰는 것은 다릅니다. 대리인은 내 일을 가져가고, 코치는 그 일을 하는 나를 키웁니다.
배움은 실전 한복판에서 일어납니다. 그 실전을 통째로 넘기면, 야생에 나간 건 에이전트고 나는 학원에 남습니다.
『야생학습』은 그 야생에 내가 남는 법에 관한 책입니다. 책에 딸린 프롬프트를 AI에 건네면, AI가 대리인이 아니라 학습 코치가 됩니다.
LLM 에이전트를 여러 개 띄워 답을 평균 내거나 다수결로 정하면 더 정확할 수 있다는 얘기가 있다. 군중의 지혜를 기계로 옮긴 셈이다. 사람 연구에서는 N이 클수록 정답에 근접하는 효과를 보인다. 근데 비교적 최근 연구에서 더 나은 구조가 나왔다. Navajas 외(2018)는 5,180명에게 수치를 맞히는 상식 문제를 각자 풀게 한 다음 5명씩 토론해 합의consensus 답을 내게 했다. 이 합의 답 4개만 합쳐도 수천 명의 개인 답을 모은 것보다 정확했다. 사람 실험이니 LLM에서도 같으리란 보장은 없다. 그래도 멀티에이전트를 짤 때는 몇 개를 띄울지보다 작은 그룹으로 나눠 토론시킨 뒤 그 결론을 어떻게 모을지를 먼저 실험할 만하다고 본다. 회사의 조직도를 그대로 옮기는 것보다는 근거 있는 출발점이다.
grok bot을 사용할 때 봇 하나만 데리고 쓰거나 혹은, 프로젝트별로 봇을 만들어서 쓰는 경우가 많다고 한다. 안타깝다고 생각한다. grok bot은 multi-agent orchestration 기술을 실험하고 훈련하기에 너무나도 훌륭한 환경이다. 자신에게 엉뚱하게 떠오르는 조직구조가 있다면 편견을 지우고 한번 적용해서 실험해 보라고 권하고 싶다.
에이전트로 회사를 구축한다는 얘기가 많다. 속을 들여다보면 인간조직사회의 구성을 그대로 옮겨놓은 경우가 많다. 일종의 naivism이라 생각한다. 정말 그럴까? 누가 검증해봤나? 멀티에이전트를 사람 회사처럼 구성하면 퍼포먼스가 더 좋다고? 나는 더 나은 방향이 있다고 생각한다. 전문성과 인지기능에 의한 구분이 힌트가 된다고 보는데...
GitHub에 올라온 에이전트 스킬 상당수는 효과가 검증된 적이 없고, 실제로 별 도움이 안 될 수 있다. 올해 나온 연구들이 이를 보여 준다. 공개 SWE 스킬 49개를 실제 저장소 과제에서 시험했더니 39개는 통과율을 전혀 올리지 못했고, 평균 향상은 +1.2%, 3개는 오히려 성능을 떨어뜨렸다(SWE-Skills-Bench). 공개 스킬 3만 4천 개 중에서 에이전트가 직접 골라 쓰게 하면, 조건이 현실에 가까워질수록 이득이 줄어 스킬이 없을 때와 비슷해진다(Liu 외). 토큰사용량 통계를 보면 스킬을 썼을때 400%가 넘는다. 그러나 잘 선발된 스킬의 통과율은 16%p 오른다. 스킬자체가 문제가 아니다. 검증 안된 스킬이 문제다. 심지어 네거티브 퍼포먼스까지 가능하다. 아무것도 안하는 것보다 못한 선택이 될 수 있다는 거다. 근데 이 스킬검증이라는 건, llm의 stochasticity 땜에 인간이 하기 어렵다. 그러므로...
제 야생 학습 책을 읽기만 했다면 저는 책을 절반만 읽은 거라고 생각합니다. 제 책은 단순히 읽히기 위해서가 아니라 AI와 함께 사용되기 위해 경험 설계되었습니다. 꼭 제공되는 프롬프트로 코치 스킬을 생성시켜서 학습해 보시길 권해요. 놀라운 경험을 하실거에요.
p.s. 오늘 책을 재쇄한다는 소식을 들었습니다. 관심과 성원에 감사드려요.
성공적인 사업가의 의사결정, 상황판단 같은 생각 방식에 대한 과학적 연구가 있을까? 그들을 차별화하는 공통점은 무엇이었을까? 그 연구 결과를 불확실성이 높은 상황에서 유리한 사고 전략으로 생각하면 어떨까? 그걸 우리 자신의 업무 영역에 적용한다면? https://t.co/U2dztLAWvp