AI 시대에 내가 어떤 경쟁력을 가져야 할까 라는 막막함이 있으시면 이번 주말을 이용해 한 번 시도해보시길 추천드립니다. - 코딩 에이전트로 - 내가 잘 알고 전문성이 있는 분야의 주제를 잡아 - 아무 프로덕트나 워크플로우를 하나 만들어보기 - 전문성이 날카로운 영역일수록 좋음 - 특히 ‘추론’ 과 해석이 많이 들어간 영역일수록 좋음 그 과정에서 무엇을 봐야 하냐면 - 기본적으로 LLM은 모르는 지식이 없다고 가정하는 게 맞지만 - 모델은 지시하는 사람이 주는 맥락과 방향, 그리고 지시 전략에 따라 천차만별인 답변을 내놓을 수 있습니다 - 정답이 비교적 '정해진', 즉 결정적인 (deterministic) 성격이 강한 업무에는 일정한 퀄리티를 충족하는 답변을 내놓지만 - 추론이나 해석의 여지에 따라 미묘하게 답이 갈리는 업무에서는 질문자의 의도를 다소 과하게 수용합니다 - 즉, 이런 분야에서 모델의 의견을 밀면 모델은 별다른 저항 없이 밀립니다 그런데 해석이 다양하거나 미묘한 추론을 요구하는 영역에서는 모든 의견을 다 수용하는 태도로는 가치를 생산할 수 없습니다. 그래서 흔히 고부가가치의 업무는 '암묵지' 내지 '전문성'에 의존합니다. 애초에 암묵지가 쉽게 해석될 수 있는 영역은 그 지식의 수요자가 높은 가치를 지불하지 않을 테니까 당연한 말이겠죠. 이 암묵지를 evaluation 을 통해 결정적 펑션으로 바꾸어 나가는 방법을 아는 게 현재 전문성을 가장 레버리지하기 좋은 방법일 테고요. 이 과정에서 느껴지는 점은 - 모델이 발전하면서 암묵지가 사라지는 속도가 꽤 빠르다 - 그런데 동시에 모델이 질문자의 의도에 따라 너무 의견을 빠르게 수정하는 경향이 있다보니 결국 워크플로우는 그 워크플로우를 설계하고 이용하는 사람들의 전문성 따라 (적어도 현재는..) 상방이 막힌다 - 질문자의 의도를 어떻게 해석해서 얼마나 수용할지는 alignment 의 문제이기도 하니 엄청 빠르게 사라질 영역은 아닐 것 같다 (개인적 의견입니다) 그리고 계속해서 해결해야 하는 과제는 - AI로 특정 태스크가 완료되지 않는 이유가 내 부족한 전문성 때문일까, 모델의 성향내지 능력 때문일까, 혹은 내가 짜 둔 하네스나 워크플로우의 불완전함 때문일까를 끊임없이 고민하기 (알기 정말 어렵더라고요) - 프론티어 모델들을 밀어붙여보며 능력과 한계를 계속 체화하기 - 하나의 프론티어 모델의 과거와 현재를 비교해보며 능력의 변화 속도 체감해보기 정도가 있겠네요. 저는 이 과정을 통해 무엇을 할 수 있을까 조금씩 감을 잡아가는 과정에 있습니다. 어디까지나 현재 기준이고 어느 순간 이런 고민조차도 무색하게 만드는 초지능이 등장할 때가 찾아오겠지만요