요즘 회사 내에서 사이드로 디자인 하네스 시스템 구축 연구를 하고 있는데 그 과정에서 들었던 생각을 정리해봅니다.

LLM 모델들의 성능이 나날이 발전하면서, 관련 정보들이 난무하는 시대입니다. AI는 불과 1 ~ 2년 사이에 제가 일하는 방식을 거의 다 바꿔 놓았습니다. AI Agent는 분명 제게 주어진 아주 훌륭한 도구이고, 매일 도움을 받고 있습니다.

그런데 'AI Native'라는 트렌드 아래 많은 것들이 왜곡되고 있는 현실이 좀 걱정스럽기도 합니다.

딸깍 한 번이면 정말 다 되는걸까요?#

LLM으로 그럴듯한 결과물을 만들어내는 일이 너무 쉬워졌습니다. 요구사항 몇 자만 대충 끄적여도 LLM은 근사한 무언가를 만들어냅니다. 그나마 본인의 전문 분야와 관련된 일을 시키는 거라면 다행입니다. 만들어진 것을 직접 검수할 수 있으니까요.

진짜 문제는 전문 분야가 아닌 일을 시킬 때입니다. AI의 결과물은 반드시 검토를 받아야 하는데, 정작 내가 모르는 영역에서는 그것을 확인할 길 자체가 없습니다. 전문가라면 단번에 짚어낼 허점도, 문외한의 눈에는 그저 멀쩡한 결과물로 보일 뿐이죠.

LLM은 애초에 일을 완벽하게 해내는 도구가 아니라 비결정적인 시스템입니다. 같은 프롬프트, 같은 모델, 같은 입력이어도 출력은 매번 달라집니다. 그래서 전문적이고 복잡한 영역일수록 전문가의 개입은 반드시 필요합니다.

AI를 잘 쓰는 사람과, 본인이 잘 모르는 일을 AI에게 시켜놓고 잘 됐다고 믿는 사람은 다릅니다. 그런데 우리는 자주 이 둘을 헷갈립니다.

저는 인간 개개인의 능력은 현재의 LLM 컨텍스트 윈도우에 다 담을 수 있는 것이 아니라고 생각합니다. 한 사람이 한 분야에서 수년간 쌓아온 지식과 오감으로 얻은 경험, 판단 능력은 프롬프트 몇 줄로 옮겨 담기에는 너무 큽니다. 근 미래에도 어려울 것이라고 조심스럽게 말하고 싶습니다. AI로 모든걸 해낼 수 있다 말하는 분위기는 한편으로 인간이 오랜 시간 갈고닦아온 것들을 너무 과소평가하는 것 같기도 합니다.

저는 AI에 반대하는 사람이 아닙니다. 주니어 개발자로서 GPT를 바라보는 관점 에서도 적극적으로 받아들이자고 얘기했었고, 당연히 그 생각은 지금도 변함없습니다.

다만 AI를 잘 쓰는 것과 전문성을 부정하는 것은 다른 이야기라고 생각합니다. AI는 우리의 능력을 확장해주는 도구이지, 각 분야의 전문가가 쌓아온 노력을 딸깍 한 번으로 해내는 마법이 아닙니다. (아직은요.)

디자인 하네스를 만들면서 현재 LLM 에이전트의 한계를 느끼다보니 이런 글이 적고 싶어지더라구요.