불방

AI 에이전트, 코딩·3D·영상에 대한 생각

AI 시대가 되면서 사회는 점점 더 편해졌다고 이야기된다. 많은 작업들이 자동화되고, 도구는 강력해졌으며, 개인이 감당해야 할 부담은 줄어든 것처럼 보인다. 그러나 현업에서 체감하는 현실은 반드시 그렇지만은 않다. 나는 현재 코딩, 3D, 영상 등 여러 분야를 동시에 다루고 있는데, 시간이 갈수록 공부해야 할 영역은 줄어들기보다 오히려 더 넓어지고 있다는 느낌을 받는다. 이 글은 그 이유에 대한 개인적인 고찰이다.

코딩에서 시작된 생산성 구조의 변화

코딩 분야는 AI 에이전트의 발전 속도가 가장 빠르게 체감되는 영역이다. 특히 단순히 코드를 작성하는 역할에 머무르는 사람들은 빠르게 대체되고 있다. 이는 어느 정도 필연적인 흐름이라 할 수 있다. AI는 구조적으로 자연어 → 코드, 코드 → 코드, 주석 → 구현이라는 흐름에 매우 잘 맞고, 이 구조는 LLM의 본질과 거의 완벽하게 일치한다. 그 결과 코딩은 생산성 측면에서 가장 빠르게 정복되고 있는 영역이 되었다. 

다만 여기에는 중요한 전제가 있다. 아키텍처, 설계, 구조, 즉 무엇을 만들 것인지와 그것을 어떻게 유지할 것인지는 여전히 인간의 영역이라는 점이다. AI는 코드를 잘 작성하지만, 프로젝트 전체를 관통하는 책임 있는 선택까지 대신해 주지는 못한다. 그럼에도 불구하고 이 변화는 분명한 사실 하나를 보여준다. 소수의 인원으로도 과거에는 불가능했던 규모의 프로젝트가 가능해졌다는 점이다.

왜 코딩 이야기에서 3D와 영상으로 넘어가는가

이 지점에서 자연스럽게 다음 질문이 생긴다. 그렇다면 코딩 외의 영역, 특히 3D와 영상은 어떨까. 처음에는 이 두 영역이 AI로 정복되기 어려운 분야라고 생각했다. 코딩이 텍스트 기반 구조라면, 3D와 영상은 성격이 전혀 다르기 때문이다. 3D는 공간, 수학, 물리의 영역이고, 영상은 시간, 연출, 감정의 영역에 속한다.

이러한 요소들을 자연어 프롬프트만으로 완전히 제어하는 것은 구조적으로 쉽지 않다. 여기서 한 가지 반론이 가능하다. 굳이 자연어로만 하려고 할 필요가 있느냐는 질문이다. 그렇다면 코딩을 하면 되는 것 아니냐, 수학적으로 접근하면 되는 것 아니냐는 반문도 가능하다.

하지만 이 반론은 현실적인 선택지를 전제하지 않은 질문에 가깝다. 3D와 영상의 모든 요소를 코드나 수학으로 직접 제어하려는 순간, 그것은 더 이상 창작이나 제작의 문제가 아니라 엔진 개발의 영역이 된다. 이는 개인이나 소수의 팀이 감당할 수 있는 범위를 명백히 넘어선다. 결국 우리가 선택할 수 있는 현실적인 인터페이스는 여전히 자연어이며, 문제는 자연어를 쓰느냐 마느냐가 아니라, 자연어라는 제한된 인터페이스로 복잡한 구조를 어떻게 다루느냐에 있다.

그래서 초기에는 3D와 영상은 여전히 인간의 영역으로 남을 것이라고 생각했다. 그러나 실제로 AI를 사용하며 작업을 진행해 보니, 이 생각에는 수정이 필요하다는 판단에 이르게 되었다. 특히 3D의 경우, 접근 방식에 따라 충분히 가능성이 보이기 시작했다.

3D: RTX 시대에도 남아 있는 최적화의 본질

3D에서 정교한 모델링 자체는 여전히 사람이 해야 할 영역이라고 생각한다. 하지만 실시간 환경에서 중요한 부분은 모델링 그 자체보다도 구조와 최적화다. 실시간 3D는 RTX라는 이름의 GPU가 등장했음에도 불구하고, 여전히 레이트레이싱(Ray Tracing)이 아닌 래스터라이제이션(Rasterization) 기반으로 동작한다. 레이트레이싱은 반사, 그림자, 글로벌 일루미네이션 등에서 보조적인 효과로 사용될 뿐, 실시간 렌더링의 본질을 대체하지는 못한다.

게임과 실시간 엔진에서 중요한 것은 얼마나 사실적인가가 아니라, 얼마나 빠르고 효율적으로 계산을 줄일 수 있는가다. 이 때문에 3D는 본질적으로 최적화의 학문에 가깝다. LOD, 노멀맵, 베이크드 라이트, 쉐도우 맵 같은 기법들이 여전히 핵심 기술로 남아 있는 이유도 여기에 있다. 이러한 요소들은 감각의 문제가 아니라 명확한 방법론과 로직의 영역이며, 대부분 노드 기반 시스템으로 구현된다.

바로 이 지점에서 AI의 역할이 보이기 시작한다. 정교한 손기술이 필요한 모델링은 사람이 담당하되, 방법론이 정해져 있는 최적화와 구조 설계 영역은 AI에게 맡기는 방식이 가능해진다. 다만 이를 위해서는 사람이 해당 로직을 이해하고 있어야 한다. 결국 3D에서도 필요한 것은 손재주가 아니라, 작동 원리와 최적화 구조에 대한 이해이며, 그래서 관련 지식을 공부해야 할 필요성이 생긴다.

영상: 최적화 이후에 남은 크리에이티브의 영역

영상 분야는 또 다른 방향으로 변화하고 있다. 현재의 컴퓨터 성능은 영상과 이미지 데이터를 처리하는 데 있어 이미 충분한 수준에 도달했다. 그 결과 영상 편집에서는 과거처럼 용량이나 연산 비용을 크게 고려하지 않아도 되는 환경이 되었다. 노이즈 제거, 합성, 색보정, 각종 필터와 플러그인을 거의 제한 없이 사용하는 것이 가능해졌다. (캡컷을 누가 욕하랴!)

이러한 변화는 영상에서 최적화의 중요성을 크게 낮추는 대신, 다른 요소를 부각시킨다. 기술적인 제약이 줄어든 만큼, 영상에서는 무엇을 보여줄 것인지, 어떤 리듬과 감정을 전달할 것인지에 대한 크리에이티브한 판단이 오히려 더 중요해지고 있다. 영상은 기술이 쉬워진 대신, 연출과 선택의 난도가 높아진 영역이 되었다.

결론: 왜 많은 분야를 공부해야 하는가

이 모든 흐름을 종합해 보면 하나의 결론에 도달하게 된다. 현대 사회는 분명히 편해졌지만, 그 편리함은 단순함과는 다른 방향으로 작동하고 있다. 도구와 AI가 강력해질수록, 개인 혹은 소수의 인원이 감당할 수 있는 프로젝트의 규모는 커졌고, 그만큼 여러 분야에 대한 이해가 필요해졌다.

코딩, 3D, 영상, 그리고 그 외의 다양한 영역을 공부하는 이유는 단순히 다재다능해지기 위함이 아니다. 개인 혹은 소수가 중대형 프로젝트를 수행할 수 있는 사회가 되었기 때문이다. 이 환경에서 중요한 것은 모든 것을 직접 잘하는 것이 아니라, 각 영역의 구조와 역할을 이해하고, 어디까지를 AI와 도구에게 맡길 수 있는지를 판단하는 능력이다. 결국 많은 분야에 대한 공부는 선택이 아니라, 현재의 생산성 구조가 요구하는 필연적인 조건이 되어가고 있다.

과거에는 판타지 장르를 좋아하는 사람들을 잘 이해하지 못했다. 비현실적인 서사를 즐기는 것도, 그런 형상과 세계를 좋아하는 것도 내 취향은 아니었다. 굳이 표현하자면 판타지는 나에게 다소 폐쇄적인 문화처럼 느껴졌다. 특정한 사람들만 공유하는 취향, 장르 안쪽으로 깊게 닫혀 있는 세계처럼 보였던 것이다.

그런데 최근 들어 공부를 핑계로 판타지 장르를 여러 매체로 접하고 있다. 영화로는 「반지의 제왕」을 다시 보게 되었고, 드라마는 「기묘한 이야기」를 인상 깊게 봤다. 게임에서는 「엘든링」을 오래 붙잡고 있었고, 아직 충분히 즐기지는 못했지만 「발더스 게이트 3」 역시 같은 흐름 위에 있는 작품이라는 생각이 든다.

결론부터 말하자면, 판타지는 내가 생각했던 것과 완전히 다른 장르였다. 정말로 정반대에 가까워서 스스로도 조금 놀랐다. 내가 느낀 판타지는 폐쇄적인 장르가 아니라, 오히려 열린 텍스트에 가까웠다.

판타지에서 작가들이 가장 공을 들이는 부분은 서사 자체라기보다는 세계관이다. 촘촘하게 설계된 세계관 안에서는 수많은 변수와 관계가 자연스럽게 생겨난다. 종족과 종족 사이의 관계, 정치와 종교, 역사와 생태계 같은 것들이 겹겹이 쌓이면서 그 세계만의 질서와 논리가 만들어진다. 이 과정에서 현실의 도덕이나 윤리 역시 그대로 옮겨지지 않고, 세계관에 맞게 다시 정의된다.

흥미로운 점은, 이처럼 세계는 복잡한데 서사 자체는 의외로 단순하다는 것이다. 판타지의 기본 구조는 여전히 선이 악을 물리치는 선형적인 이야기다. 하지만 점점 느끼게 된 건, 이 서사가 판타지의 목적이라기보다는 세계관을 작동시키기 위한 재료에 가깝다는 사실이었다.

이 세계 안에서는 선과 악이 항상 명확하게 나뉘지 않는다. 그래서 많은 판타지 작품들은 세계 전체를 위협하는 ‘절대악’이라는 존재를 설정한다. 전통적인 구조에서 절대악은 세계를 파괴하거나 지배하려는 역할을 맡고, 그 존재를 제외한 나머지 세력들은 각자의 이해관계를 안은 채로도 어쩔 수 없이 세계를 지키기 위해 엮이게 된다. 이 구도는 선악을 단순화하기 위한 장치라기보다는, 세계 안의 다양한 관계와 선택을 드러내기 위한 장치처럼 보인다.

판타지에서 저자의 메시지가 비교적 전면에 나서지 않는 이유도 여기에 있는 것 같다. 독자는 작가가 설정한 하나의 해석을 그대로 따라갈 필요가 없다. 대신 각자가 세계관의 빈틈을 들여다보고, 관계를 상상하고, 저마다의 방식으로 재창조된 세계를 음미한다. 그런 의미에서 판타지는 확실히 열린 텍스트에 가깝다.

이 특성을 가장 잘 보여주는 예가 D&D 기반의 TRPG일 것이다. 이 게임은 세계관과 규칙만 제공하고, 그 안에서 벌어지는 이야기는 플레이어에게 맡긴다. 서사는 미리 주어지는 것이 아니라, 매번 플레이 속에서 생성된다.

세계를 제공하되, 이야기는 강요하지 않는다.

여담이지만, 이런 특성 때문에 정치적 올바름(PC)이라는 외부의 강한 기준은 판타지 장르와 자주 충돌하는 것처럼 보인다. 판타지는 무엇보다 세계 내부의 논리와 자율성이 중요하게 작동하는 장르이기 때문이다. 외부의 기준이 과도하게 개입할 경우, 세계관 자체가 흔들리는 느낌을 주기도 한다. 아마도 이 지점에서 판타지 장르를 둘러싼 논쟁과 반발이 특히 크게 나타나는 게 아닐까 싶다.