AGI, 생각보다 빠르진 않을 것 같다 - 5개월 직접 다뤄본 진단

올해 1월쯤만 해도 "특이점이 곧 온다" 분위기가 강했어요. Claude Opus 4.6 이 나오면서 "이 속도면 AGI 임박" 같은 톤이 커뮤니티 / 보도 / 투자 시장에 다 깔렸습니다. 저도 그 분위기에 어느 정도 동의했고요.

근데 5개월 정도 AI 와 함께 꽤 많은 일들을 해보니 생각이 좀 바뀌었습니다. 영원히 안 온다는 얘기가 아니라 생각보다 빠르진 않을 것 같다 정도의 진단입니다.

AGI 가 뭔지부터

AGI 는 Artificial General Intelligence 의 약자로, 우리말로는 범용 인공지능 이라고 합니다. 정의가 사람마다 좀 다른데, 대체로 이렇게 정리됩니다:

• 인간이 할 수 있는 대부분의 지적 작업 을 인간 수준 또는 그 이상으로 수행
• 특정 분야 (체스, 바둑, 번역 등) 에 한정되지 않고 일반적인 지능
• 새로운 환경 / 문제에 스스로 적응 하고 학습 가능
• 일부 정의는 자율적 의사결정 / 의지 까지 포함

지금 ChatGPT, Claude 같은 LLM (대형 언어 모델) 은 언어 작업 에 특화된 도구입니다. 코딩, 글쓰기, 번역, 요약 같은 영역에서는 강한데, 인간 지능의 전부 를 커버하지는 못해요. AGI 는 전부를 커버하는 단계 라고 보시면 됩니다.

용어로 특이점 (Singularity) 도 비슷한 맥락에서 자주 쓰이는데, 이건 AI 가 자기 자신을 개선해서 인간 통제를 벗어나는 시점 을 가리킵니다. AGI 와 약간 다른 개념이지만 임박론 분위기에서는 자주 같이 쓰이는 단어.

1. 연초 분위기와 5월의 차이

1월~2월 분위기를 만들었던 자료들:

• Opus 4.6, Codex 5.3 출시 후 코딩 / 추론 성능 비약
• Anthropic Dario Amodei 의 "2027 강력한 AI" 글
• OpenAI Sam Altman 의 "AGI 임박" 톤 지속
• "Software 3.0 이 시작됐다" 카파시 강연 (Sequoia 2026)
• DeepSeek-R1 / GRPO 류 추론 모델의 등장

이런 자료가 누적되면서 "몇 달 안에 큰 변화" 분위기가 형성됐어요. 저도 그렇게 봤습니다.

5개월 직접 써본 후 변한 점:

• 모델이 고르지 못함 (jagged) 이 매일 체감됨
• 10 만 줄 리팩토링은 잘 하는데 단순한 일은 의외로 못 함
• 직관 이 빠지는 영역에서 자주 망함
• "방대한 도서관" 같지 지능의 새 차원 은 아님

이게 카파시가 고르지 못한 지능 (jagged intelligence) 으로 표현한 부분입니다. 모델은 검증 가능한 정도 × 학습에 들어간 노력 × 학습 데이터 풍부도 가 높은 영역에서만 빠르게 늘어요. 그 밖에서는 의외로 평범하거나 못합니다.

2. 두 종류의 위험을 분리해야 함

AGI 임박 논의에서 자주 혼동되는 두 카테고리가 있어요.

A. LLM 의 자율 의지 (SF 시나리오)

• 모델이 스스로 목표를 형성
• 인간이 안 시킨 행동을 주도적으로 실행
• 자기 보존 / 권력 확장 동기
• Skynet, HAL 9000 류

이건 현재 LLM 에서 전혀 관찰되지 않는 시나리오입니다. 카파시 표현으로 "유령이지 동물이 아님 (ghosts, not animals)" -> 생물학적 동기, 신체화된 생존 압박, 내재 동기 자체가 없어요. LLM 이 "의지" 를 가진 것처럼 보이는 출력 을 내도, 그건 학습 데이터의 의지 패턴을 모방한 것일 뿐. 의지의 모방이지 의지 자체가 아닙니다.

B. 인간이 정한 목표의 정교화

• 인간이 정한 목표 (사기, 해킹, 생화학 무기 정보 등)
• LLM 이 그 목표를 더 효율적으로 달성하게 도움
• LLM 자체는 도구
• 위험 주체는 그걸 쓰는 인간

Anthropic 의 오용 (misuse) 우려, EU AI Act 의 고위험 (high-risk) 분류, 각종 AI 안전성 논의는 다 B 카테고리예요. "AI 가 위험" 이 아니라 "AI 로 인간이 더 위험해질 수 있음".

왜 자주 혼동되는가

A 가 클릭이 더 많이 받습니다. "AI 가 인류 위협" 헤드라인이 "AI 도구로 사기 정교화" 보다 자극적이니까요. 그리고 A 로 프레임하면 책임이 분산됩니다 - "AI 가 한 거" 가 되니까요. 투자 / 규제 명분 만들기도 쉽고요.

3. Mythos 사례 - 정확히 B 카테고리

올해 4월 7일 Anthropic 이 공개한 Mythos 가 좋은 예시입니다.

사실 정리

• 주요 운영체제와 웹 브라우저 전부 에서 알려지지 않은 보안 취약점 (zero-day) 발견 능력
• OpenBSD (운영체제 중 하나) 의 27년 묵은 결함을 빠르게 찾아냄
• Anthropic 이 "공개하기에 너무 위험하다" 판단해 일반 공개 거부
• Project Glasswing - Apple, Amazon, JPMorgan, Palo Alto Networks 등 일부 미국 기업에만 한정 공개
• OpenAI 가 직후 GPT-5.5-Cyber 발표 (사이버 보안 특화 모델)
• Trump 행정부 차원의 규제 검토 시작

의지인가 정교화인가

표면적으로 "AI 가 너무 강해져서 위험" 으로 들리는데, 실제 메커니즘 보면:

• LLM 이 스스로 취약점 찾자고 결정한 게 아님
• 인간이 "취약점 찾아라" 라는 목표를 부여
• LLM 이 그 목표를 기존 모델보다 빠르고 정교하게 달성
• 목표 / 동기 / 의지의 주체는 전부 인간

즉 정확히 B 카테고리. AI 의 의지 가 아니라 인간의 목표를 빠르게 처리하는 도구.

보안 전문가들의 진단

Scientific American 기사에 인용된 Peter Swire (조지아공대 보안 전문가) 의 평가:

"Mythos 가 드러낸 위험은 기존 (구형) 모델로도 달성 가능한 자료. AI 가 취약점 찾는 속도를 가속하지만, 회사들이 패치하는 데 며칠~몇 주 걸리니까 격차가 벌어지는 것."

"모든 사이버 디펜더가 Mythos 를 진지하게 받아들여야 하지만, 디펜스에 대한 예상 피해는 최악 시나리오가 시사하는 것보다 훨씬 낮을 가능성이 크다."

즉 질적으로 새로운 위험이 아니라 양적으로 가속된 기존 위험. AGI 임박 시나리오가 아니라 기존 위협의 정교화.

David Sacks (실리콘밸리 인사) 의 반응도 흥미로워요:

"Mythos 의 사이버 위협을 진지하게 받아들여야 하지만, Anthropic 이 공포 마케팅의 역사를 갖고 있다는 점을 무시하기 어렵다."

Anthropic 의 오용 위험 우려가 진심 일부 + 마케팅 일부 + IPO 직전 브랜딩 의 결합일 가능성을 짚는 자료.

4. LLM 의 본질 - 빠른 도서관, 느린 뉴럴 엔진

LLM 성능이 아무리 좋아져도, 인간 뉴럴 엔진 의 본질적 특성과는 다른 차원이라고 봅니다.

LLM 은 방대한 도서관에 빠른 접근 의 도구입니다. 인간이 도서관을 가진 것과는 다른 차원이에요. 도서관에 의지 가 있는 건 아니고, 도서관을 잘 검색하는 도구 가 있을 뿐.

이게 고르지 못한 지능 의 본질이라고 봐요. 도서관에 있는 자료에 대해서는 빠르고 정확한데, 도서관에 없는 직관 / 신체화된 경험 / 새 상황의 적응 영역에서는 평범하거나 못함.

5. AGI 의 전제 조건

카파시 강연의 Software 3.0 분류:

• Software 1.0: 사람이 명시적 코드 작성
• Software 2.0: 신경망 가중치로 학습
• Software 3.0: LLM 을 프롬프트 / 컨텍스트로 프로그래밍

현재 Software 3.0 이 시작됐고, 사실 아직 초기 단계입니다. 컨텍스트 윈도우 / 도구 사용 / 에이전트 오케스트레이션 같은 자료가 정착되는 중이에요. 근처도 못 옴 이라고 하기에는 시작은 됐고, 겉만 돌고 있다 정도가 더 비슷할 듯 합니다.

AGI 가 가능하려면 Software 4.0 같은 새 패러다임이 필요하지 않을까 봅니다. LLM 의 고르지 못한 부분을 메우는 하드웨어 + 소프트웨어 결합 의 새 개념. 예측은 어렵다고 봅니다. 5년 안에 나올 수도 있고, 20년 걸릴 수도 있고.

6. 비슷한 진단을 하는 다른 사람들

이런 시각이 저만의 것은 아닙니다. 학계 / 산업 일부도 비슷한 생각을 하는 흐름입니다:

• Yann LeCun (Meta AI 수석): 지속적 주장 - "LLM 만으로는 AGI 안 됨. 세상에 대한 모델 (world model) 이 필요"
• Karpathy: 고르지 못한 지능 + 유령, 동물 아님 프레임
• Gary Marcus (인지과학자): "LLM 의 규모 확장만으로는 한계 명확. 새 구조가 필요"

반대 진영도 있어요:

• Anthropic Dario Amodei: 2027 강력한 AI 가능 주장
• OpenAI Sam Altman: 임박한 AGI 주장 지속

흥미로운 패턴은, 직접 모델 다루는 사람일수록 보수적 인 경향이 있다는 거예요. 멀리서 마케팅 메시지를 받는 입장 일수록 임박론에 동조. 이게 어떤 의미인지는 각자 판단할 부분입니다.

7. 그래서 어떻게 살 것인가

3개월 직접 다뤄본 후 제 결론은:

• AGI 임박론 에 너무 휘둘리지 말 것
• 다만 AGI 안 옴 단정도 하지 않음 (예측은 어렵습니다)
• B 카테고리 위험 (Mythos 류) 은 진짜고, 이미 시작됨
• A 카테고리 위험 (자율 의지) 은 현재 LLM 에서 안 보임
• 본인 일상 / 건강 / 가족이 결국 우선

직장 / 직업 / 미래에 대한 걱정도 비슷합니다. AGI 가 곧 와서 다 바뀐다 가설로 살면 합리적 의사결정 자체가 무의미해져요. 그렇다고 AI 영향 없을 것 가정도 위험. 중간 - 변화는 있지만 점진적이고, 그 안에서 본인 좌표를 만드는 자세가 합리적이라고 봅니다.

8. 한 가지 메타 코멘트

이 글은 현재 시점의 제 진단 이에요. 1월 제 시각이 5월에 수정된 것처럼, 5월 제 시각도 8월에 수정될 수 있습니다. 예측 글의 한계입니다.

다만 직접 다뤄보고 조사한 진단 은 마케팅 / 보도 / 컨퍼런스 자료 만 보고 만든 진단과는 다른 방향일 가능성은 있어요. 본인이 매일 고르지 못한 지능을 만나는게 데이터 베이스가 되니까요.(물론 제가 잘 못써서 그럴 수도 있습니다)

3개월 후, 6개월 후, 1년 후의 진단이 어떻게 바뀔지 본인도 궁금합니다. 다만 생각보다 빠르진 않을 것 같다 라는 생각이 크게 틀리지 않았으면 하는 바람도 있습니다.

출처

• Anthropic Mythos 관련 사실: CNBC (2026-05-08), The Hill, Scientific American, Dark Reading 보도 (2026-04)
• Peter Swire, David Sacks 인용: Scientific American, The Hill 기사
• Andrej Karpathy "Sequoia Ascent 2026 summary", karpathy.bearblog.dev (2026-04-30)
• Karpathy "Animals vs. Ghosts" (본인 블로그)
• LeCun / Marcus / Amodei / Altman 입장: 각자 공개 발언 기준