lwvkorean0

경험의 시대에 오신 것을 환영합니다

  • Query successful

AI가 세 가지 주요 시대를 거쳐 발전해왔다고 설명하는 “경험의 시대”라는 글이 있습니다. 초기에는 “시뮬레이션 시대”가 있었고, 이어서 “인간 데이터 시대”가 있었으며, 현재는 AI가 경험을 통해 배우는 “경험의 시대”로 전환되고 있습니다.

1. 시뮬레이션 시대 (The Age of Simulation)

  • 이 시대의 AI는 명확한 보상 신호를 가진 시뮬레이션 환경에서 복잡한 작업을 숙달했습니다.
  • 강화 학습(RL) 시스템은 백개먼 , 바둑 , 체스 , 포커 , 스타크래프트 II , 도타 2 와 같은 게임에서 인간 수준 또는 그 이상의 성능을 달성했습니다.
  • AlphaZero와 같은 강력한 RL 에이전트는 신경망의 크기, 상호작용 경험의 양, 사고 시간의 지속과 함께 인상적이고 잠재적으로 무제한적인 확장성을 보여주었습니다.
  • 그러나 이 패러다임에 기반한 에이전트들은 시뮬레이션(명확하게 정의된 보상을 가진 폐쇄형 문제)과 현실(겉보기에는 제대로 정의되지 않은 다양한 보상을 가진 개방형 문제) 사이의 격차를 뛰어넘지 못했습니다.

2. 인간 데이터 시대 (The Era of Human Data)

  • 이 시대는 방대한 양의 인간이 생성한 데이터를 기반으로 AI를 훈련하고, 전문가의 인간 예시와 선호도를 통해 미세 조정함으로써 AI가 크게 발전했습니다.
  • 대규모 언어 모델(LLM)이 이 접근 방식을 대표하며, 시를 쓰거나, 물리학 문제를 풀고, 의료 문제를 진단하고, 법률 문서를 요약하는 등 광범위한 일반성을 달성했습니다.
  • 이 접근 방식은 인간의 많은 능력을 재현하기에 충분했지만, 수학, 코딩, 과학과 같은 주요 영역에서는 인간 데이터를 통해 추출할 수 있는 지식의 한계에 빠르게 도달하고 있었습니다.
  • 인간 데이터로부터 지도 학습에만 의존하는 발전 속도는 둔화되고 있었고, 새로운 접근 방식의 필요성을 시사했습니다.
  • 또한, 새로운 정리, 기술 또는 과학적 돌파구와 같은 가치 있는 새로운 통찰력은 현재 인간 이해의 경계를 넘어섰고 기존 인간 데이터로는 포착할 수 없었습니다.
  • 인간 중심의 LLM은 주로 사용자에게 텍스트를 출력하고 사용자로부터 텍스트를 입력받는 등 인간에게 특화된 행동과 관찰에 중점을 두었습니다.
  • 보상은 주로 인간의 사전 판단에 기반하여 최적화되었습니다.

3. 경험의 시대 (The Era of Experience)

  • 이 새로운 시대에서는 AI가 자체 경험, 즉 에이전트가 환경과 상호작용하면서 생성하는 데이터를 통해 지속적으로 학습함으로써 초인적인 능력을 습득할 것입니다.
  • 이 경험 시대의 특징은 다음과 같습니다:
    • 경험의 흐름 (Streams of Experience): 에이전트는 짧은 상호작용 조각이 아닌 지속적인 경험의 흐름 속에서 살아갈 것입니다. 정보가 전체 흐름에 걸쳐 전달되고, 행동은 과거 경험을 통해 스스로 수정하고 개선할 수 있도록 적응합니다.
    • 행동과 관찰 (Actions and Observations): 에이전트는 인간 대화에만 의존하는 대신 환경에 깊이 기반한 행동과 관찰을 가질 것입니다. 이는 에이전트가 세상을 적극적으로 탐색하고, 변화하는 환경에 적응하며, 인간에게는 결코 떠오르지 않을 전략을 발견할 수 있게 할 것입니다.
    • 보상 (Rewards): 보상은 인간의 선입견에서 오는 것이 아니라 환경 자체에서 발생하는 신호인 ‘접지된 보상(grounded rewards)’에 기반할 것입니다. 이러한 보상은 에이전트가 기존 인간 지식을 훨씬 뛰어넘는 새로운 아이디어를 발견할 수 있도록 해줍니다.
    • 계획 및 추론 (Planning and Reasoning): 에이전트는 인간적 용어로만 추론하는 대신 경험에 대해 계획하고/하거나 추론할 것입니다. 이는 에이전트가 현실에 기반을 두고 가정에 오류가 있는지 테스트하며, 인간 사고의 현재 지배적인 방식에 국한되지 않는 새로운 원칙을 발견할 수 있도록 합니다.
  • 이러한 전환은 이미 시작되었을 수 있으며, AlphaProof와 같은 사례에서 수학적 가능성을 탐색하고 새로운 문제에 대한 해결책을 발견하는 데 성공했습니다.
  • 경험의 시대는 개인화된 비서가 장기적인 목표를 향해 적응하고, 과학적 발견을 가속화하며, 새로운 재료, 약물 및 기술 개발을 가속화하는 등 전례 없는 능력을 발휘할 것을 약속합니다.
  • 그러나 이 새로운 시대는 직업 대체 , 인간의 개입 기회 감소로 인한 높아진 신뢰와 책임의 필요성 , 그리고 AI 시스템 해석의 어려움 과 같은 중요한 위험과 과제도 안고 있습니다.
  • 그럼에도 불구하고 경험 학습은 AI가 환경에 적응하고, 인간의 우려를 인식하며 행동을 수정하고, 심지어 보상 함수 자체를 경험을 통해 수정할 수 있게 하여 중요한 안전상의 이점을 제공할 수 있습니다.

Leave a Reply