계획
AGI와 그 이상
2023년 2월 24일
8분 읽기
AGI 및 그 이상을 위한 계획
우리의 임무는 인공 일반 지능(일반적으로 인간보다 더 똑똑한 AI 시스템)이 모든 인류에게 혜택을 주도록 하는 것입니다.
성공적으로 만들어지면 AGI는 번영을 증가시키고 세계 경제를 활성화하며 가능한 것의 경계를 넓힐 새로운 과학적 발견의 발견을 지원함으로써 인류를 향상시키는 데 도움이 될 수 있습니다.
AGI는 모두에게 놀라운 새로운 기회를 가져다 줄 잠재력이 있습니다. 우리는 우리 모두가 거의 모든 인지 작업에 도움을 줄 수 있는 세상을 상상할 수 있습니다. 이는 인간의 독창성과 창의성에 큰 힘을 배가시킵니다.
반면에 AGI는 남용, 심각한 사고 및 사회적 혼란의 심각한 위험을 수반할 것입니다. AGI의 이점이 매우 크기 때문에 우리는 사회가 AGI의 개발을 영원히 중단하는 것이 가능하거나 바람직하다고 생각하지 않습니다. 대신, AGI의 사회와 개발자는 이를 올바르게 수행하는 방법을 찾아야 합니다.(1)
어떤 일이 일어날지 정확히 예측할 수 없고 현재 진행 상황이 당연히 난관에 봉착할 수 있지만 우리에게 가장 중요한 원칙은 다음과 같습니다.
우리는 AGI가 인류가 우주에서 최대한 번창할 수 있도록 힘을 실어주길 원합니다. 우리는 미래가 자유로운 유토피아가 될 것이라고 기대하지 않습니다. 오히려 우리는 좋은 것을 최대화하고 나쁜 것을 최소화하기를 원하며 AGI는 인류의 증폭기가 되어야 합니다.
우리는 AGI의 이점, 액세스 및 거버넌스가 광범위하고 공정하게 공유되기를 바랍니다.
우리는 막대한 위험을 성공적으로 극복하기를 원합니다. 이러한 위험에 직면할 때 우리는 이론적으로 옳게 보이는 것이 실제로는 예상했던 것보다 더 이상한 것으로 판명되는 경우가 많다는 것을 알고 있습니다. 우리는 “일회성 성공” 시나리오를 최소화하기 위해 덜 강력한 기술 버전을 사용하여 지속적으로 배우고 적응해야 한다고 믿습니다.
단기
AGI를 준비하기 위해 지금 중요하다고 생각하는 몇 가지 사항이 있습니다.
첫째, 우리는 지속적으로 더 강력한 시스템을 구축하고 배치하고 실제 세계에서 운영하는 경험을 쌓기를 원합니다. 우리는 이것이 AGI를 신중하게 생성하는 가장 좋은 방법이라고 믿습니다. AGI가 있는 세상으로 점진적으로 전환하는 것이 갑자기 전환하는 것보다 낫습니다. 우리는 강력한 AI가 세상을 훨씬 더 빠르게 발전시킬 것으로 기대하고 점차 적응하는 것이 더 좋다고 생각합니다.
점진적인 전환은 사람, 정책 입안자 및 기관이 무슨 일이 일어나고 있는지 이해하고, 이러한 시스템의 안팎을 개인적으로 경험하고, 우리 경제를 적응시키고, 규제를 제정할 수 있는 시간을 제공합니다. 또한 사회와 AI가 함께 진화하고 인간이 함께 원하는 것을 발견할 수 있으며 위험은 상대적으로 낮습니다.
우리는 현재 AI 배포의 과제를 성공적으로 해결하는 가장 좋은 방법은 빠른 학습과 신중한 반복의 긴밀한 피드백 루프를 통하는 것이라고 믿습니다. 사회는 AI 시스템이 무엇을 할 수 있는지, 편견과 싸우는 방법, 일자리 이동에 대처하는 방법 등에 대한 큰 질문에 직면하게 될 것입니다. 최적의 결정은 기술이 취하는 경로에 따라 달라지며 모든 새로운 분야와 마찬가지로 대부분의 전문가 예측이 잘못되었습니다. 이것은 진공 상태에서의 계획을 매우 어렵게 만듭니다.(2)
일반적으로 우리는 AI의 더 많은 사용이 세상에 좋은 일로 이어질 것이라고 믿으며 이를 장려하고자 합니다(API에 모델을 포함하거나 오픈 소스로 만드는 등). 우리는 민주화된 접근이 더 많고 더 나은 연구, 더 분산된 권력, 더 많은 혜택, 그리고 새로운 아이디어를 가져오는 더 많은 사람들로 이어질 것이라고 믿습니다.
우리 시스템이 AGI에 가까워짐에 따라 우리는 모델 구축 및 배포에 대해 더욱 신중해지고 있습니다. 우리의 결정은 사회가 신기술에 일반적으로 취하는 것보다 훨씬 더 많은 주의와 많은 사용자가 원하는 것보다 더 많은 주의가 필요합니다. AI 공간의 일부 사람들은 AGI(및 후속 시스템)의 위험을 허구로 간주합니다. 그들이 옳다면 우리는 행복하겠지만 이러한 위험이 존재하는 것처럼 가장할 것입니다.
우리 시스템이 AGI에 가까워짐에 따라 우리는 모델 구축 및 배포에 대해 더욱 신중해지고 있습니다.
어느 시점에서 배포의 장단점(예: 악의적 행위자에게 권한 부여, 사회적 및 경제적 혼란 유발, 불확실한 경쟁 가속화) 사이의 균형이 바뀔 수 있으며, 이 경우 지속적인 배포 변경에 대한 계획을 크게 변경할 것입니다.
둘째, 점점 더 조정되고 제어 가능한 모델을 만들기 위해 노력하고 있습니다. GPT-3의 첫 번째 버전과 같은 모델에서 InstructGPT 및 ChatGPT로의 전환은 이에 대한 초기 예입니다.
특히 우리는 사회가 AI 사용에 대한 매우 광범위한 제한에 동의하지만 개별 사용자가 그 제한 내에서 큰 재량권을 갖는 것이 중요하다고 생각합니다. 우리의 궁극적인 희망은 세계의 기관들이 이러한 넓은 경계선이 무엇인지에 대해 합의하는 것입니다. 단기적으로는 외부 입력을 통한 실험을 계획하고 있습니다. 전 세계의 기관은 AGI에 대한 복잡한 결정에 대비하기 위해 추가 기술과 경험으로 권한을 부여받아야 합니다.
우리 제품의 “기본 설정”은 상당히 제한적일 수 있지만 사용자가 사용하는 AI의 동작을 쉽게 변경할 수 있도록 할 계획입니다. 우리는 개인이 스스로 결정을 내릴 수 있는 권한과 아이디어의 다양성에 내재된 힘을 믿습니다.
모델이 더욱 강력해짐에 따라 새로운 정렬 기술을 개발해야 합니다(현재 기술이 실패할 때를 이해하기 위한 테스트). 단기적으로는 AI를 사용하여 인간이 더 복잡한 모델의 결과를 평가하고 복잡한 시스템을 모니터링하는 데 도움을 주고, 장기적으로는 AI를 사용하여 더 나은 정렬 기술을 위한 새로운 아이디어를 생성하는 데 도움을 줄 계획입니다.
중요한 것은 AI 안전과 기능을 공동으로 발전시켜야 하는 경우가 많다는 것입니다. 그것들을 따로따로 말하는 것은 잘못된 이분법입니다. 그들은 여러면에서 상관 관계가 있습니다. 우리의 최고의 안전 작업은 최고의 성능을 발휘하는 모델과 함께 작업하는 데서 나옵니다. 단, 능력치 상승에 대한 보안 상승의 비율이 높아지는 것이 중요하다.
셋째, 우리는 이러한 시스템을 관리하는 방법, 시스템이 생성하는 이점을 공평하게 공유하는 방법, 액세스를 공평하게 공유하는 방법이라는 세 가지 주요 질문에 대해 글로벌 대화를 나누기를 희망합니다.
이 세 가지 영역 외에도 우리는 인센티브가 좋은 결과에 맞춰지도록 구조를 설정하려고 노력했습니다. 우리 헌장에는 다른 조직이 AGI 개발 후반 단계에서 경쟁하는 대신 보안을 개선하도록 돕는 조항이 있습니다. 우리는 주주가 얻을 수 있는 수익에 상한선을 설정하여 무한한 가치를 창출하고 잠재적으로 치명적인 위험을 감수할 위험을 감수하지 않도록 합니다(물론 그 혜택을 사회와 공유하기 위해). 우리는 안전상의 이유로 필요할 때 주주에 대한 주식 의무를 포기하는 것과 같은 일을 할 수 있는 능력을 포함하여 우리를 관리하고 인류의 이익을 위해 운영할 수 있도록 하는 비영리 조직을 가지고 있습니다. 세계에서 가장 포괄적인 UBI 실험을 후원합니다.
우리는 인센티브가 좋은 결과에 맞춰지도록 구조를 설정하려고 노력했습니다.
우리는 새로운 시스템이 출시되기 전에 우리와 같은 노력이 독립적인 감사를 받는 것이 중요하다고 생각합니다. 올해 후반에 더 자세히 이야기하겠습니다. 어떤 시점에서는 미래 시스템의 교육을 시작하기 전에 독립적인 검증을 추구하고 새로운 모델을 만드는 데 사용되는 계산 능력의 성장률을 제한하는 데 동의하는 가장 진보적인 노력을 하는 것이 중요할 수 있습니다. 우리는 AGI 노력이 훈련 실행을 중단해야 하는지, 모델이 릴리스하기에 안전한지 여부를 결정하거나 프로덕션 사용에서 모델을 철회해야 하는 경우에 대한 공개 표준이 중요하다고 생각합니다. 마지막으로 우리는 세계 주요 정부가 일정 수준 이상의 교육 실행에 대한 통찰력을 갖는 것이 중요하다고 생각합니다.
장기적
우리는 인류의 미래가 인류에 의해 결정되어야 하며 진행 상황에 대한 정보를 대중과 공유하는 것이 중요하다고 믿습니다. 중요한 결정을 위한 AGI 및 공개 협의를 구축하려는 모든 노력을 면밀히 조사해야 합니다.
첫 번째 AGI는 지능의 연속체에 있는 한 지점일 뿐입니다. 우리는 거기에서 진보가 계속되어 지난 10년 동안 보인 진보 속도를 오랜 기간 동안 유지할 가능성이 있다고 생각합니다. 이것이 사실이라면 세상은 오늘날과 매우 다를 수 있으며 위험은 엄청날 수 있습니다. 잘못 정렬된 초지능 AGI는 세상에 심각한 피해를 줄 수 있습니다. 결정적인 초지능 우위를 가진 독재 정권도 똑같이 할 수 있습니다.
과학을 가속화할 수 있는 AI는 고려할 가치가 있는 특별한 경우이며 아마도 다른 어떤 것보다 더 영향력이 있을 것입니다. 자체 진행을 가속화할 수 있는 AGI는 놀라울 정도로 빠르게 큰 변화를 가져올 수 있습니다(전환이 느리게 시작되더라도 최종 단계에서는 상당히 빠르게 발생할 것으로 예상합니다). 우리는 더 느린 발사가 더 안전할 것이라고 믿으며, 중요한 지점에서 속도를 늦추기 위한 AGI 노력 간의 조정이 중요할 것이라고 믿습니다. 사회에 적응할 수 있는 충분한 시간을 주는 것이 중요합니다).
초지능 세계로의 성공적인 전환은 아마도 인류 역사상 가장 중요하고 가장 희망적이며 가장 어려운 프로젝트일 것입니다. 성공은 보장되지 않으며 위험(무한한 단점과 무한한 장점)이 우리 모두를 하나로 묶을 것입니다.
우리 중 누구도 아직 완전히 상상할 수 없는 규모로 인류가 번성하는 세상을 상상할 수 있습니다. 우리는 그러한 번영을 위해 설계된 AGI를 세상에 기여하기를 희망합니다.