The AI arms race is heating up, and breakthroughs are happening at an accelerating pace.

The release of ChatGPT by OpenAI represents a profound leap forward in how humans interface with machines, showcasing the startling progress in large language models. Meanwhile generative AI capabilities such as Dall-E, Stable Diffusion, and Midjourney are able to generate highly realistic and detailed images from text descriptions, demonstrating a level of creativity and imagination that was once thought to be exclusively human.

Humans seem fundamentally wired to continuously advance technology and improve our knowledge and capabilities. Also, the human brain tends to think linearly, causing us to underestimate the exponential progress of technology. Companies and nations are incentivized by market forces and geopolitical game theory to pursue better intelligence through the advancement of AI.

The Future of Life Institute recently published Pause Giant AI Experiments: An Open Letter. The letter — with notable signatories including Elon Musk, Steve Wozniak and Andrew Yang — caused a stir, calling for a 6 month pause on advanced AI development:

“Therefore, we call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.”

Much of the media and public discourse in response to this letter has focused on who signed it and pushing back on the notion that humanity faces an imminent existential threat of artificial superintelligence. Dystopian claims of runaway artificial intelligence seem hyperbolic to many people, and calling for a 6 month moratorium is not realistic. Good luck convincing China to “pause” their efforts in the AI arms race.

But are there no boundaries? Should we proceed with no guidelines?

For example …

Are we comfortable outsourcing decisions to black box AI systems that lack transparency and explainability, making it impossible for humans to understand the reasoning behind decisions?
Should we be worried about the development of AI-powered autonomous weapons that make decisions about the use of lethal force without human input?
Should we be worried about the potential for malicious actors to use AI for nefarious purposes, such as sophisticated propaganda campaigns?
Are our current laws, regulations and political systems equipped to handle the rapid influx of new AI alignment questions that society will grapple with in the very near future?
As AI becomes more advanced, it may become difficult to understand, which could lead to unintended outcomes. AI systems can behave in ways that are unforeseen and difficult to control. The AI alignment problem is a societal challenge that requires collaboration between researchers, engineers, entrepreneurs, policymakers, and the public. It will also require international cooperation between governments and the private sector. This is not just a technical challenge, but also a philosophical and ethical one.

The open letter mentioned above goes on to recommend:

“AI research and development should be refocused on making today’s powerful, state-of-the-art systems more accurate, safe, interpretable, transparent, robust, aligned, trustworthy, and loyal.”

This is certainly a worthy goal, and it can be achieved by doing AI in the open. What we currently lack is a framework. Society needs a set of procedures and protocols to make the recommendation from The Future of Life Institute actionable.

Jointly, we must consider and debate the pros and cons of many ideas, including but not limited to:

Mandatory disclosure of model details, including training datasets, evaluation methodologies, and known biases
Development of a framework that establishes model monitoring and audit requirements for advanced AI systems
Implementation of laws that impose liability for AI-caused harm
Establishment of a regulatory authority for oversight and tracking of highly capable AI systems
The first step in achieving a productive framework for safe AI development is an open dialogue among the many stakeholders involved, which includes everyone. We must rise above the hyper-politicized discourse that our dishonest and broken media often forces upon us. This topic is too important and the ramifications are too profound. Join me in advocating for an intelligent and respectful conversation on AI — one that solicits input and open debate from a diverse set of voices to help ensure a path forward that is in our collective best interest.
AI 군비 경쟁이 가열되고 있으며 획기적인 발전이 빠른 속도로 이루어지고 있습니다.

OpenAI의 ChatGPT 출시는 인간과 기계의 인터페이스 방식에 있어 큰 도약을 의미하며, 대규모 언어 모델의 놀라운 진보를 보여줍니다. 한편 Dall-E, Stable Diffusion, Midjourney와 같은 제너레이티브 AI 기능은 텍스트 설명에서 매우 사실적이고 상세한 이미지를 생성할 수 있어 한때 인간의 전유물로 여겨졌던 창의력과 상상력의 수준을 보여줄 수 있습니다.

인간은 근본적으로 기술을 지속적으로 발전시키고 지식과 능력을 향상시키려는 본능이 있습니다. 또한 인간의 뇌는 선형적으로 사고하는 경향이 있어 기술의 기하급수적인 발전을 과소평가하는 경향이 있습니다. 기업과 국가는 시장의 힘과 지정학적 게임 이론에 따라 AI의 발전을 통해 더 나은 지능을 추구하도록 인센티브를 부여받습니다.

생명의 미래 연구소는 최근 '거대한 AI 실험을 멈춰라: 공개 서한을 발표했습니다. 엘론 머스크, 스티브 워즈니악, 앤드류 양 등 저명한 인사들이 서명한 이 서한은 첨단 AI 개발을 6개월간 중단할 것을 촉구하며 큰 반향을 일으켰습니다:

"따라서 우리는 모든 AI 연구소에 GPT-4보다 더 강력한 AI 시스템의 학습을 최소 6개월 동안 즉시 중단할 것을 촉구합니다. 이 일시 중지는 공개적이고 검증 가능해야 하며 모든 주요 행위자를 포함해야 합니다. 이러한 중단 조치가 신속하게 시행될 수 없다면 정부가 나서서 모라토리엄을 시행해야 합니다."

이 서한에 대한 많은 언론과 대중의 담론은 누가 서한에 서명했는지에 초점을 맞추고 인류가 인공 지능의 임박한 실존적 위협에 직면해 있다는 개념에 반발하고 있습니다. 인공지능의 폭주에 대한 디스토피아적 주장은 많은 사람들에게 과장된 것처럼 보이며, 6개월의 유예를 요구하는 것은 현실적이지 않습니다. 중국이 인공지능 군비 경쟁을 '일시 중지'하도록 설득하는 데 행운이 있기를 바랍니다.

하지만 경계는 없는 걸까요? 가이드라인 없이 진행해야 할까요?

예를 들어 ...

투명성과 설명 가능성이 부족하여 인간이 의사 결정의 근거를 이해할 수 없는 블랙박스 AI 시스템에 의사 결정을 아웃소싱해도 괜찮을까요?
인간의 입력 없이도 치명적인 무력 사용에 대한 결정을 내리는 AI 기반 자율 무기 개발에 대해 걱정해야 할까요?
악의적인 행위자가 정교한 선전 캠페인과 같은 악의적인 목적으로 AI를 사용할 가능성에 대해 걱정해야 할까요?
현재의 법률, 규정 및 정치 시스템은 가까운 미래에 사회가 씨름하게 될 새로운 AI 조정 문제의 급격한 유입을 처리할 수 있는 준비가 되어 있나요?
AI가 더욱 발전함에 따라 이해하기 어려워져 의도하지 않은 결과를 초래할 수 있습니다. AI 시스템은 예측할 수 없고 제어하기 어려운 방식으로 작동할 수 있습니다. AI 조정 문제는 연구자, 엔지니어, 기업가, 정책 입안자, 대중 간의 협력이 필요한 사회적 과제입니다. 또한 정부와 민간 부문 간의 국제적인 협력도 필요합니다. 이는 기술적인 문제일 뿐만 아니라 철학적, 윤리적 문제이기도 합니다.

위에서 언급한 공개 서한은 다음과 같이 권고합니다:

"오늘날의 강력한 최첨단 시스템을 보다 정확하고, 안전하고, 해석 가능하며, 투명하고, 견고하고, 일관되고, 신뢰할 수 있고, 충성도가 높은 시스템으로 만드는 데 AI 연구와 개발의 초점을 다시 맞춰야 합니다."

이는 분명 가치 있는 목표이며, 개방형 AI를 통해 달성할 수 있는 목표입니다. 현재 우리에게 부족한 것은 프레임워크입니다. 사회는 생명의 미래 연구소의 권고안을 실행 가능한 것으로 만들기 위한 일련의 절차와 프로토콜이 필요합니다.

우리는 다음과 같은 여러 아이디어의 장단점을 함께 고려하고 토론해야 합니다:

훈련 데이터세트, 평가 방법론, 알려진 편향성을 포함한 모델 세부 정보를 의무적으로 공개합니다.
고급 AI 시스템에 대한 모델 모니터링 및 감사 요건을 설정하는 프레임워크 개발
AI로 인한 피해에 대한 책임을 부과하는 법률 시행
고도의 성능을 갖춘 AI 시스템을 감독하고 추적할 수 있는 규제 기관 설립
안전한 AI 개발을 위한 생산적인 프레임워크를 구축하기 위한 첫 번째 단계는 관련된 많은 이해관계자 간의 열린 대화이며, 여기에는 모든 사람이 포함됩니다. 우리는 정직하지 못하고 망가진 미디어가 종종 우리에게 강요하는 극도로 정치화된 담론을 뛰어넘어야 합니다. 이 주제는 너무 중요하고 그 파급 효과는 너무 심오합니다. 저와 함께 AI에 대한 지적이고 존중하는 대화, 즉 우리 모두에게 최선의 이익이 되는 방향으로 나아갈 수 있도록 다양한 의견을 수렴하고 공개 토론을 장려하는 대화를 지지해 주세요.