)
앤트로픽이 미국 에너지부(DOE)의 핵 전문가들과 협력해 자사의 AI 모델이 핵무기 관련 민감한 정보를 의도치 않게 제공하지 않도록 보장하고 있음.
이 협력은 4월에 시작되었으며, 앤트로픽이 Axios에 공개함. 이는 AI 보안에서 중요한 첫걸음임. 앤트로픽의 모델인 클로드 3 소넷은 DOE의 국가 핵 안보 관리국(NNSA) 전문가들에 의해 '레드 팀' 테스트를 받고 있으며, 사람들이 이를 악용해 위험한 핵 관련 목적으로 사용할 수 있는지를 평가하고 있음.
레드 팀 테스트는 전문가들이 시스템을 파괴하거나 악용하려고 시도해 취약점을 드러내는 과정임. 이 경우, 전문가들은 클로드의 응답이 핵무기 개발이나 다른 유해한 핵 응용 프로그램에 악용될 수 있는지를 평가하고 있음.
이 프로젝트는 2월까지 계속될 예정이며, 그 과정에서 NNSA는 6월에 출시된 업그레이드된 클로드 3.5 소넷을 테스트할 것임. 앤트로픽은 또한 아마존 웹 서비스와의 파트너십을 활용해 클로드가 이러한 고위험 정부 중심 보안 테스트를 처리할 준비를 하고 있음.
이 작업의 성격상 앤트로픽은 파일럿 프로그램의 결과를 공개하지 않았음. 회사는 과학 연구소 및 기타 기관과 결과를 공유할 계획이며, 모델이 악용되지 않도록 독립적인 테스트를 장려하고 있음.
앤트로픽의 국가 안보 정책 책임자인 마리나 파바로는 미국 기술이 AI 개발을 선도하고 있지만, 연방 기관들이 국가 안보 위험을 평가하는 데 필요한 독특한 전문성을 보유하고 있음을 강조하며 이러한 파트너십의 중요성을 부각시킴.
NNSA의 웬딘 스미스는 AI가 국가 안보 대화의 중심에 있다는 긴급성을 강조하며, 이 기관이 AI의 잠재적 위험을 평가하는 데 잘 위치해 있다고 설명함. 특히 핵 및 방사선 안전과 관련된 평가가 중요하다고 덧붙임. AI의 잠재적 악용은 재앙적일 수 있음.
이 협력은 바이든 대통령의 최근 국가 안보 메모에 따라 비밀 환경에서 AI 안전 평가를 요구하는 내용과 관련이 있음. 앤트로픽과 오픈AI와 같은 주요 기업들은 이미 8월에 AI 안전 연구소와 함께 모델 테스트를 약속하며 이러한 우려에 대한 산업 전반의 인식을 나타내고 있음.
흥미롭게도, AI 개발자들이 정부 계약을 위해 경쟁하는 가운데 앤트로픽만이 이 게임에 있는 것은 아님. 앤트로픽은 최근 팔란티어 및 아마존 웹 서비스와 파트너십을 맺고 클로드를 미국 정보 기관에 제공하고 있음. 한편, 오픈AI는 NASA 및 재무부와 같은 기관과 계약을 체결하고 있음. 스케일 AI도 메타의 라마를 기반으로 한 방어 중심 모델을 개발하며 움직임을 보이고 있음.
하지만 이러한 파트너십이 워싱턴의 정치적 변화 속에서도 지속될지는 불확실함. 일론 머스크는 이제 다가오는 행정부의 주요 인물로, AI 안전에 대한 예측할 수 없는 견해를 가지고 있음. 그는 과거에 더 엄격한 규제를 촉구했지만, 그의 새로운 벤처인 xAI는 보다 자유로운 발언 중심의 철학을 채택하고 있음. 이러한 변화하는 역학이 AI 거버넌스와 안전 테스트의 미래를 어떻게 형성할지 주목됨.
){kind=tracking}
