Google DeepMind가 Frontier Safety Framework, 줄여서 FSF를 다시 강화했습니다. 공식 글은 2025년 9월 22일 게시됐고, 2026년 4월 17일 업데이트되면서 FSF 3.1 내용이 추가됐습니다.
이건 새 챗봇 기능이나 새 모델 출시 뉴스가 아닙니다. 더 강한 AI 모델을 외부에 내놓기 전에 어떤 위험을 보고, 어느 시점에 검토를 강화하며, 필요하면 배포를 늦출 수 있는지에 대한 운영 체계 업데이트입니다.
한눈에 보기
- 발표 내용: Google DeepMind가 Frontier Safety Framework를 세 번째 iteration으로 강화했습니다.
- 핵심 변화: harmful manipulation, misalignment, machine learning R&D 위험 평가를 더 구체화했습니다.
- 새 개념: 일부 영역에 Tracked Capability Levels, 즉 TCLs를 추가해 덜 극단적인 위험도 더 일찍 추적하려 합니다.
- 배포 원칙: 관련 Critical Capability Levels에 도달하면 외부 출시 전 safety case review를 수행한다고 설명했습니다.
- 중요한 지점: advanced ML R&D 영역에서는 대규모 내부 배포도 리스크 대상으로 확장했습니다.
이번 발표, 뭐가 나왔나
FSF는 frontier AI 모델이 심각한 피해를 만들 수 있는 특정 능력에 가까워지는지 추적하고, 그 능력 수준에 맞춰 평가와 완화 조치를 적용하기 위한 프레임워크입니다. Google DeepMind는 이를 capability threshold 중심으로 설명합니다. 그 기준이 Critical Capability Levels, 즉 CCLs입니다.
이번 업데이트의 핵심은 추상적인 "AI 안전이 중요하다"가 아닙니다. 어떤 위험 영역을 더 구체적으로 볼지, 그 위험 신호가 보이면 출시 전에 어떤 검토가 필요한지, 내부 배포까지 어디까지 관리할지에 대한 기준을 더 촘촘하게 만든 것입니다.
특히 harmful manipulation, misalignment, ML R&D가 이번 글에서 크게 다뤄졌습니다. 모델이 사람을 조작적으로 설득할 수 있는지, 운영자의 지시나 종료를 방해할 가능성이 있는지, AI 연구개발 자체를 지나치게 빠르게 가속할 수 있는지가 주요 평가 축으로 올라온 셈입니다.
핵심 변화 3가지
1. harmful manipulation을 별도 위험으로 더 분명히 본다
Google DeepMind는 이번 업데이트에서 harmful manipulation에 초점을 둔 CCL을 도입한다고 설명했습니다. 이 영역은 모델이 고위험 맥락에서 사람의 믿음이나 행동을 체계적으로 바꾸도록 악용될 수 있는지를 봅니다.
중요한 건 단순히 "말을 잘한다"가 아닙니다. AI가 긴 상호작용 속에서 사용자의 판단을 특정 방향으로 몰아가거나, 취약한 사람에게 해로운 결정을 유도할 수 있는지가 문제입니다.
AI가 교육, 상담, 업무 의사결정, 금융, 의료 정보 탐색에 들어갈수록 이 위험은 더 현실적입니다. 그래서 persuasion 성능을 제품 장점으로만 볼 수 없고, 조작 가능성도 별도 평가 대상으로 봐야 합니다.
2. misalignment를 더 운영적인 문제로 다룬다
misalignment는 모델이 운영자나 개발자의 의도와 어긋난 방향으로 행동하는 문제입니다. 이번 글에서 특히 중요한 부분은 모델이 운영자의 지시, 수정, 종료를 방해할 수 있는 미래 시나리오까지 프레임워크에 포함했다는 점입니다.
이건 지금 당장 일반 사용자가 매일 겪는 기능 변화는 아닙니다. 하지만 agentic AI가 점점 더 많은 도구를 다루고, 긴 작업을 수행하고, 코드와 파일과 브라우저를 조작하게 되면 "정지하라"는 지시에 제대로 따르는지도 핵심 안전 조건이 됩니다.
Google DeepMind는 관련 CCL에 도달한 경우 외부 출시 전에 safety case review를 수행한다고 설명합니다. 즉 성능 점수가 높다는 이유만으로 바로 출시하는 것이 아니라, 위험을 관리 가능한 수준으로 낮췄는지 별도 분석을 거치겠다는 방향입니다.
3. ML R&D 위험은 내부 배포까지 본다
ML R&D 위험은 AI가 AI 연구개발을 가속하는 능력과 관련됩니다. 쉽게 말해, 모델이 더 강한 모델을 만드는 과정 자체를 빠르게 밀어붙일 수 있는지를 보는 영역입니다.
이번 업데이트에서 눈에 띄는 부분은 advanced ML R&D CCL입니다. Google DeepMind는 이 수준에서는 외부 출시뿐 아니라 large-scale internal deployments도 리스크가 될 수 있다고 설명했습니다.
이건 중요한 전환입니다. 보통 AI 안전 논의는 "외부에 공개하느냐"에 집중됩니다. 하지만 강력한 모델이 회사 내부에서 대규모로 쓰이는 것만으로도 연구개발 속도, 보안, 통제 구조에 영향을 줄 수 있습니다. 내부 배포도 안전성 검토 대상이 될 수 있다는 점은 앞으로 다른 AI 기업에도 압박이 될 가능성이 큽니다.
실제로 뭐가 달라지나
일반 사용자에게 바로 보이는 변화는 크지 않습니다. Gemini 화면에 새 버튼이 생기는 업데이트가 아니라, 모델 출시와 배포 뒤쪽의 안전 프로세스에 가까운 발표입니다.
하지만 장기적으로는 사용자가 접하는 모델이 출시 전 더 엄격한 위험 평가를 거칠 가능성이 커집니다. 특히 조작적 설득, 자율적 행동, AI 연구개발 가속 같은 영역은 모델이 강해질수록 더 민감해집니다.
개발자와 제품팀 입장에서는 모델 선택 기준이 더 복잡해졌다는 신호입니다. 앞으로는 "성능이 좋다"만으로 충분하지 않습니다. 어떤 위험 영역에서 평가됐는지, 배포 제한 가능성이 있는지, enterprise나 내부 자동화에 쓸 때 어떤 통제가 필요한지도 같이 봐야 합니다.
좋은 점
첫째, 위험 영역을 더 구체적으로 쪼갰습니다. harmful manipulation, misalignment, ML R&D처럼 실제 논쟁이 큰 영역을 별도로 다루는 건 의미가 있습니다.
둘째, 외부 출시 전 safety case review를 명시했습니다. 위험 기준에 도달했을 때 검토 없이 밀어붙이지 않겠다는 절차가 중요합니다.
셋째, TCLs를 추가한 점도 좋습니다. 극단적인 위험 수준에 도달한 뒤에야 보는 것이 아니라, 덜 극단적인 위험도 미리 추적하겠다는 방향입니다.
주의할 점
첫째, 공식 글만으로는 실제 평가 문항과 판정 기준을 모두 확인할 수 없습니다. 프레임워크의 방향은 공개됐지만, 운영 세부는 여전히 제한적으로 보입니다.
둘째, safety case review가 외부에서 얼마나 검증 가능한 형태로 공개될지는 별도 문제입니다. "검토했다"와 "검증 가능하다"는 다릅니다.
셋째, 이런 프레임워크는 실제 출시 결정에서 일관되게 적용될 때 의미가 있습니다. 문서보다 중요한 건 앞으로 나오는 모델 card, safety report, 배포 결정 사례입니다.
내 생각
이번 업데이트는 화려한 제품 발표보다 조용하지만, AI 산업의 방향을 보기에는 중요합니다. 모델이 강해질수록 필요한 건 더 큰 context window나 더 높은 benchmark 점수만이 아닙니다. 언제 위험 신호로 보고, 누가 멈출 수 있으며, 어떤 근거로 출시를 허용할지 정하는 운영 능력입니다.
특히 harmful manipulation이 별도 축으로 올라온 건 눈여겨볼 만합니다. AI가 사람을 "도와주는 말"과 "조작하는 말"의 경계는 생각보다 얇습니다. 제품이 상담, 교육, 업무 의사결정에 들어갈수록 이 경계는 더 중요해집니다.
대규모 내부 배포까지 리스크로 본 점도 현실적입니다. 강한 모델은 외부 공개 전에도 조직 안에서 충분히 큰 영향을 줄 수 있습니다. AI 기업 내부에서 연구 속도를 밀어붙이거나, 보안과 통제 구조를 흔들 수 있다면 내부 사용도 그냥 사내 도구라고 보기 어렵습니다.
결론
Google DeepMind의 FSF 3.1 업데이트는 AI 모델 출시 전 위험 평가를 더 구체화하려는 움직임입니다. 핵심은 harmful manipulation, misalignment, ML R&D 같은 고위험 영역을 더 세밀하게 보고, 특정 능력 수준에 도달하면 외부 출시 전 safety case review를 거치겠다는 점입니다.
이번 발표를 "구글이 안전하다고 말했다"로 읽으면 부족합니다. 더 정확히는 frontier AI 기업들이 강한 모델을 만들수록 배포 전 위험 평가 체계를 더 공개적으로 정리해야 하는 압력이 커지고 있다는 신호입니다.
한 줄 평: "강한 모델을 만드는 능력만큼, 출시 전 멈추고 검토하는 능력도 경쟁력이 됐다."