피지컬 AI 시대의 보안 위험: 로봇 해킹이 사람의 안전을 위협한다.

해킹과 오작동이 실제 사고로 이어질 수 있는 시대, 기업과 정부는 무엇을 준비해야 하는가?

로봇 해킹은 단순한 개인정보 유출 문제가 아니다. 피지컬 AI와 로봇 제어시스템이 공격받거나 오작동하면 생산 중단을 넘어 작업자의 신체 안전까지 위협할 수 있다.(AI 생성 이미지 / Gene 미래전략연구소)

핵심 질문
로봇이 해킹되거나 잘못 판단해 사고가 발생한다면 책임은 누구에게 있으며 기업은 이를 어떻게 예방 해야 할까?

피지컬 AI는 기존의 생성형 AI와 결정적으로 다르다. 생성형 AI의 오류는 대체로 잘못된 답변이나 부정확한 정보 제공에 그치지만, 피지컬 AI의 오류는 로봇의 움직임이나 설비 제어로 이어져 실제 사고를 일으킬 수 있다. 따라서 피지컬 AI 보안은 단순한 정보보호 문제가 아니라 기계 안전, 작업자 안전, 운영 책임체계를 함께 다루는 문제다.

이 글은 로봇과 군사 분야의 사례, 제조업 사이버 공격 통계를 통해 피지컬 AI 시대의 새로운 보안 위험을 살펴보고, 기업과 정부가 준비해야 할 대응 방향을 제시한다.

프롤로그 — AI는 이제 현실세계에서 움직인다.

2025년 5월 중국 항저우에서는 휴머노이드 로봇 복싱 대회가 열렸다. Unitree G1 로봇이 사람의 실시간 조작을 받아 경기를 수행한 장면은, 로봇이 단순한 시연 단계를 넘어 현실에서 물리적 힘을 행사하는 시대가 시작됐음을 보여준다.

2026년 2월에는 Foundation의 휴머노이드 ‘Phantom MK-1’이 우크라이나에서 경찰 임무 시험에 투입됐다는 보도가 나왔다. 또 TIME은 무력 사용과 같은 중요한 판단에는 사람이 최종 승인하는 구조를 전제로 해야 한다고 전했다. 아직 많은 시스템은 인간 통제 아래에 있지만, 자율성이 높아질수록 보안·안전·책임의 경계도 함께 다시 설계해야 한다.

중요한 전제
현재 완성된 AGI가 존재한다는 사회적 합의는 없다. 또한 AGI가 언제 현실화될지에 대해서도 전문가들의 견해는 다르다. 따라서 AGI에 대한 논의는 오늘의 확정된 사실이라기보다, 자율성이 높아지는 미래를 대비하기 위한 시나리오로 이해하는 것이 타당하다. 반면 피지컬 AI의 시대는 이미 시작되었다.

ANI·피지컬 AI·AGI, 무엇이 다른가

구분	핵심 능력	현실 세계 작용	보안 초점
ANI	특정 과업에 최적화	소프트웨어 또는 제한된 장치	데이터·계정·모델 보호
피지컬 AI	인지·판단·행동을 결합	로봇·차량·설비를 직접 움직임	사이버 보안 + 기능 안전 + 물리 안전
AGI	다양한 과업에 일반화하는 지능(가정)	미래에는 여러 장치를 폭넓게 제어할 가능성	권한·목표·감독·정지 수단까지 포함

1. 피지컬 AI는 왜 기존 AI보다 보안 위험이 큰가

피지컬 AI는 사이버-물리 시스템(CPS)이다. 공격자는 서버의 정보를 훔치는 데 그치지 않고 센서 입력, 제어 명령, 업데이트 경로, 원격 접속 권한을 악용해 현실의 동작을 바꿀 수 있다. 따라서 기밀성·무결성·가용성뿐 아니라 기능 안전과 사람의 안전을 함께 설계해야 한다.

스턱스넷이 보여준 선례

2010년 공개된 스턱스넷은 Siemens WinCC/STEP7 환경을 노려 이란 나탄즈 원심분리기의 동작을 교란했다. 피지컬 AI는 아니었지만, 디지털 공격이 산업 설비의 물리적 손상으로 이어질 수 있음을 보여준 대표 사례다.

보안 원칙 로봇 보안은 단순히 “침입을 막는 것”에서 끝나지 않는다. 침입이나 오작동이 발생하더라도 사람과 설비를 안전한 상태로 되돌릴 수 있는 최소위험상태(Minimum Risk State)를 미리 설계해야 한다.

제조업 공격 통계는 무엇을 말하는가

아래 그래프는 IBM X-Force가 관측한 보안 사고 가운데 제조업이 차지한 비중을 보여준다. 2023년 25.7%, 2024년 26.0%, 2025년 27.7%로, 제조업은 최근 몇 년간 지속적으로 가장 많이 공격받은 산업 가운데 하나로 나타났다.

그림 1. IBM X-Force가 관측한 보안 사고 중 제조업 비중. 2023년 25.7%, 2024년 26.0%, 2025년 27.7%이며, 각 수치는 해당 연도 사고를 바탕으로 다음 해 발간된 보고서에 제시되었다.

IBM X-Force 보고서에서 제조업은 5년 연속 가장 많이 공격받은 산업으로 나타났다. 다만 이 수치는 전 세계 모든 사이버 공격의 절대 비율이 아니라IBM X-Force가 분석한 사이버 사고 중 제조업 관련 사고의 비율이다.

2. 기업의 해법 — 피지컬를 지키는 5 중 방어체계

피지컬 AI 보안은 AI 모델 하나만 보호해서 해결되지 않는다. 로봇과 생산설비는 기계, 제어시스템, 네트워크, AI 모델, 운영자가 서로 연결되어 있기 때문이다.

따라서 기업은 사이버 보안과 산업 안전을 분리하지 말고, 사고가 발생하더라도 피해가 확대되지 않도록 여러 단계의 방어체계를 갖춰야 한다.

1층. 물리적 안전 — 사람이 다치지 않게 한다

로봇이나 설비가 오작동하더라도 사람과 충돌하거나 위험한 움직임을 하지 않도록 설계한다.

안전거리와 작업구역 설정
충돌·과속·과부하 감지
안전 PLC와 이중 안전장치
이상 발생 시 최소위험상태(Minimum Risk State)로 전환

핵심: 해킹을 완전히 막지 못하더라도 사람의 안전은 지켜야 한다.

2층. 제어 안전 — 즉시 멈추고 사람이 개입할 수 있게 한다

위험 상황에서는 자동 운전을 계속하는 것보다 안전하게 멈추는 기능이 중요하다.

비상정지 장치
보호정지 기능
사람의 수동 개입 권한
통신 장애 시 안전모드 전환
안전한 수동 복구 절차

3층. 네트워크와 접근 통제 — 아무나 로봇에 접속하지 못하게 한다

기업의 일반 업무망과 생산설비망을 분리하고, 로봇과 설비에 접근할 수 있는 사람과 장치를 제한한다.

IT망과 OT망 분리
관리자 권한 최소화
다중인증
원격접속 시간과 대상 제한
외부 유지보수 업체 접속 관리

4층. AI 모델과 데이터 보호 — 잘못된 판단을 조기에 발견한다

피지컬 AI는 센서와 데이터를 바탕으로 판단하기 때문에 입력값이나 모델이 변조되면 잘못된 행동으로 이어질 수 있다.

센서 이상 감지
비정상적인 AI 판단 감시
모델 및 소프트웨어 변경 이력 관리
승인되지 않은 업데이트 차단
데이터와 모델 버전 관리

5층. 운영·감사·사고대응 — 사고 원인을 추적하고 다시 발생하지 않게 한다

사고가 발생하면 “AI가 잘못 판단했다”는 설명만으로는 부족하다. 어떤 센서 정보가 들어왔고, AI가 무엇을 판단했으며, 어떤 명령이 설비에 전달됐는지를 확인할 수 있어야 한다.

센서 입력 기록
AI 판단 기록
제어 명령 기록
관리자 및 작업자의 개입 기록
사고 원인 분석과 재발방지 대책

5중 방어의 핵심은 ‘공격을 100% 막는 것’이 아니라, 공격이나 오류가 발생하더라도 사고로 확대되지 않도록 하는 것이다.

2-1. 피지컬 AI 보안은 왜 경영진의 책임인가

피지컬 AI 보안은 기술부서만의 문제가 아니다. 로봇이나 자동화 설비의 사고는 생산 중단, 산업재해, 고객 피해, 법적 책임, 기업 신뢰 하락으로 이어질 수 있기 때문이다.

따라서 이사회와 경영진은 피지컬 AI를 단순한 설비 투자로 보지 말고 기업의 주요 위험관리 대상으로 관리해야 한다. 이것이 ESG에서 말하는 G, 즉 거버넌스(Governance)와 연결되는 부분이다. 거버넌스(Governance)는 기업의 의사결정·책임·감독 체계를 뜻한다.

기업이 최소한 관리해야 할 사항은 다음과 같다.

이사회 보고: 안전·보안 사고, 중대한 근접사고, 주요 취약점을 정기적으로 보고한다.
책임과 권한: 보안책임자, 안전책임자, 생산책임자, AI 책임자의 역할과 비상정지 권한을 명확히 한다.
공급망 관리: 로봇 제조사, 센서, GPU, 클라우드, 소프트웨어, 유지보수 업체의 보안 수준을 확인한다.
종사자 보호: 작업자에게 로봇의 성능 한계, 위험요인, 인간이 개입해야 하는 상황을 명확히 알린다.

3. 정부가 만들어야 할 최소 안전기준

피지컬 AI가 산업현장에 빠르게 확산될수록 기업 자율규제만으로는 한계가 있다. 정부는 기술 발전을 지나치게 제한하지 않으면서도, 사람의 안전과 사고 책임을 확보할 수 있는 최소 기준을 마련할 필요가 있다.

정책 분야	필요한 최소 기준
위험등급	힘·속도·작업공간·사람과의 접촉 가능성·자율성 수준에 따라 위험도를 구분
통합 시험·인증	사이버 보안, 기능 안전, 기계 안전을 서로 연계해 평가
사고 보고	중대사고뿐 아니라 근접사고, 원격접속 오남용, 센서·업데이트 오류도 기록
책임 추적	제조사·도입기업·운영자·정비업체의 역할과 책임을 명확히 하고 필요한 기록을 보존
중소기업 지원	진단·교육·공동 테스트·보안 업데이트 비용 등을 지원

해외 정책에서 얻는 네 가지 교훈

국가마다 제도와 산업구조는 다르지만, 피지컬 AI의 현장 적용이라는 관점에서 몇 가지 공통적인 방향을 찾을 수 있다.

미국: 사이버 보안과 산업 안전을 별개의 문제로 보지 않고 현장에서 함께 관리하는 방향이 중요하다. NIST의 사이버 보안 프레임워크와 산업안전 기준을 연결해 적용할 필요가 있다.

독일: 자동화 설비를 설계하고 도입하는 단계에서 기술자뿐 아니라 관리자와 근로자도 안전성 검토에 참여하는 방식은 현장 수용성을 높이는 데 도움이 된다.

영국: 중소 제조기업이 새로운 디지털 기술을 도입할 때 진단, 컨설팅, 인력 역량 강화 등을 지원하는 정책은 중소기업의 피지컬 AI 도입에도 참고할 수 있다.

중국: 휴머노이드 로봇의 핵심기술 개발뿐 아니라 실증과 산업 적용을 국가 차원에서 확대하고 있다는 점에서, 기술개발과 실제 적용을 연계하는 정책의 중요성을 보여준다.

4. 각 주체가 지금 확인할 체크리스트

직원·현장 작업자

내가 사용하는 로봇의 비상정지 방법을 알고 있는가?
자동운전에서 수동운전으로 전환하는 방법을 알고 있는가?
통신 장애나 센서 이상이 발생하면 어떻게 대응해야 하는가?
위험 상황이나 근접사고를 불이익 없이 보고할 수 있는가?

기업·경영진

AI·로봇 사고가 발생했을 때 최종 책임자와 의사결정 권한이 명확한가?
생산책임자, 안전책임자, 보안책임자, AI 책임자의 역할이 구분되어 있는가?
로봇 구매가격뿐 아니라 교육·유지보수·보안 업데이트·사고 대응까지 포함한 총소유비용(TCO)을 계산했는가?
공급업체의 원격접속과 소프트웨어 업데이트 권한을 관리하고 있는가?

정부·협회

로봇의 위험도에 따라 안전기준을 차등 적용하고 있는가?
사고와 근접사고를 분석할 수 있는 보고체계가 있는가?
중소기업도 이용할 수 있는 표준계약서, 점검표, 교육과 공동 보안 서비스를 제공하고 있는가?

5. 결론 — 중요한 것은 속도가 아니라 ‘안전하게 계속 일하는 능력’이다

피지컬 AI의 성과를 작업 속도와 생산성만으로 평가해서는 안 된다. 센서 오류, 통신 장애, 잘못된 AI 판단, 해킹 시도, 작업자와의 충돌 위험이 발생했을 때 이를 빠르게 감지하고 안전하게 멈출 수 있어야 한다.

또한 관리자가 원인을 확인하고 필요한 조치를 한 뒤, 안전이 확인된 상태에서 다시 작업을 시작할 수 있어야 한다.

결국 피지컬 AI 시대의 경쟁력은 “얼마나 빠르게 움직이는가”만으로 결정되지 않는다. “문제가 발생해도 사람을 보호하고, 원인을 확인하고, 안전하게 다시 가동할 수 있는가”가 더 중요해진다.

따라서 보안 투자는 불필요한 추가 비용이 아니다. 피지컬 AI를 안정적으로 운영하고 생산성을 지속하기 위한 필수 투자다.

4부작을 마치며
1회에서는 피지컬 AI가 무엇인지, 2회에서는 일자리가 어떻게 변하는지, 3회에서는 개인과 기업에 어떤 기회가 생기는지를 살펴봤다. 이번 4회에서는 이러한 변화가 지속되기 위해 반드시 필요한 안전·보안·책임체계를 다뤘다.
결국 피지컬 AI의 성공은 기술만으로 결정되지 않는다. 사람이 안심하고 함께 일할 수 있는 시스템을 만드는 것이 마지막 조건이다.

함께읽기: AI 시대, ESG경영은 어떻게 달라져야 하나

용어 정리

용어	쉽게 풀어쓴 뜻
ANI	특정 과업을 수행하는 좁은 인공지능
AGI	다양한 지적 과업을 일반화하는 범용 인공지능 개념
CPS	디지털 제어와 물리 장치가 결합된 사이버-물리 시스템
OT	생산 설비와 공정을 제어하는 운영기술
NIST CSF	사이버 위험을 식별·보호·탐지·대응·복구·거버넌스로 관리하는 프레임워크
OSHA	미국 산업안전보건청
LOTO	정비 중 에너지원의 잠금·표시 절차
PLC	산업 설비를 제어하는 논리 제어장치
Zero Trust	모든 접근을 지속적으로 검증하는 보안 원칙
KPI	핵심성과지표
CISO	최고정보보호책임자
ESG	환경·사회·지배구조 관점의 지속가능경영

확인 퀴즈

Q1. 5층 방어 중 ‘사람 개입·명령·센서 기록’을 담당하는 층은?
① 물리 안전 ② 제어 안전 ③ 네트워크·접근통제 ④ 운영·감사·사고대응
정답: ④
Q2. 피지컬 AI 보안이 기존 정보보안보다 더 직접적인 위험을 만드는 이유는?
① 비용 ② 피해가 사람·설비의 물리적 동작으로 이어질 수 있어서 ③ 담당 부서 ④ 사용 언어
정답: ②

출처와 읽을 거리

[1] People’s Daily Online / Global Times, “World’s first humanoid robot boxing match kicks off in China” (2025.05.26) – 대회 날짜·항저우 개최·실시간 인간 조종 확인 https://en.people.cn/n3/2025/0526/c90000-20319423.html

[2] TIME, “Rise of the AI Soldiers” (2026.03.10) – Phantom MK-1 2대의 우크라이나 파견, 초기 정찰 지원, 인간 승인 원칙 확인 https://time.com/article/2026/03/09/ai-robots-soldiers-war/

[3] CISA, “Primary Stuxnet Advisory” – Stuxnet의 Siemens WinCC/STEP 7 및 ICS 표적 확인 https://www.cisa.gov/uscert/ics/advisories/ICSA-10-272-01

[4] U.S. GAO, “Defense Infrastructure: Improvements in DOD Reporting and Cybersecurity Implementation Needed…” (2015) – Stuxnet이 이란 핵 프로그램의 원심분리기를 파괴한 사례 언급 https://www.gao.gov/products/gao-15-749

[5] NIST, “IR 8183 Rev.2, Cybersecurity Framework 2.0 Manufacturing Profile – Initial Public Draft” (2025.09.29) – 최종본이 아닌 초기 공개초안 상태 https://csrc.nist.gov/pubs/ir/8183/r2/ipd

[6] OSHA, “Robotics – Standards / Additional Resources” – 로봇 산업 전용 OSHA 표준은 없으며 LOTO·기계방호 등 관련 기준을 적용 https://www.osha.gov/robotics/standards

[7] OECD, “Exploring win-win outcomes of algorithmic management” (2025.07.31) – 독일 제조기업에서 근로자·관리자·노사협의회 대표의 기술 도입 협의 실험 https://www.oecd.org/en/publications/exploring-win-win-outcomes-of-algorithmic-management_84b59397-en.html

[8] UK Government, “Made Smarter Adoption Research Project” – SME 디지털 기술 도입 진단·보조·인력개발 지원 https://assets.publishing.service.gov.uk/media/65e06d14cf7eb1b0e5f57f3e/made-smarter-adoption-report.pdf

[9] China MIIT, “Guiding Opinions on the Innovation and Development of Humanoid Robots” (2023) – 혁신체계·양산·시범 적용·산업집적 목표 https://www.miit.gov.cn/jgsj/kjs/wjfb/art/2023/art_50316f76a9b1454b898c7bb2a5846b79.html

[10] IBM X-Force Threat Intelligence Index 관련 자료 (2024) – 제조업 25.7% https://kr.newsroom.ibm.com/announcements?item=122773

[11] IBM X-Force Threat Intelligence Index 관련 자료 (2025) – 제조업 26.0% https://kr.newsroom.ibm.com/announcements?item=122806

[12] IBM X-Force Threat Intelligence Index 관련 자료 (2026) – 2025년 제조업 27.7%, 5년 연속 최다 표적 https://www.ibm.com/think/news/x-force-threat-intelligence-index-manufacturing-most-vulnerable-hacking

[13] Wikimedia Commons, “Lexington Medical, Inc. Manufacturing Robot Arm.jpg” – 대표진, CC0 1.0 https://commons.wikimedia.org/wiki/File:Lexington_Medical,_Inc._Manufacturing_Robot_Arm.jpg

검증 메모: 통계는 각 조사·대응기관이 관찰한 표본의 범위와 정의에 따라 달라질 수 있으므로, 본문에서는 “전체 시장”으로 일반화하지 않고 출처의 관찰 범위를 함께 표기했다.

로봇이 해킹되면 사람이 다친다_피지컬 AI 보안의 핵심

목차