딥페이크는 얼굴을 합성할 수는 있지만, 물리 법칙을 이해하지는 못합니다. 빛이 제대로 반사되지 않고, 그림자가 엉뚱한 방향으로 드리워지며, 실제 근육으로는 불가능한 방식으로 얼굴이 움직입니다. 이러한 물리 법칙 위반은 영상이 가짜라는 가장 명확한 증거가 되곤 합니다. 이 가이드는 딥페이크가 현실의 물리 법칙을 어떻게 위반하는지 체계적으로 정리했습니다.
이 가이드 활용법
각 섹션에서는 물리 법칙을 위반하는 오류의 종류를 다룹니다.
- 위반 사항: 어떤 물리 법칙을 위반하는가
- 시각적 특징: 어떻게 보이는가
- 발생 원인: 기술적 설명
- 탐지 방법: 구별하는 법
- 실제 사례: 구체적인 예시
카테고리 1: 조명 관련 오류
위반 사항: 그림자 방향 불일치
위반 사항: 얼굴에 드리워진 그림자가 영상 속 다른 사물의 그림자와 방향이 다릅니다.
시각적 특징:
- 장면의 광원은 왼쪽에 있는데, 얼굴의 그림자는 왼쪽에 생김
- 코 그림자는 위를 향하는데 다른 그림자는 아래를 향함
- 방은 측면 조명인데 얼굴만 위에서 조명을 받은 것처럼 보임
발생 원인: 원본 영상의 얼굴이 다른 조명 환경에서 촬영되었기 때문입니다. 알고리즘은 얼굴만 가져올 뿐, 조명까지 함께 가져오지는 못합니다. 원본 영상의 그림자 방향이 그대로 남게 되는 것입니다.
탐지 방법:
- 영상 속 주 광원의 위치를 파악합니다.
- 얼굴의 그림자가 그 광원의 방향과 일치하는지 확인합니다.
- 얼굴에 생긴 그림자의 방향과 영상 속 다른 사물의 그림자 방향을 비교합니다.
실제 사례:
"인터뷰 영상은 오른쪽에 창문이 있는 곳에서 촬영되었습니다. 하지만 인물의 코밑 그림자는 창문이 있는 쪽인 왼쪽을 향하고 있었죠. 이건 물리적으로 불가능한 일입니다."
위반 사항: 하이라이트 불일치
위반 사항: 피부의 반짝이는 부분(하이라이트)이 영상 속 광원의 위치와 일치하지 않습니다.
시각적 특징:
- 이마의 빛반사는 왼쪽 위에서 온 조명을 암시하지만, 실제 램프는 오른쪽 위에 있음
- 뺨의 하이라이트가 눈에 보이는 어떤 광원과도 연결되지 않음
- 얼굴이 움직여도 하이라이트는 그대로 고정되어 있음
발생 원인: 하이라이트는 보는 각도에 따라 크게 달라집니다. 원본 영상의 하이라이트는 대상 영상의 구도와 맞지 않습니다. 알고리즘은 영상 속 조명에 맞춰 하이라이트를 다시 계산하지 않기 때문입니다.
탐지 방법:
- 이마, 코, 뺨 등에서 반짝이는 부분을 찾습니다.
- 그 부분과 가능한 광원 사이에 가상의 선을 그어봅니다.
- 얼굴이 움직일 때 하이라이트도 자연스럽게 따라 움직이는지 확인합니다.
위반 사항: 색온도 충돌
위반 사항: 얼굴의 색온도가 영상의 나머지 부분과 다릅니다.
시각적 특징:
- 차가운 톤(푸른빛)의 방에서 얼굴만 따뜻한 톤(노란빛)으로 보임
- 영상 속 조명은 텅스텐 조명인데 얼굴만 대낮의 자연광처럼 보임
- 피부 톤이 눈에 보이는 조명의 색과 맞지 않음
발생 원인: 색온도는 원본 영상에 이미 고정되어 있습니다. 기본적인 색상 보정으로 전체적인 톤을 맞출 수는 있지만, 다양한 조명 변화에 걸쳐 정확한 색온도를 일치시키는 것은 어렵습니다.
탐지 방법:
- 얼굴의 화이트 밸런스와 영상 속 다른 사람의 피부 또는 사물의 화이트 밸런스를 비교합니다.
- 얼굴의 색이 영상 속 광원의 색과 일관성이 있는지 확인합니다.
- 얼굴과 달리 합성이 잘 적용되지 않는 귀나 목의 색과 얼굴색을 비교해봅니다.
카테고리 2: 반사 관련 오류
위반 사항: 눈 반사 불일치
위반 사항: 눈에 비친 모습이 실제 인물 앞에 있어야 할 사물과 다릅니다.
시각적 특징:
- 눈에는 창문이 비치지만, 실제 그 방향에는 창문이 없음
- 눈에는 링 라이트가 비치지만, 촬영 현장에는 링 라이트가 없음
- 좌우 눈에 비친 모습이 동일해야 하는데 서로 다름
발생 원인: 원본 영상에 찍힌 눈의 반사 모습이 그대로 옮겨지기 때문입니다. 이 반사된 모습은 대상 영상의 환경이 아닌 원본 영상의 환경을 보여줍니다. 대부분의 알고리즘은 눈의 반사까지 다시 계산하려고 시도하지 않습니다.
탐지 방법:
- 눈 부분을 확대합니다.
- 각막에 비친 형체를 식별합니다.
- 그 형체가 해당 각도에서 실제로 보이는 사물인지 확인합니다.
실제 사례:
"영상 속 인물의 눈에 사각형 창문이 비치는 것을 볼 수 있습니다. 하지만 촬영 장소는 야외였고, 근처 어디에도 창문은 없었죠."
위반 사항: 주변 환경 반사 오류 또는 누락
위반 사항: 얼굴 근처의 반사되는 표면에 얼굴이 제대로 비치지 않습니다.
시각적 특징:
- 안경에 다른 공간의 모습이 비침
- 반짝이는 장신구에 엉뚱한 모습이 비침
- 물이나 거울에 딥페이크 얼굴이 아닌 원래 얼굴이 비침
발생 원인: 얼굴 근처 사물에 생기는 반사는 처리되지 않습니다. 그래서 원본 영상이나 대상 영상에 있던 것이 그대로 보이게 되어, 합성된 장면과 일관성을 잃게 됩니다.
탐지 방법:
- 얼굴 주변의 반사되는 표면을 모두 확인합니다.
- 그 표면에 비친 모습과 실제로 보여야 할 모습을 비교합니다.
- 근처 표면에 얼굴 자체가 제대로 반사되는지 확인합니다.
카테고리 3: 해부학적 오류
위반 사항: 불가능한 얼굴 움직임
위반 사항: 인간의 얼굴 근육으로는 불가능한 방식으로 얼굴이 움직입니다.
시각적 특징:
- 입술이 인간이 할 수 있는 범위를 넘어 기괴하게 늘어남
- 두 눈이 부자연스럽게 따로 움직임
- 얼굴의 특정 부위가 자연스럽게 변형되기보다 미끄러지듯 움직임
- 어떤 실제 감정에도 해당하지 않는 표정을 지음
발생 원인: 알고리즘은 한 얼굴의 구조를 다른 얼굴에 매핑합니다. 원본 얼굴이 만든 표정이 대상 얼굴의 근육 구조로는 표현하기 어려운 경우, 불가능한 왜곡이 발생합니다.
탐지 방법:
- 명백히 가짜는 아니지만 "뭔가 잘못된" 느낌을 주는 표정을 주의 깊게 봅니다.
- 일반적인 사람의 비대칭과 다른 부자연스러운 비대칭을 찾습니다.
- 얼굴의 이목구비가 자연스럽게 변형되지 않고 피부 위를 미끄러지는지 관찰합니다.
위반 사항: 목과 머리의 부조화
위반 사항: 머리의 움직임이 목의 위치나 몸의 자세와 맞지 않습니다.
시각적 특징:
- 목이 불가능한 각도로 휘어야만 가능한 머리 회전
- 머리가 몸 위에 떠 있는 것처럼 보임
- 회전축이 잘못된 것처럼 보임 (엉뚱한 지점을 중심으로 머리가 회전)
- 머리를 기울여도 그에 따라 목 피부가 움직이지 않음
발생 원인: 알고리즘은 얼굴만 처리하고 목은 처리하지 않습니다. 원본 영상의 머리 위치가 대상 영상의 몸 자세와 크게 다를 때, 그 연결 부위가 해부학적으로 어색해집니다.
탐지 방법:
- 머리를 움직일 때 목을 주의 깊게 관찰합니다.
- 머리의 회전축이 해부학적으로 말이 되는지 확인합니다.
- 당연히 생겨야 할 피부의 늘어남이나 주름이 생기지 않는지 확인합니다.
위반 사항: 눈 깜빡임 이상
위반 사항: 눈 깜빡임 패턴이 정상적인 인간의 생리 현상을 따르지 않습니다.
시각적 특징:
- 오랜 시간(30초 이상) 동안 눈을 깜빡이지 않음
- 기계처럼 완벽하게 규칙적인 박자로 눈을 깜빡임
- 개인의 평소 습관과 다른 비대칭적인 눈 깜빡임
- 눈 깜빡임이 너무 빠르거나 너무 느림
발생 원인: 초기 딥페이크는 눈 깜빡임을 포함하는 것을 잊는 것으로 유명했습니다. 최신 기술은 눈 깜빡임을 포함하지만, 개인의 고유한 패턴까지는 포착하지 못할 수 있습니다. 원본과 대상 영상의 눈 깜빡임 패턴이 충돌할 수도 있습니다.
탐지 방법:
- 30~60초 동안 눈 깜빡임 횟수를 셉니다.
- 정상적인 성인은 1분에 15~20회 깜빡입니다.
- 부자연스러운 규칙성이나 불규칙성을 관찰합니다.
실제 사례:
"영상 속 인물은 45초 동안 눈을 한 번도 깜빡이지 않았습니다. 이건 정상이 아니죠. 사람은 보통 3~4초에 한 번씩 눈을 깜빡입니다. 그가 동상이거나, 영상이 가짜라는 뜻이죠."
카테고리 4: 움직임의 물리학
위반 사항: 관성 법칙 위반
위반 사항: 얼굴의 움직임이 관성의 법칙을 따르지 않습니다.
시각적 특징:
- 머리가 너무 갑작스럽게 움직이거나 멈춤
- 가속/감속 곡선이 없음
- 머리가 멈출 때 뺨이 살짝 흔들리지 않음
- 머리가 멈춘 후에도 머리카락이 계속 움직이지 않음
발생 원인: 프레임 단위 처리는 물리적인 운동량을 모델링하지 않습니다. 각 프레임이 독립적으로 계산되기 때문에, 자연스러운 감속을 만들어내는 이전 움직임에 대한 "기억"이 없습니다.
탐지 방법:
- 갑작스러운 움직임의 시작과 멈춤을 관찰합니다.
- 움직이는 동안 뺨이나 턱밑 살과 같은 부드러운 조직을 봅니다.
- 머리카락의 움직임이 머리의 움직임과 일치하는지 관찰합니다.
위반 사항: 중력 불일치
위반 사항: 사물이 제대로 떨어지거나 매달려 있지 않습니다.
시각적 특징:
- 머리를 기울일 때 머리카락이 자연스럽게 흘러내리지 않음
- 눈물이 직선으로 굴러 내려가지 않음
- 머리 위치가 바뀔 때 늘어진 피부가 중력에 반응하지 않음
발생 원인: 알고리즘은 물리 현상을 시뮬레이션하지 않습니다. 텍스처와 모양을 매핑할 뿐, 중력이 물체를 아래로 당긴다는 것을 이해하지 못합니다.
탐지 방법:
- 머리를 기울일 때 머리카락의 움직임을 관찰합니다.
- 머리 위치가 바뀔 때 피부가 어떻게 반응하는지 관찰합니다.
- 매달려 있는 요소(귀걸이 등)가 올바르게 움직이는지 확인합니다.
위반 사항: 충돌 오류
위반 사항: 얼굴이 마땅히 부딪혀야 할 물체를 통과합니다.
시각적 특징:
- 손이 얼굴을 통과해도 얼굴이 변형되지 않음
- 안경이 얼굴 그래픽을 뚫고 들어감
- 머리카락이 어깨에 닿지 않고 통과함
발생 원인: 알고리즘은 고체라는 개념이 없습니다. 물리적 표면이 아닌 픽셀을 처리합니다. 물체가 가려지는 현상(오클루전)은 물리적 상호작용을 시뮬레이션하는 대신 레이어를 겹쳐서 처리합니다.
탐지 방법:
- 물체가 얼굴에 닿는 순간을 주의 깊게 봅니다.
- 마땅히 일어나야 할 피부 변형이 일어나지 않는지 확인합니다.
- 물체가 얼굴에 대해 불가능한 위치를 유지하는지 관찰합니다.
카테고리 5: 시간적 물리 오류
위반 사항: 인과관계 역전
위반 사항: 결과가 원인보다 먼저 나타나거나 원인 없이 나타납니다.
시각적 특징:
- 감정적 계기가 있기도 전에 미소가 시작됨
- 자극이 주어지기 전에 눈이 먼저 반응함
- 소리가 나기 전에 말하는 입 모양이 시작됨
- 뚜렷한 이유 없이 표정이 바뀜
발생 원인: 원본 영상과 대상 영상의 타이밍이 다를 수 있습니다. 원본 영상의 감정 표현이 대상 영상의 사건과 일치하지 않을 수 있습니다.
탐지 방법:
- 맥락과 맞지 않는 감정적 반응을 관찰합니다.
- 오디오와 비디오의 싱크를 확인합니다.
- 반응이 원인보다 앞서는지 관찰합니다.
위반 사항: 시간에 따른 변형
위반 사항: 물리적 특성이 시간이 지남에 따라 불가능한 방식으로 점차 변합니다.
시각적 특징:
- 시간이 흐르면서 얼굴 비율이 서서히 바뀜
- 영상 내내 피부색이 점차 변함
- 얼굴의 이목구비가 움직임 없이 위치가 서서히 틀어짐
- 영상의 시작과 끝에서 인물의 모습이 미묘하게 다름
발생 원인: 각 프레임이 어느 정도 독립적으로 처리되기 때문입니다. 작은 변화들이 시간이 지남에 따라 누적되어, 실제 얼굴에서는 일어날 수 없는 점진적인 변형을 유발합니다.
탐지 방법:
- 영상의 시작, 중간, 끝에서 얼굴을 스크린샷으로 찍습니다.
- 비율과 색상을 비교합니다.
- 물리적인 설명이 불가능한 변화를 찾습니다.
카테고리 6: 재질 관련 물리 오류
위반 사항: 피부의 움직임
위반 사항: 피부가 실제 피부 조직처럼 움직이지 않습니다.
시각적 특징:
- 피부가 고무처럼 균일하게 늘어나고 사실적으로 변형되지 않음
- 피부 아래 빛이 산란되는 효과(Subsurface Scattering)가 없어 피부가 반투명해 보이지 않고 밋밋함
- 얼굴 움직임에 따라 모공 크기가 올바르게 조절되지 않음
- 주름이 실제 피부의 접힘이 아니라 표면에 그려진 것처럼 보임
발생 원인: 실제 피부는 특정한 광학적 특성을 가진 복잡한 다층 재료입니다. 알고리즘은 이를 두께, 반투명도, 기계적 특성을 가진 물리적 재료가 아닌 텍스처로 처리합니다.
탐지 방법:
- 표정 변화 시 피부를 관찰합니다.
- 주름이 표면의 텍스처처럼 보이는지, 실제 접힌 것처럼 보이는지 확인합니다.
- 귀나 콧방울 주변처럼 얇은 부위에서 반투명성을 관찰합니다.
위반 사항: 의류와의 상호작용
위반 사항: 옷과 얼굴이 올바르게 상호작용하지 않습니다.
시각적 특징:
- 턱의 움직임에 옷깃이 따라 움직이지 않음
- 넥타이나 스카프가 목을 뚫고 들어감
- 안경테가 귀를 통과함
- 모자가 머리 위에 떠 있거나 머리를 파고드는 것처럼 보임
발생 원인: 얼굴 처리는 얼굴 경계에서 멈춥니다. 얼굴과 물리적으로 상호작용해야 하는 물체는 별도로 처리되거나 전혀 처리되지 않아 부자연스러운 단절이 생깁니다.
탐지 방법:
- 움직일 때 얼굴 근처의 옷을 관찰합니다.
- 액세서리가 물리적인 접촉을 제대로 유지하는지 확인합니다.
- 얼굴과 얼굴이 아닌 영역 사이의 전환 부분을 관찰합니다.
빠른 참조: 물리 법칙 위반 항목
| 카테고리 | 주요 위반 사항 | 핵심 탐지 방법 |
|---|---|---|
| 조명 | 그림자 방향, 하이라이트, 색온도 | 영상 속 조명과 비교 |
| 반사 | 눈 반사, 표면 반사 | 무엇이 반사되어야 하는지 확인 |
| 해부학 | 불가능한 움직임, 목과 머리의 부조화, 눈 깜빡임 | 부자연스러운 움직임 관찰 |
| 움직임 | 관성, 중력, 충돌 | 움직임의 물리 법칙 관찰 |
| 시간 | 인과관계, 시간 흐름에 따른 변형 | 시간의 흐름에 따라 비교 |
| 재질 | 피부, 의류 상호작용 | 물리적 상호작용 관찰 |
요약
딥페이크는 픽셀은 처리하지만 물리 법칙은 이해하지 못합니다. 새로운 장면에 맞춰 조명이 다시 계산되지 않고, 반사된 모습은 엉뚱한 환경을 보여주며, 얼굴은 해부학적으로 불가능하게 움직입니다. 움직임은 관성을 위반하고, 재질은 물리적 실체가 아닌 텍스처처럼 보입니다.
이러한 물리 법칙 위반은 현재 알고리즘이 갖추지 못한 '이해'를 요구하기 때문에 가장 신뢰할 수 있는 구별법이 됩니다. 그럴듯한 텍스처도 잘못된 방향으로 드리워진 그림자를 감출 수는 없습니다.
딥페이크가 의심될 때는 이렇게 자문해보세요. "이 영상은 물리 법칙을 따르고 있는가?" 만약 그렇지 않다면, 당신은 답을 찾은 것입니다.