2024년 9월 10일
AI후진국 한국의 네이버 자회사 Snow라는 회사의 모바일 앱 소다에서 자신의 스마트폰 카메라로 찍어 올린 사진이나 이 스마트폰을 통해 사용자가 앱으로 업로드한 사진 등의 사진외곽 외부 모습을 인공지능으로 확장하여 그리는 기능(아웃 페인팅)의 서비스를 사용하려고 시도한 사용자의 사진에 음란한 모습으로 사진 외부 모습이 그려져 회사에 이를 신고하였으나 무시를 당하고 자신이 원하지 않게 만들어진 사진은 음란물로 신고되어 삭제 당했다고 합니다.
 |
| 구글 플레이에 올라와 있는 소다 앱 |
 |
사용자의 증명사진과 음란물로 오인되어 삭제당한 소다앱 아웃페인팅 결과 사진
뿐만 아니라 동일한 네이버 지회사회 스노우가 만든 스노우라는 앱에서도 자신의 얼굴 사진을 올리거나 찍어서 저장하면 이 사진에 다른 색상과 헤어 스타일을 합성하여 보여주는 페이스스왑(Faceswap) 인공지능 기능을 사용하였는데 이 것도 음란물과 같은 수준의 노출 사진을 합성해서 보여주었다고 합니다.
 |
스노우 앱 AI 헤어샵 기능을 사용하던 중 전달받은 나체 사진. 위 사진은 원본에 모자이크, 사진 독자 제공
이런 문제들이 연달아 발생하는 이유는 카메라로 찍은 사진이거나 혹은 사용자가 앱으로 업로드하여 올린 저런 앱 상 사진들은 서버에 설치한 인공지능 어플리케이션을 사용하여 저런 기능을 구현하여 사용자들에게 보여 주는 것인데 저 돈만 밝히는 네이버 자회사 쓰레기들이 저런 아웃 페인팅과 페이스 스와 기능을 쉽게 구현하려고 오픈 소스인 스테이블 디퓨젼(Stable
Diffusion) 등의 어플리케이션에 연동하여 아웃 페인팅 및 페이스스왑 기능을 구현한 게 문제입니다.
역시 돈만 밝히는 쓰레기 회사 답습니다.
스테이블 디퓨젼(Stable
Diffusion)과 같은 이미지 생성 앱은 무료로 전 세계에 배포되어 많은 사람들이 사용하고 있으면 인터넷에 최근 넘치는 딥페이크나 관련된 인공지 성인물 생성에도 엄청난게 많이 사용되는 어픟히케이션으로 설치가 쉽고 유지 관리도 쉬운 반면에 이를 제대로 통제하는 방법은 구현하기 힘든 것으로 알려지고 있습니다.
한국을 제외한 전세계에서는 이런 스테이블 디퓨전 같은 인공지능 이미지 생성 어플리케이션이 무료 설치하여 개인 사용자들도 많이 사용하고 있으나 언어장벽이 있이고 라이스 장벽을 치고 전세계적인 기술의 칼라파고스가 되고 있는 한국에서는 이런 어플리케이션을 연동하여 일반 사용자를 대상으로 유로 서비스 앱의 형태로 많이 제공되고 있는 것으로 보입니다.
그런데 문제는 이런 통제가 불가능한 오픈소스 앱을 상용으로 유료로 사용료를 받는 앱과 연동하여 서비스를 제공하다 보니까 이런 종류의 사고가 발생한것입니다.
스노우라는 네이버 지회사의 경우에도 이런 음란물의 생성이 원초적으로 발생하지 않는 NSWF filter 가 있는 이미지 생성 모델만으로 이 기능을 서비스하거나 회사내의 관련 스테이블 디퓨전 관리 인원들에게 해당 앱에 대한 관리를 엄격하게 하도록 운영 관리를 했어야 합니다.
관련 방송이나 기사내요을 추정해보면 사진의 외곽부분을 인공지능으로 그려주는 아웃페인팅 기능과 머리 스타일 변경기능
(전형적인 페이스스왑 기능)을 네이버 지회사 스노의 자체의 서버에 구현한 게 아니라 외부 온라인 회사의 관련 기능이 구현한 온라인 서비스를
API로 연동을 시켜서 해당 서비스를 제공하게 아닌가 하는 생각이 강하게 듭니다.
현재 스테이블디퓨전 종류의 이미지 생성 AI어플리케이션은 인공지능모델들이 명령어를 입력하면 그 명령어에 따라 사진이나 그림을 그리는 AI모델중심으로 개발이 되어 있어 사진이나 이미지를 입력하면 그 사진을 다른 모습으로 바꾸거나 그 사진을 확장하여 그리는 등의 기능은 제한 적입니다.
앞서서 명령어를 입력하면 사진이나 그림을 그리는 기능을 tex2img라고 하며 사진이나 그림을 입력하면 그림으로 출력을 내는 기능을 img2imng 라고 하는데 주로 딥페이크 등 성인물은 생성하는 것은 img2img이 관련 인공지능 모델이 많이 사용되고 있습니다.
그런데 이 분야는 대체로 인공지능 모델도 많지 않고 대부분 모델이 NSFW를 금지하지 않는 성인물 생성이 가능하도록 훈련된 경우가 대부분입니다.
또 하나 만약 이 스노우라는 네이버 자회사가 회사내 자체 서버에서 이런 앱을 설치하여 관련 기능을 제공하였다면 회사내 관련 서버 운용 인력들이 수시로 때때로 이들 서버에 접속하여 성인물을 그리게 하여 이들 서버 어플리케이션에서 운영자의 이런 성인물 생성 사용량이 아주 빈번하여 이런 사용패턴이 반영되어 성인물이 합성되었을 경우도 있다고 추정이 됩니다.
이런 어플리케이션도 사용용도에 따라서 생성되는 사진이나 그림에 경향성이 생기게 되기때문입니다.
이 지경이면 경찰이 이들 회사 서버를 압수 수색해야 할것 같습니다 그리고 이런 어플을 통하여 관련 기능을 카메라 앱을 통해 온라인으로 제공하는 게 사실이면 사용자가 입력하거나 온라인으로 업로드한 자신의 얼굴 사진은 스테이블 디퓨젼이 설치된 서버의 특정 서버 스토리지 폴더에 input 자료로 해당 폴더에 저장이 됩니다.
그리고 또한 앞으로 많은 문제를 일으킬 것으로 예상되는 스테이블 디퓨전과 같은 이미지생성 인공지능 애플을 통하여 특정 연예인의 얼굴만 생성하는 인공지능 모델의 상세 내용은 이렇습니다. 인터넷에 마구마구 넘쳐나는 연예인 얼굴을 사진을 모아 이걸로 인공지능 모델을 훈련시키고 이를 해당 어플에 설치한 후에 해당 연예인과 관련한 몇 글자 문자만 입력하면 그 연예인 얼굴을 가진 사진만 생성하는 Lora(Low Level Adaptation)인공지능 모델을 훈련시켜서 이를 사용하여 이미지가 생성되었다는 것을 의미합니다. 따라서 이런 인공지능 모델을 이런 인공지능 어플에 사용하도록 만드는 것을 막을 방법은 현재로서는 없습니다.
이전에는 이런 Lora 인공지능 모델을 만드는데 사진 500장에서 1000장 정도 필요했고 몇 시간씩 강력한 사양의 하드웨러로 구성된 컴퓨터를 돌려야 이런 모델을 훈련시키는게 가능했는데 지금은 게임용 게인 pc정도의 하드웨어 사냥을 지능 개인컴퓨터에서 해당 연예인의 모습이 담긴 10장 정도의 얼굴 사진과 컴퓨터 성능에 따라서는 몇 십 분 정도만 훈련(Training)을 시키면 이걸 아주 손쉽게 만들어 주는 인공지능 앱이 이미 나와 있고 이걸 개인 개발자들이 좀더 정교화하고 추가 개발하여 비싸지 않은 HW로 각자 개인 컴퓨터로 만드는 방법까지 인터넷에 관련 정보가 공유되고 있습니다. 물론 언어 장벽도 있고 기술 칼라파고스인 한국에서는 이 정도까지 하는 사람들은 거의 업어 현재 한국연예인의 사징으로 이런 인공지능 모델을 대량으로 훈련시켜 관련 웹사이트에 올리는 자들은 대부분이 중공 꼴라들입니다.
이제 이미지 생성 인공지능 어플의 판도라 상자가 열려서 무슨 수를 써더라도 이걸 막을 방법이 없어졌습니다. 따라서 사용자가 찍은 사진을 인공지능으로 변경해주는 온라인 서비스를 쓴다는 것 자체가 자신의 얼굴의 생체 정보를 돈만 밝히는 이런 쓰레기 회사에 가져다 바치는 일인 것입니다. 따라서 자신의 개인용 컴퓨터에 설치한 이미지생성 인공지능 어플이 아니라면 절대 인공지능 기능으로 사진을 변경하는 그런 온라인 서비스를 심지어 자신이 어렵게 번 돈을 내며 유료로 사용하는 것은 진짜, 진짜 멍청하기 짝이 없는 짓거리입니다.
상황이 이런지경인데 무식한 짜리시 언론의 기더기들이 이런 것의 위험을 제대로 알아서 제대로 취재를 할 수나 있을까요? 불가능하다고 봅니다.
인공지능의 기본도 모르는 쓰레기 회사들이 돈만 밝혀 제대로 된 내부 통제도 없이 이런 위험한 생성이미지 인공지능 어플들을 제대로 관리도 하지않고 연동하여 온라인으로 유료 서비스로 제공하다가 이런 사고를 치고도 아무런 꺼리낌도 없는 이런 AI후진국을 보면 한심하기 짝이 없습니다.
이런 후진국의 AI에 무슨 미래가 있을까요?
이 쓰레기 같은 나라는 호기심으로 딥페이크 포르노 사진을 만든 혐의로 기소된 중학생은 기소할 수 있지만,
같은 일을 저지른 대형
IT 서비스 회사는 기소하지 않습니다.