Op OpenAI는 ChatGPT가 생성한 콘텐츠를 감지할 수 있는 새로운 “매우 정확한” 도구를 보류하고 있는 것으로 보이며, 이는 도구가 조작될 수 있거나 비영어 사용자들이 인공지능 모델로 텍스트를 생성하는 것을 회피할 수 있다는 우려 때문입니다.

회사는 5월에 블로그 게시물에서 자사 제품이 생성한 콘텐츠를 감지하기 위한 다양한 방법을 연구하고 있다고 언급했습니다. 그러나 8월 4일, 월스트리트 저널은 이 도구의 출시 계획이 내부 논쟁으로 인해 지연되었다고 보도했습니다.

WSJ의 보도 이후, OpenAI는 5월 블로그 게시물을 업데이트하며 탐지 도구에 대한 새로운 정보를 추가했습니다. 요약하자면, 출시 일정은 아직 없으며, 회사는 적어도 하나의 텍스트 출처 확인 도구가 “매우 정확하고 지역적 조작에 대해서도 효과적”이라고 경고했지만, 여전히 구체적인 출시 계획은 없다고 했습니다. 

불행히도, 회사는 여전히 악의적인 사용자가 탐지를 우회할 수 있는 방법이 존재한다고 주장하며, 이로 인해 공표를 꺼리고 있습니다. 

다른 구절에서는 회사가 비영어 사용자들이 탐지를 우회하기 위해 영어 텍스트를 다른 언어로 번역하는 방법과 관련된 취약성으로 인해 AI 제품을 사용하여 글쓰기를 꺼리게 될 수 있다고 암시하는 것 같습니다.

“우리가 고려하고 있는 또 다른 중요한 위험은, 우리의 연구가 텍스트 워터마킹 방법이 일부 그룹에 불균형적으로 영향을 미칠 잠재성이 있음을 시사한다는 점입니다. 예를 들어, 이는 비원어민 영어 사용자가 AI를 유용한 글쓰기 도구로 사용하는 것을 낙인 찍을 수 있습니다.”

현재 AI 생성 콘텐츠를 감지한다고 주장하는 여러 제품과 서비스가 있지만, 우리가 아는 한, 동료 평가 연구에서 일반적인 작업에 대해 높은 정확도를 입증한 경우는 없습니다.

"OpenAI의 시스템이 내부적으로 개발된 첫 번째 시스템으로, 회사의 모델에 의해 생성된 콘텐츠에 대해 보이지 않는 워터마킹과 독점적인 탐지 방법을 사용하는 시스템이 될 것입니다."

관련: OpenAI의 현재 비즈니스 모델은 ‘지속 불가능하다’ — 보고서