Czy tekst generowany przez AI można wiarygodnie wykryć? Nowe badania budzą wątpliwości

Poniższy tekst jest tłumaczeniem mojego artykułu w języku angielskim.

Nowa publikacja naukowa badawczy z University of Maryland rzuca cień wątpliwości na niezawodność obecnych technik wykrywania tekstu generowanego przez AI. Empirycznie i teoretycznie analizuje ona najnowsze detektory oparte na watermarkingu, uczeniu zerowym (zer-shot learning), wytrenowanych klasyfikatorach i metodach opartych na wyszukiwaniu (retrieval-based). Poprzez eksperymenty i wyniki teoretyczne, autorzy pokazują słabości tych podejść w obliczu praktycznych ataków.

Główne obserwacje tej pracy to:

• Ataki parafrazowania używające prostych modeli sieci neuronowych mogą usuwać wykrywalne wzorce z tekstu AI i skutecznie uniemożliwiać jego wykrycie. Dotyczy to nawet obron opartych na wyszukiwaniu, które powinny być teoretycznie odporne na parafrazowanie.
• Istniejące techniki oparte na watermarkingu i wyszukiwaniu mogą być podszywane przez ludzi, aby sprawić, że autentyczny tekst będzie oznaczany jako wygenerowany przez AI. To zwiększa ryzyko fałszywego oskarżenia ludzi o korzystanie z narzędzi AI.
• Istnieje fundamentalne ograniczenie tego, jak dobrze nawet najlepszy możliwy detektor może odróżnić tekst ludzki od AI. W miarę ulepszania modeli językowych i stawania się ich wytworów bardziej ludzkimi, różnica w wydajności między najlepszym detektorem a losowym odgadywaniem zmniejsza się.

Implikacje artykułu są daleko idące. Niezawodne wykrywanie tekstu AI jest kluczowe, aby zapobiec nadużyciom w postaci plagiatów, spamu, fałszywych recenzji itp. Jednak obecne techniki okazują się nieadekwatne. Wdrażanie niezawodnych detektorów w rzeczywistych zastosowaniach może przynieść więcej szkody niż pożytku.

Autorzy zalecają dalszą dyskusję na temat opracowywania etycznych systemów AI, w których możliwości generowania tekstu nie muszą być poświęcane na rzecz lepszego wykrywania. W obliczu potężnych modeli takich jak GPT-4, stawki autentyczności AI są wyższe niż kiedykolwiek. Dalsze badaniabędą kluczowe, aby wykrywanie tekstu AI stało się niezawodne, bezstronne i odporne na podszywanie się zanim zostanie wdrożone w praktyce. Do tego czasu twierdzenia o skutecznym wykrywaniu AI należy traktować z przymrużeniem oka.