niedziela, 14 kwietnia, 2024

Deep Data

Machine Learning dla Twoich danych

News

Czy tekst generowany przez AI można wiarygodnie wykryć? Nowe badania budzą wątpliwości

Poniższy tekst jest tłumaczeniem mojego artykułu w języku angielskim.

Nowa publikacja naukowa badawczy z University of Maryland rzuca cień wątpliwości na niezawodność obecnych technik wykrywania tekstu generowanego przez AI. Empirycznie i teoretycznie analizuje ona najnowsze detektory oparte na watermarkingu, uczeniu zerowym (zer-shot learning), wytrenowanych klasyfikatorach i metodach opartych na wyszukiwaniu (retrieval-based). Poprzez eksperymenty i wyniki teoretyczne, autorzy pokazują słabości tych podejść w obliczu praktycznych ataków.

Główne obserwacje tej pracy to:

  • Ataki parafrazowania używające prostych modeli sieci neuronowych mogą usuwać wykrywalne wzorce z tekstu AI i skutecznie uniemożliwiać jego wykrycie. Dotyczy to nawet obron opartych na wyszukiwaniu, które powinny być teoretycznie odporne na parafrazowanie.
  • Istniejące techniki oparte na watermarkingu i wyszukiwaniu mogą być podszywane przez ludzi, aby sprawić, że autentyczny tekst będzie oznaczany jako wygenerowany przez AI. To zwiększa ryzyko fałszywego oskarżenia ludzi o korzystanie z narzędzi AI.
  • Istnieje fundamentalne ograniczenie tego, jak dobrze nawet najlepszy możliwy detektor może odróżnić tekst ludzki od AI. W miarę ulepszania modeli językowych i stawania się ich wytworów bardziej ludzkimi, różnica w wydajności między najlepszym detektorem a losowym odgadywaniem zmniejsza się.

Implikacje artykułu są daleko idące. Niezawodne wykrywanie tekstu AI jest kluczowe, aby zapobiec nadużyciom w postaci plagiatów, spamu, fałszywych recenzji itp. Jednak obecne techniki okazują się nieadekwatne. Wdrażanie niezawodnych detektorów w rzeczywistych zastosowaniach może przynieść więcej szkody niż pożytku.

Porównanie wyników najlepszych wykrywaczy z wynikami klasyfikatora losowego

Autorzy zalecają dalszą dyskusję na temat opracowywania etycznych systemów AI, w których możliwości generowania tekstu nie muszą być poświęcane na rzecz lepszego wykrywania. W obliczu potężnych modeli takich jak GPT-4, stawki autentyczności AI są wyższe niż kiedykolwiek. Dalsze badaniabędą kluczowe, aby wykrywanie tekstu AI stało się niezawodne, bezstronne i odporne na podszywanie się zanim zostanie wdrożone w praktyce. Do tego czasu twierdzenia o skutecznym wykrywaniu AI należy traktować z przymrużeniem oka.

Mariusz Wołoszyn

Ponad 20 lat pracy zawodowej w dziedzinie IT. Od bezpieczeństwa poprzez zarządzanie IT po architekturę rozwiązań cloud oraz budowę systemów Machine Learning. Od kilku lat głęboko zainteresowany Deep Learning :) Wcześniej Reinforcement Learning i sieciami neuronowymi oraz programowaniem genetycznym.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *