Két nagyon különböző ember gépeli be ugyanabban az órában, hogy AI detektor. Az egyik egy marketingvezető, aki negyven oldalt tett közzé nyelvi modell segítségével, és azt mondták neki, hogy a Google megbünteti érte a webhelyet. A másikat csalással vádolták meg, mert egy eszköz kiadott egy számot, és valaki tekintélyes helyzetben elhitte.
Mindketten egy olyan szoftverkategóriához érkeznek, amely magabiztosságot árul, és mindketten megérdemlik a válasz kellemetlen változatát. Az ezekről az eszközökről közzétett bizonyítékok következetesek, és nem hízelgőek. Elég gyakran tévednek ahhoz, hogy egy pontszám soha ne dönthessen semmiről egy emberrel kapcsolatban, összeomlanak az ember által szerkesztett szövegen, és a hibáik nem egyenletesen oszlanak el a szerzők között.
A keresőmotorral kapcsolatos kérdés külön kérdés, külön válasszal, és annak a válasznak semmi köze a felismeréshez.
Pontosak ezek az eszközök, és bünteti a Google az AI tartalmat? A szakértői bírálaton átesett tesztek minden eszközt 80% alatti pontosságra hoztak ki, ami átfogalmazott AI szövegen 26%-ra esett, egy külön tanulmány pedig azt találta, hogy a detektorok a nem angol anyanyelvű szerzők esszéit az esetek 61,3%-ában minősítették AI által írtnak. A Google nem bünteti a tartalmat azért, mert AI hozta létre. A scaled content abuse gyakorlatot bünteti, ami a célról és az értékről szól, nem a szerzőségről.
Hogyan működik valójában egy AI detektor
Szinte minden, amit ebben a kategóriában árulnak, két család egyikébe tartozik, és a megkülönböztetés számít, mert másképp hibáznak.
Perplexitás és burstiness
A régebbi család magának a szövegnek a statisztikai tulajdonságait méri. A perplexitás azt írja le, mennyire lepődik meg egy nyelvi modell minden egyes szón az előtte álló szavak ismeretében, így az a próza, amelyet a modell nagyon kiszámíthatónak talál, alacsony pontszámot kap. A burstiness ennek a kiszámíthatóságnak a mondatról mondatra való ingadozását írja le, abból kiindulva, hogy az emberi írás a kézenfekvő és a különös között hullámzik, míg a generált szöveg szűkebb sávban marad.
Az így épített eszköz nem gépet azonosít. Azt méri, mennyire konvencionális a próza, majd kijelenti, hogy a konvencionális próza gépi próza. Ez a következtetés maga a teljes termék, és minden hibalehetőség innen ered.
Generált szövegen tanított osztályozók
Az újabb család emberi és generált szövegből álló párosított korpuszokon tanít egy modellt, és megtanulja, ami elválasztja őket. Azon az eloszláson, amelyen tanították, jobban teljesít a nyers perplexitásnál, és egy nehezebb problémát örököl: ez az eloszlás minden alkalommal elmozdul, amikor frissítenek egy modellt, vagy egy prompt regisztert vált.
Egyik család sem fér hozzá semmilyen tényhez arról, hogyan készült a szöveg. Mindkettő a kész műtárgyból következtet a stílusra, és éppen ezért győzi le őket a stílus megváltoztatása. Egy harmadik megközelítés, a vízjelezés, másképp működik, és lentebb kerül szóba, mert egyedül az indul ki bizonyítékból következtetés helyett.
Mit mond a kutatás az AI detektorok pontosságáról
A tizennégy eszközös összehasonlítás
A legtöbbet idézett kontrollált teszt a Testing of detection tools for AI-generated text, amely 2023-ban jelent meg az International Journal for Educational Integrity hasábjain. Weber-Wulff és munkatársai 54 tesztdokumentumot futtattak át 14 eszközön, tizenkét ingyenesen és két kereskedelmin (Turnitin és PlagiarismCheck), összesen 756 egyedi teszt keretében.
Az eredmény nyers. Minden eszköz 80% alatt maradt, és csak öt lépte túl a 70%-ot. A valóban ember által írt dokumentumokon a pontosság 96% volt, ami jól hangzik, amíg meg nem nézzük a többit. Módosítatlan AI szövegen 74% volt. Olyan AI szövegen, amelyet egy ember enyhén átszerkesztett, 42%. Átfogalmazó eszközön átfuttatott AI szövegen 26%.
A tanulmány rögzíti, hogy megállapításai lényegesen eltérnek attól, amit egyes AI szövegfelismerő eszközök állítanak, saját következtetését pedig sokkal ritkábban idézik, mint kellene: ezek a rendszerek se nem pontosak, se nem megbízhatóak, és a vizsgált rendszereket nem volna szabad tudományos környezetben használni.
A kereskedelmi vezetők 2026-os tesztje
Három évvel később egy 2026 februári tanulmány ugyanabban a folyóiratban a Turnitin és az Originality eszközt vizsgálta 192 szövegből álló kiegyensúlyozott halmazon: hiteles hallgatói írásokon a generatív AI széles körű elérhetősége előttről, emberi szakmai szövegeken, AI kimeneteken és hibrid dokumentumokon, amelyek nagyjából fele fele arányban álltak a kettőből.
Az Originality 0,69, a Turnitin pedig 0,61 makroátlagos pontosságot ért el, és mindkettő 0,55 alatti makroátlagos F1 pontszámot produkált. A hibrid szövegeken, amelyek azt írják le, ahogyan ma a legtöbb ember valóban ír, az Originality nullához közeli felidézést mutatott. Szinte egyet sem azonosított belőlük.
A szakterületek közötti szakadék az a megállapítás, amelynek nyugtalanítania kellene mindenkit, aki műszaki tartalmat tesz közzé. A Turnitin pontossága a bölcsészettudományi szövegeken mért 0,86 értékről a természettudományosokon 0,51-re esett. Az Originality 0,96-ról 0,58-ra esett. Mindkét különbség statisztikailag szignifikáns volt. A tudományos íráson mért 0,51 mellett a detektor nagyjából pénzfeldobást végez.
Az egyetlen szolgáltató, amely közzétette a saját kudarcát
Az OpenAI 2023 januárjában kiadott egy osztályozót, majd visszavonta. Saját bejelentő oldala ma azt a megjegyzést viseli, hogy 2023. július 20-tól az AI osztályozó alacsony pontossági aránya miatt már nem elérhető, az eredeti szöveg pedig továbbra is rögzíti a számokat: az AI által írt szöveg 26%-át azonosította helyesen valószínűleg AI által írtként, miközben az ember által írt szöveget az esetek 9%-ában minősítette tévesen AI által írtnak. Az oldal arra is figyelmeztetett, hogy nem szabad elsődleges döntéstámogató eszközként használni. Ez az a szervezet, amely a lehető legjobban hozzáfér a tanítási eloszláshoz, és nagyjából minden negyedik esetre igaz találati arányról számol be.
A téves riasztás problémája és az, akire ez hárul
A TOEFL tanulmány
A GPT detectors are biased against non-native English writers című írás Liang, Yuksekgonul, Mao, Wu és Zou tollából 2023-ban jelent meg a Patterns folyóiratban. A módszer egyszerű volt: hét széles körben használt detektort futtattak 91 TOEFL esszén, amelyeket nem angol anyanyelvűek írtak, és 88 esszén, amelyeket amerikai nyolcadikosok írtak.
Az amerikai iskolásokat a detektorok pontosan kezelték. A TOEFL esszéken az átlagos téves riasztási arány 61,3% volt. Mind a hét egyhangúlag megjelölte ezeknek az ember által írt esszéknek a 19,8%-át AI szerzőségűként, és legalább egy detektor 97,8%-ukat megjelölte.
Aztán a kutatók megtették azt, ami leleplezi a dolgot. Ugyanezeket az esszéket irodalmiasabb nyelvezettel íratták át, és az átlagos téves riasztási arány 61,3%-ról 11,6%-ra esett.
Miért oda esik a hiba, ahová esik
Ez az esés pontosan megmutatja, mit mérnek. Az eszközök a korlátozott szókincsbeli változatosságot érzékelik, ami a második nyelven való írás sajátossága, és gépi szerzőségként jelentik. A 2023-as összehasonlítás ugyanezt a hatást találta meg egy másik irányból: az ember által írt, majd gépileg angolra fordított szöveg 20 százalékpontot veszített a pontosságból, így az a kutató, aki a saját nyelvén fogalmaz és utána fordít, fokozott kockázatnak van kitéve egy alaptalan váddal szemben.
Ami ebből következik, nem szoros döntés. Egy olyan eszközt, amelynek téves riasztási aránya a szerzők egy azonosítható csoportján 61,3%, nem szabad felhasználni arra, hogy súlyos következményekkel járó döntést hozzanak egy emberről. A 2023-as tanulmány jól fogalmazza meg a gyakorlati változatot: ezek az eszközök százalékot adnak vissza minden csatolt bizonyíték nélkül, így az a hallgató, akit pusztán ezen az alapon vádolnak meg, semmilyen lehetőséget nem kapna a védekezésre.
Miért győzi le a szerkesztés az AI detektorokat
A legvilágosabb kísérlet a Paraphrasing evades detectors of AI-generated text Krishna, Song, Karpinska, Wieting és Iyyer tollából. Építettek egy 11 milliárd paraméteres átfogalmazó modellt DIPPER néven, és átfuttatták rajta a generált szöveget. A DetectGPT felismerési pontossága rögzített 1%-os téves riasztási arány mellett 70,3%-ról 4,6%-ra esett. A vízjelezést, a GPTZero eszközt és az OpenAI osztályozóját szintén kijátszották.
Időzzünk el a következményen, mert ez az egész kategória őszinte összefoglalása. Ha a szerkesztetlen kimenetet 74%-ban, a szerkesztettet pedig 42%-ban ismerik fel, akkor amit az eszközök megbízhatóan azonosítanak, az nem a gépi szerzőség. Hanem a hanyagság. Egy csevegőablakból közvetlenül bemásolt oldalt megjelölnek. Ugyanazt az oldalt, miután egy hozzáértő szerkesztő kivágta a harmadát, hozzátett két olyan részletet, amelyet csak a szerző tud, és újraírta a bekezdések nyitányait, már nem. A detektor az erőfeszítés helyettesítője, méghozzá gyenge helyettesítője.
A Krishna tanulmányban javasolt védekezés említést érdemel, mert egyáltalán nem felismerés. Visszakeresés: 15 millió korábban generált szekvenciából álló adatbázisban keresnek közeli egyezést, ami az átfogalmazott generálások 80% és 97% közötti arányát fogta meg, miközben az emberi szöveg 1%-át jelölte meg. Azért működik, mert olyan nyilvántartáshoz hasonlít, amely rögzíti, mi készült valóban. Azt is megköveteli, hogy a modell szolgáltatója vezesse ezt a nyilvántartást és futtassa az ellenőrzést, amire egyetlen nyilvános eszköz sem képes.
A vízjelezés, a technikailag komoly alternatíva
Miben más
A vízjelezés a generálás pillanatában avatkozik be, ahelyett hogy utólag találgatna. A Google DeepMind szöveges SynthID megoldása logitfeldolgozóként ül a mintavételi hurokban, és a Google saját szavaival élve egy pszeudovéletlen g függvénnyel egészíti ki a modell logitjait, hogy úgy kódolja a vízjelinformációt, ami segít eldönteni, hogy a szöveget az Ön modellje hozta-e létre, anélkül hogy jelentősen rontaná a szöveg minőségét. A fejlesztői dokumentáció egy bayesi detektort ír le, amely három állapot egyikét adja vissza: vízjelezett, nem vízjelezett vagy bizonytalan.
A Google 2024 májusában bejelentette a szöveges vízjelezést a Gemini alkalmazásban és a webes felületen. Ez valódi bevezetés, és más jellegű állítás, mint egy stílusra vonatkozó találgatás, mert a jelet szándékosan illesztették be, nem következtették ki.
A korlátok, amelyeket a Google maga mond ki
Ugyanez a dokumentáció őszinte azzal kapcsolatban, mi rontja el. A vízjelezés kevésbé hatékony a tényszerű válaszoknál, mert kevesebb lehetőség van a generálás kiegészítésére a pontosság rontása nélkül, és a detektor megbízhatósági pontszámai nagymértékben csökkenhetnek, amikor egy AI által generált szöveget alaposan átírnak vagy másik nyelvre fordítanak. A Google hozzáteszi, hogy a SynthID nem arra készült, hogy közvetlenül megakadályozza az elszánt támadókat a károkozásban.
Létezik egy párhuzamos törekvés, amely eredetadatokra épít statisztikai jel helyett. A C2PA Content Credentials specifikáció, amely most a 2.4-es verziónál tart, kriptográfiailag aláírt manifesztet köt az állományhoz, rögzítve az eredetét és a rajta végzett szerkesztéseket. Kifejezetten önkéntes, és a globális elterjedés a kitűzött cél, nem a jelen állapot.
Mindkét megközelítés osztozik egy kemény határon. Azt mondják meg, hogy egy részt vevő szolgáltató hozott létre egy adott karakterláncot. Semmit nem mondanak olyan szolgáltató kimenetéről, amely nem vesz részt, és éppen az alatt az átírás alatt gyengülnek, amelyet egy gondos ember amúgy is elvégez. A vízjelezés ellátásilánc kontroll annak, aki a modellt üzemelteti. Nem alkalmas arra, hogy egy idegen dokumentumát auditáljuk vele.
Bünteti a Google az AI tartalmat?
A Google álláspontját 2023 februárjában tették közzé, és azóta nem mozdult. A Search Central blogbejegyzés címe Google Search’s guidance about AI-generated content, a szakaszcím a minőségi tartalom jutalmazásáról szól, bárhogyan is készült, a tartómondat pedig ez: a tartalom minőségére való összpontosítás ahelyett, hogy a tartalom előállításának módjára figyelnének, hasznos iránytű, amely évek óta segít megbízható, minőségi találatokat adni a felhasználóknak.
A bejegyzés azt is kimondja, hogy nem minden automatizálás, az AI generálást is beleértve, spam, és felidézi, hogy az automatizálás régóta állít elő sporteredményeket, időjárás előrejelzéseket és átiratokat. Szabálysértés az, ha az automatizálást, az AI-t is beleértve, elsődlegesen azzal a céllal használják, hogy manipulálják a találati rangsort.
Mi az, amit valóban büntetnek
Az a szabály, amely valóban harap, a scaled content abuse. A Google úgy határozza meg, mint sok oldal létrehozását elsődlegesen azzal a céllal, hogy manipulálják a keresési rangsorokat, nem pedig hogy segítsenek a felhasználóknak, és a nagy mennyiségű, nem eredeti, a felhasználóknak alig vagy semmilyen értéket nem nyújtó tartalom előállítására irányul, függetlenül attól, hogyan készült.
Olvassa el kétszer azt az utolsó tagmondatot. Az előállítás módja kifejezetten lényegtelen. Kétszáz sovány oldal, amelyet kézzel pörgettek ki egy településnév sablonból, ugyanúgy sérti a szabályt, mint kétszáz, amelyet egy modell pörgetett ki. A Google útmutatója a generatív AI tartalom használatáról ugyanezt mondja a másik oldalról: a technológia hasznos a kutatáshoz és a szerkezethez, de arra használni, hogy sok oldalt generáljunk a felhasználók számára hozzáadott érték nélkül, sértheti a Google scaled content abuse elleni spamszabályát.
Nincs tehát felismerendő AI büntetés, és nincs olyan detektorpontszám, amelyet a Google megnézne. A különbség a célban és az értékben van. Egy oldal, amely megválaszol egy kérdést, amelyet az ügyfelei valóban feltesznek, és tartalmaz valamit, amit csak az Ön cége tud, nem visszaélés, még akkor sem, ha az első változatát egy modell fogalmazta.
Mit mérjen egy pontszám helyett
A saját számaink jobban bizonyítják ezt, mint bármilyen érvelés. Egy közelmúltbeli 28 napos időszakban ez a webhely 52 331 megjelenést szerzett a Google-től, és 531 lekérdezése állt az első tíz pozícióban. Ezek a lekérdezések 28 847 megjelenést és 161 kattintást hoztak, ami 0,56%-os átkattintási arány, miközben a négytől tízig terjedő pozíciók rendes körülmények között 2% és 8% között hoznak. Közülük 452 egyetlen kattintást sem kapott.
Ebből semmi nem felismerési probléma. Megkülönböztetési probléma, és ebben a kategóriában egyetlen eszköz sem méri.
Az érdemben figyelendő mérőszámok az átkattintási arány a betöltött pozícióhoz mérve, valamint hogy az AI válaszok idézik-e Önt vagy csak rangsorolják, amiről a miért rangsorolódik a tartalom anélkül, hogy idéznék és a mit jelent a Google AI mód a forgalmának írásunkban van szó. Aztán jönnek a szerkesztői döntések: tartalommetszés azoknak az oldalaknak, amelyek semmi konkrétat nem válaszolnak meg, és tartalomfrissítés azoknak, amelyek egykor megválaszoltak valamit. Egy technikai SEO audit felszínre hozza ugyanennek a képnek a gépies felét, vagyis azt, hogy az Önnek fontos oldalak egyáltalán megjelenhetnek-e.
Mit tegyen, ha egy detektor megjelöli a munkáját
A pontszám nem bizonyíték
A szám egy modell véleménye a stílusról, és úgy születik, hogy semmilyen tényhez nem fér hozzá arról, hogyan készült a szöveg. Ez nem szónoklat, hanem maga a felépítés. Mondja ki ezt világosan, és hivatkozzon a szakértői bírálaton átesett tesztekre ahelyett, hogy a saját hitelességéből érvelne, mert a kutatás az Ön oldalán áll, a hitelessége pedig épp az, amit megkérdőjeleznek.
Az eredet, amelyet Ön kontrollál
A verziótörténet a legerősebb dolog, amivel rendelkezik, és csak akkor segít, ha már azelőtt létezik, hogy szüksége lenne rá. Tartsa a dokumentumokat olyan rendszerben, amely rögzíti a változatokat, őrizze meg a vázlatot és a jegyzeteket, őrizze meg a forrásokat, amelyeket elolvasott, és azt is, mikor olvasta őket. Egy dokumentum, amely kilenc nap alatt negyven mentett változaton keresztül nőtt meg, sokkal jobb válasz bármilyen ellenpontszámnál.
Kérje, hogy ugyanazt az eszközt futtassák le valamin, amit évekkel ezelőtt írt, még mielőtt a generatív AI elérhető lett volna. Pontosan ez volt a 2026-os tanulmány kontrollja. Kérdezze meg, egyetért-e egy másik eszköz, mert az eszközök közötti, valamint ugyanannak az eszköznek az ismételt futtatásai közötti következetlenséget a 2023-as összehasonlítás dokumentálta. Ha az angol nem az anyanyelve, vagy más nyelven fogalmazott és úgy fordított, tegye a 61,3%-os arányt és a fordítás miatti 20 pontos büntetést annak az elé, aki a döntést hozza.
A humanizálók és annak gazdaságtana, hogy legyőzzünk egy hibás tesztet
Havi előfizetést fizetni azért, hogy legyőzzünk egy tesztet, amely a számító esetek 26% és 58% közötti arányában amúgy is téved, rossz pénzköltés, a 2023-as összehasonlítás pedig rögzítette, hogy ezen a piacon az egyik eszköz azt tanácsolta a felhasználóinak, hogy addig szerkesszék a szövegüket, amíg kevesebb felismerhető AI tartalom marad benne, ami egy egész kategória saját előfeltevése elleni érvelés.
Az előfizetési díjon túl valódi költség is van. A humanizáló futamok úgy működnek, hogy szókincsbeli szórást adnak hozzá, ami a gyakorlatban szinonimacseréket, tompításokat és felfújt mondatokat jelent. A végén egy olyan gépre optimalizál, amely nem befolyásolja a rangsorát, annak az embernek a rovására, aki viszont eldönti, hogy megkeresi-e Önt. Ha van erre kerete, költse egy szerkesztőre.
Hol ad valóban értéket egy ügynökség
Nem a detektorok kikerülésében. Ami megváltoztatja az eredményeket, az a szerkesztői folyamat és a bizonyítható szakértelem: egy témabrief, amely azonosítja, mit tud az Ön cége, amit a versenytársak nem, egy néven nevezett szerző valódi referenciákkal, hivatkozott és dátumozott források, valamint egy ellenőrzési lépés, ahol valaki, aki csinálta ezt a munkát, ellenőrzi, hogy az állítások igazak. Ez a folyamat mellékesen felismerhetetlenné teszi a kimenetet, de ez mellékhatás, nem cél.
A Mecanik ezen az alapon épít tartalomprogramokat, és a meglévőket a SEO audit szolgáltatásunkon keresztül vizsgálja át, amely abból indul ki, mit hoznak ma az oldalai, nem pedig abból, hogyan írták őket. Ha az oldalai rangsorolódnak, de semmi nem történik, a megoldás a konkrétság és a tekintély, és egy technikai SEO audit megmondja, melyik a kettő közül az, ami valóban akadályozza. Detektorpontszámok nem fognak szerepelni a jelentésben, mert semmi olyat nem mérnek, amire lépni lehetne. Ha előbb a tágabb üzleti képet szeretné, a mit csinál egy AI SEO ügynökség és mennyit kérjen útmutatónk arról szól, hová megy valójában a pénz.
Gyakran ismételt kérdések
Pontosak az AI detektorok? Nem megbízhatóan. Egy 2023-as tanulmány az International Journal for Educational Integrity hasábjain 14 eszközt tesztelt 756 egyedi teszten, és azt találta, hogy mindegyik 80% alatt maradt, csak öt lépte túl a 70%-ot. A pontosság módosítatlan AI szövegen 74%, emberi szerkesztés után 42%, gépi átfogalmazás után 26% volt. Egy 2026 februári tanulmány a Turnitin és az Originality esetében 0,61 és 0,69 makroátlagos pontosságot mért.
Bünteti a Google az AI által generált tartalmat? Nem. A Google közzétett útmutatása szerint a figyelem a tartalom minőségére irányul, nem arra, hogyan készült, és nem minden automatizálás spam. A szabályt a scaled content abuse sérti, amelyet úgy határoznak meg, mint sok oldal létrehozását elsődlegesen a rangsorok manipulálására a felhasználók segítése helyett, és a Google kimondja, hogy ez attól függetlenül érvényes, hogyan hozták létre a tartalmat.
Miért jelölik meg az AI detektorok a nem angol anyanyelvű szerzőket? Mert a szókincsbeli változatosságot és a kiszámíthatóságot mérik, nem a szerzőséget. Egy 2023-as tanulmány a Patterns folyóiratban hét detektort futtatott 91 TOEFL esszén, amelyeket nem anyanyelvi beszélők írtak, és 61,3%-os átlagos téves riasztási arányt rögzített, szemben az amerikai diákok esszéin mért csaknem pontos eredménnyel. Ugyanezek az esszék irodalmiasabb nyelvezettel átírva 11,6%-ra vitték le a téves riasztási arányt.
Meg tudja mondani egy AI detektor, hogy a szöveget ember szerkesztette-e? Gyakorlatilag nem, és ez a legnagyobb hiányosság. Az enyhén emberi kézzel szerkesztett AI szövegen a pontosság 42% volt a 2023-as összehasonlításban, egy 2026-os tanulmány pedig nullához közeli felidézést talált olyan hibrid dokumentumokon, amelyek nagyjából fele fele arányban álltak emberi és AI szövegből. Az átfogalmazásról szóló kutatás rögzített 1%-os téves riasztási arány mellett 70,3%-ról 4,6%-ra vitte le az egyik detektort.
Mit tegyek, ha jogtalanul vádolnak meg AI használatával? Kezelje a pontszámot a stílusról alkotott véleményként, ne bizonyítékként, és mondja ki ezt a közzétett kutatásra hivatkozva. Mutassa be az eredetet, amelyet Ön kontrollál: a dokumentum verziótörténetét, a vázlatokat, a jegyzeteket és az időbélyeggel ellátott forrásokat. Kérje, hogy ugyanazt az eszközt futtassák le olyan munkán, amelyet a generatív AI megjelenése előtt írt, és kérdezze meg, egyetért-e egy másik eszköz, hiszen az eszközök közötti következetlenség dokumentált.
Hozzászólások