Grāmatu iznīcināšana AI apmācībai un kultūras zaudējumi

Tie ierodas noliktavās neatzīmētos kravas automobiļos. Garas paletes. Kartona kastes ar ISBN etiķetēm. Kluss darbs. Ātrāk nekā saglabāšana. Ainava izklausās pēc loģistikas operācijas, bet krava ir literatūra: miljoni drukātu grāmatu, kuras nogādā uz rūpnieciskajiem skeneriem, kas tās izjauc lapu pa lapai.

Par ko jūs lasāt nav sazvērestības teorija. Tiesas iesniegumi un trauksmes celēju ziņojumi liecina, ka vairākas mākslīgā intelekta kompānijas ir izmantojušas destruktīvas skenēšanas metodes, lai masveidā digitalizētu drukātas teksta kopas. Tā vietā, lai saudzīgi filmētu no plaukta, tiek noņemti grāmatu muguriņu apvalki un lapas tiek barotas caur ātrgaitas rūpnieciskajiem skeneriem. Kompromiss ir skarbs: ātrums un zemākas izmaksas pret drukātā eksemplāra fizisku izdzīvošanu.

Vienu atklājumu pavedienu var saredzēt tiesas materiālos. Bijušie darbinieki, kas strādājuši pie Google Books un vēlākajiem projektiem, kā arī Anthropic iekšējiem centieniem — tiesvedībā minētiem kā Project Panama — liecinājuši, ka tika izmantoti gan maigāki skenēšanas pakalpojumi no augšas, gan ātrāki destruktīvie risinājumi. AI izstrādātājiem lēmums ir pragmatisks. Destruktīvā skenēšana maksā mazāk un palielina caurlaidību pat par vairākiem lieluma rādītājiem.

Piemēram, Anthropic tiek apsūdzēts miljonu ieguldīšanā treniņu datu izguvei no drukātām grāmatām, kas iegādātas caur starpniekiem, piemēram, Better World Books, un pēc tam šo eksemplāru iznīcināšanā pēc skenēšanas. Lai gan tiesnesis nesen konstatēja, ka autortiesību darbu izmantošana AI apmācībai noteiktos kontekstos var ietilpt tā sauktajā godīgās lietošanas principā, šis nolēmums tomēr nenoglāstīja Anthropic, kad privātajos arhīvos tika atrastas miljoniem digitalizētu kopiju, kas uzņemtas bez autoru vai izdevēju atļaujas — darbība, kas izraisīja izpildes naudām, kuras, kā ziņots, sasniedza 1,5 miljardus dolāru.

Izdevēji neguļ. Izdevēju koalīcijas ir iesniegušas prasības, apgalvojot, ka citas tehnoloģiju lielkoncerni ir izmantojuši autortiesību aizsargātas grāmatas bez atļaujas, lai apmācītu lielu valodas modeļu sistēmas. Juridiskā cīņa risina gan tiesības, gan atlīdzināšanas jautājumus, taču tiesas zālei virs galvas karājas plašāks kultūras jautājums: vai privātām kompānijām drīkst atļaut pārvērst publiskas un privātas bibliotēku krājumus par proprietāriem datiem un pēc tam iznīcināt oriģinālus?

Tātad kāpēc tehnoloģiju uzņēmumi pērk lietotas grāmatas pa paletēm? Taisnais atbildes variants ir treniņu dati. Augstas kvalitātes cilvēku rakstīti teksti joprojām ir viens no vērtīgākajiem avotiem attīstītiem valodas modeļiem. Tīkls jau ir piepildīts ar zemas kvalitātes AI ģenerētu saturu — pazemīgi sauktu par "AI slop" —, kas piesārņo signālu. Lai veidotu modeļus, kas rada skaidru, precīzu prozu, izstrādātāji vēlas autentiskus avotus: labi rediģētu daiļliteratūru, stingri pamatotu zinātnisko literatūru un neparastas akadēmiskas monogrāfijas, kas nav atrodamas izķertajos tīmekļa korporātos.

Ieiet tirgi kā ISBNdb, tiešsaistes datubāze ar vairāk nekā 111 miljoniem nosaukumu. Pasūtījumi, veikti caur šādām platformām, svārstās plaši — jebkas, sākot no tūkstošām kopiju līdz vienai darījumam, kurā pērk miljonu. Pārdevēji, kas agrāk sūtīja dažas desmitis grāmatu nedēļā, tagad ziņo par piecgadīgām pieauguma vērtībām, dažkārt pat lielākām. Pircēji bieži maksā lielas summas un maz interesējas par priekšmeta tēmu vai autoru; ja grāmatai ir ISBN, tā ir kandidāte.

Šim pārejai ir gan praktiskas, gan ētiskas dimensijas. No vienas puses, reto tekstu digitalizācija var uzlabot atklājamību un nodrošināt, ka saturs izdzīvo fizisku bojāšanos. No otras puses, drukāto darbu masveida izņemšana no aprites, kam seko to iznīcināšana, atņem bibliotēkām, lietoto grāmatu tirgiem un nākamajiem pētniekiem piekļuvi. Vai reti vai vēsturiski nozīmīgas izdevumu sērijas tiek atlasītas pirms iznīcināšanas? Ieraksti ir miglaini. Skatāms ir tas, ka skenētie teksti bieži nonāk privātās datubāzēs, pieejamās tikai tiem uzņēmumiem, kas par tām samaksāja.

Iedomājieties paaudzi, kurai nepieciešams pārbaudīt citātu vai izpētīt arhīva piezīmi, bet svarīgi izdevumi vairs nepastāv fiziskā formā un digitalizētās kopijas dzīvo korporatīvo sienu aizsegā. Kompromisi pārsniedz īpašuma tiesības. Tie skar kultūras pārvaldi, piekļuvi zināšanām un to, kas kontrolē izejmateriālus, kas baro jaunos AI sistēmus.

Grāmatu iznīcināšana, lai apmācītu rītdienas inteliģenci, uzdod smagu jautājumu: vai tehnoloģiskā attīstība ir vērta pastāvīgu daļu no mūsu papīra mantojuma zuduma?

Politikas veidotājiem, bibliotekāriem un tehnologiem būs jāizlemj, vai piekrist privātai digitalizētas literatūras uzkrāšanai, noteikt publiskas piekļuves prasības vai reglamentēt drukāto darbu fotografēšanas un skenēšanas metodes. Debates tikai sākas, bet plaukti turpina kustēt un mašīnas turpina dzirdoš. Kas runās grāmatu vārdā?