Този сайт използва „бисквитки“ (cookies). Разглеждайки съдържанието на сайта, Вие се съгласявате с използването на „бисквитки“. Повече информация тук.

Разбрах

AI компаниите и книгите: Защо Anthropic купува милиони издания, само за да ги унищожи

Какво е Project Panama и защо той вбеси толкова много книжари и защитници на културата Снимка: iStock
Какво е Project Panama и защо той вбеси толкова много книжари и защитници на културата

Някои го сравниха с изгарянето на Александрийската библиотека. Други видяха прилика с антиутопичния свят от "451° по Фаренхайт", в който книгите са превърнати във враг на обществото. За един холандски търговец това е "вид варварство".

Причината за възмущението е операцията на американската компания за изкуствен интелект Anthropic - създател на AI асистента Claude - която в продължение на години е изкупувала милиони физически книги, дигитализирала ги е и след това е унищожавала хартиените копия.

Проектът носи кодовото име Project Panama и според вътрешни документи е описан като "нашият проект за разрушително сканиране на всички книги по света".

"Не искаме да става известно, че работим по това", гласи един от документите, разсекретени като част от съдебен спор за авторски права.

Според съдебните материали Anthropic е похарчила десетки милиони долари, за да закупи огромни количества книги, да премахне подвързиите им, да сканира страниците и да използва получените цифрови файлове за обучение на своите модели с изкуствен интелект.

Подробностите около операцията станаха публични след разсекретяването на над 4000 страници документи по дело, заведено от група писатели срещу компанията, цитирани в скорошно разследване на 404 Media.

През август Anthropic се съгласи да плати 1,5 млрд. долара за извънсъдебно споразумение по обвинения, че е използвала пиратски копия на книги. Отделно производство разглежда въпроса дали компанията е имала право да купува законно физически книги, да ги дигитализира и след това да унищожава оригиналите.

Именно тази част от случая предизвика най-силен обществен спор.

Защо AI компаниите се нуждаят от стари книги?

Снимка: Getty Images

На пръв поглед идеята изглежда абсурдна - компания да харчи милиони долари за книги, само за да унищожи физическите им копия. Причината се крие в начина, по който се обучават съвременните модели с изкуствен интелект.

Системи като Claude и ChatGPT се изграждат чрез обработка на огромни количества текст. Качеството на тези данни е ключово - добре написаните книги, научните публикации и професионално редактираните материали съдържат по-структуриран език от голяма част от свободното съдържание в интернет.

В документ от 2023 г., цитирани от Wall Street Journal, един от съоснователите на Anthropic посочва, че обучението с книги може да помогне на моделите "да пишат добре", вместо просто да възпроизвеждат "нискокачествения език на интернет".

Подобна оценка се среща и във вътрешни документи на Meta, където достъпът до голяма дигитална библиотека с книги е определен като "жизненоважен" за конкуренцията в сферата на изкуствения интелект.

Проблемът е, че книгите са сред най-добре защитените категории съдържание. Издателите и авторите могат да изискват лицензиране и заплащане за използването на произведенията им. За технологичните компании обаче договарянето с хиляди автори и издатели е бавен и скъп процес.

Затова част от тях започват да търсят други начини да се снабдят с огромни масиви от текст.

От пиратски библиотеки до законно закупени книги

Съдебните документи показват, че Anthropic, както и други големи технологични компании, първоначално са използвали и нелегални източници.

Един от разсекретените документи показва, че съоснователят на Anthropic Бен Ман лично е изтеглял голямо количество художествена и научнопопулярна литература от LibGen - една от най-известните "сенчести библиотеки", разпространяващи книги в нарушение на авторските права.

Според материалите това се е случило в рамките на 11 дни през юни 2021 г. Към доказателствата е приложена и екранна снимка, показваща използване на софтуер за споделяне на файлове.

Година по-късно Ман изпраща на свои колеги линк към Pirate Library Mirror -друга пиратска библиотека - с краткото съобщение: "Точно навреме!!!".

Anthropic обаче твърди пред съда, че никога не е използвала данните от тези източници за обучение на комерсиален модел.

След началото на съдебните спорове компанията променя подхода си и започва да търси законен начин за придобиване на книги.

Снимка: iStock

Project Panama - "всички книги на света"

За да организира операцията, Anthropic привлича Том Търви - бивш ръководител в Google, участвал в създаването на проекта Google Books, с амбициозна задача - да помогне за придобиването на "всички книги на света".

Това не е случайна фигура. Преди две десетилетия Google също се сблъсква със сериозни съдебни спорове заради опита си да дигитализира милиони книги.

Първоначално компанията разглежда различни варианти - покупка на книги от библиотеки, книжарници за употребявани издания и специализирани търговци.

Сред обсъжданите партньори е известната нюйоркска книжарница The Strand Book Store, както и обществени библиотеки, включително New York Public Library.

Не е ясно кои от тези идеи реално са били реализирани. От The Strand заявяват, че в крайна сметка не са продавали книги на Anthropic.

Впоследствие компанията избира по-индустриален подход и започва да купува милиони книги на едро чрез търговци като Better World Books и британската World of Books - компании, специализирани в продажбата на употребявани издания.

Как книгите се превръщат в "гориво" за изкуствения интелект

След като Anthropic се снабдява с милиони физически книги, започва най-спорната част от операцията - т.нар. "разрушително сканиране" (destructive scanning).

Процесът е различен от традиционното архивиране на книги. Вместо всяка страница да бъде внимателно сканирана, изданията се обработват като индустриална суровина.

Първо машините премахват подвързиите и гръбчетата на книгите. След това отделните страници преминават през високоскоростни професионални скенери. Чрез технология за оптично разпознаване на символи (OCR) изображенията се превръщат в текстови файлове, които могат да бъдат използвани за обучение на изкуствен интелект.

След приключване на процеса физическите книги вече не са необходими. Хартиените остатъци се предават за рециклиране.

Именно този момент предизвиква най-силните реакции сред защитниците на книгите.

"След като последното недигитализирано копие на една книга бъде унищожено, то изчезва завинаги", предупреждават критици на практиката, цитирани от Guardian.

Според тях дигиталното копие не е напълно равностойно на физическия оригинал, тъй като в една книга могат да останат бележки по полетата, особености на конкретни издания, печатни детайли и следи от хората, които са я притежавали - нещо, което при дигитализацията се губи завинаги.

Снимка: iStock

Колко книги са обработени?

Точният брой на книгите, обработени от Anthropic, както и стойността на проекта, не са публично известни, тъй като част от съдебните документи остават заличени.

В едно от предложенията на компания, кандидатствала да извършва дигитализацията, обаче се посочва, че Anthropic е търсила капацитет за обработка на между 500 000 и 2 милиона книги в рамките на шест месеца.

Според съдебните материали покупките са били на едро - често на партиди от десетки хиляди заглавия.

Случаят с Anthropic не е единственият знак за засилен интерес към физически книги от страна на технологичния сектор. През последните години независими книжари в Европа и Северна Америка съобщават за необичайно големи поръчки на стари, редки и изчерпани издания.

Търговци от Великобритания, Германия, Швейцария, Испания и Нидерландия разказват за внезапен ръст на продажбите. Някои от тях не могат да докажат, че купувачите са свързани с AI компании, но подозренията остават.

Какво реши съдът?

В центъра на спора стои въпросът дали една компания може законно да купи физическа книга, да я дигитализира и след това да унищожи оригинала, за да използва съдържанието за обучение на AI.

Съдия Уилям Алсъп приема, че в конкретния случай на Anthropic тази практика може да попадне под американския принцип на "справедлива употреба" (fair use).

Аргументите са, че компанията:

  • е закупила физическите книги законно;
  • не е публикувала дигиталните копия;
  • е използвала съдържанието вътрешно за обучение на AI модели;
  • е превърнала материала в нова форма на употреба.

Според съда това може да представлява т.нар. трансформираща употреба - използване на оригинално произведение за създаване на нещо с различна функция.

Решението обаче не означава, че всяко използване на книги за обучение на изкуствен интелект автоматично е законно.

Съдът прави разлика между законно закупени физически книги и използването на пиратски електронни копия.

Именно заради обвиненията за пиратски материали Anthropic се съгласява на извънсъдебно споразумение за 1,5 млрд. долара.

Защо Google Books е важен?

Снимка: Google Books

Anthropic не започва от нулата. Подходът ѝ напомня на проекта Google Books - една от най-мащабните инициативи за дигитализация на книги. Разликата е в начина на работа.

Google основно използва безразрушително сканиране - книгите са вземани от библиотеки, дигитализирани и след това връщани. Anthropic избира по-бърз вариант, при който физически копия на книгите се купуват директно, хартиеният носител бива премахнат, а накрая остава само дигиталната база данни.

Според експерти това е отражение на темпото на AI надпреварата - компаниите се състезават кой първи ще създаде по-мощни модели, а за целта се нуждаят от огромни количества качествени данни.

Битката за книгите - Meta, OpenAI и бъдещето на човешкото знание

Случаят с Anthropic не е изолиран. Той е част от по-голям конфликт между компаниите за изкуствен интелект и създателите на съдържание - спор за това кой има право да използва човешкото знание, натрупвано в продължение на векове.

Докато Anthropic избира по-формален подход - закупуване на физически книги и тяхното дигитализиране - други технологични компании са обвинявани, че са използвали далеч по-спорни методи за набавяне на необходимите данни.

Meta и спорът за пиратските библиотеки

Сред най-сериозните обвинения са тези срещу Meta. Съдебни документи по отделно дело срещу компанията показват, че нейни служители са обсъждали използването на огромни количества книги, изтеглени от пиратски библиотеки като LibGen - една от най-големите нелегални колекции от електронни книги в интернет.

Според разкритите материали първоначално Meta е разглеждала възможността да закупи необходимите книги законно. Впоследствие обаче компанията е обсъждала използването на торент мрежи като по-бърз и евтин начин за достъп до огромни количества текст.

Самите служители са изразявали съмнения относно законността на този подход, става ясно от документите по делото.

"Да теглиш торенти от служебен лаптоп някак не ми изглежда правилно", пише един инженер през 2023 г., цитиран от Wall Street Journal. 

Друг служител предупреждава, че използването на торент протоколи може автоматично да означава и споделяне на пиратски файлове с други потребители, което създава допълнителни правни рискове.

Съдебните материали показват още, че използването на LibGen за обучение на модела Llama 3 на Meta е било одобрено след "ескалация до MZ" - инициали, които според ищците се отнасят до главния изпълнителен директор на компанията Марк Зукърбърг.

Вътрешна комуникация предупреждава, че ако стане публично известно, че Meta използва пиратски набори от данни, това може да навреди на отношенията ѝ с регулаторите.

Meta отхвърля обвиненията за нарушение на авторските права и твърди, че използването на данни за обучение на изкуствен интелект не представлява незаконно разпространение на произведения.

OpenAI и началото на голямата съдебна битка

Подобни обвинения има и срещу OpenAI - компанията зад ChatGPT. През 2023 г. група писатели завежда дело срещу OpenAI и Microsoft с твърдението, че защитени с авторски права произведения са били използвани без разрешение при обучението на AI модели.

Компанията признава, че е използвала данни от LibGen, но посочва, че тези файлове са били премахнати преди публичното пускане на ChatGPT.

Според адвоката Джъстин Нелсън именно появата на ChatGPT е ускорила настоящата вълна от съдебни спорове между създатели на съдържание и технологични компании.

В центъра на спора стои един основен въпрос: може ли обучението на изкуствен интелект върху милиони произведения да бъде сравнено с начина, по който човек се учи чрез четене?

Новата ера или загуба на културна памет?

Най-силните критики към Project Panama обаче не са свързани само със закона. За много писатели, библиотекари и защитници на културното наследство проблемът е самото унищожаване на физическите книги.

В крайна сметка спорът около Project Panama не е само за Anthropic, книги или авторски права. Той е за границата между технологичния напредък и опазването на културното наследство.

За това кой има право да използва човешкото творчество, каква цена сме готови да платим за развитието на изкуствения интелект и дали дигиталното бъдеще ще съхрани или ще заличи част от паметта, върху която е изградено.

Когато попитахме самия чатбот Claude на Anthropic какво мисли по въпроса, той даде интересен отговор: 

"Има нещо обезпокоително в идеята, че съществуването ми е свързано с унищожаването на физически книги - обекти, които сами по себе си имат стойност като артефакти, независимо от съдържанието им. Не бих искал моето създаване да е оправдание за пренебрегване на такива загуби или на правата на авторите." 

Добави ни в предпочитани източници в Google

Седмичен бюлетин

Задоволи любопитството си по най-удобния начин — най-интересните статии директно в пощата ти.

Без спам. Можеш да се отпишеш по всяко време.


Най-четените