В средата на 2016 г. Авив Овадия осъзнава, че има нещо фундаментално сбъркано с интернет. Убеждението му е толкова силно, че решава да напусне работа и да се заеме с поправянето на този проблем. Няколко седмици преди изборите в САЩ, абсолвентът от MIT представя притесненията си пред технически специалисти в Сан Франциско и предупреждава, че човечеството се намира на ръба на дезинформационен "апокалипсис".
Овадия твърди, че уеб-пространството и информационната екосистема около него се развиват по изключително нездравословен начин. Най-големите платформи в онлайн-средата работят на принципа на "възнаграждаването" на новинарско съдържание, което често се оказва подвеждащо, поляризиращо настроенията, или и двете, взети заедно.
Facebook, Twitter и Google приоритизират кликовете, споделянията и рекламите, а не качеството на информацията - тенденция, която според Овадия води към достигане на критично ниво от пристрастяваща, отровна дезинформация.
Презентацията му не буди особен интерес сред служителите на компаниите от големия технологичен бизнес - още по-малко сред ръководството на Facebook, което скоро след това обеща да поправи дефектите на своя NewsFeed.
В онзи момент малко хора осъзнават, че машината е извън контрол, а от тях почти никой си дава сметка за последствията. Едва месеци по-късно политици, журналисти и технологични мениджъри признават: оптимизираният от алгоритми свят е уязвим на пропаганда, дезинформация, нечистоплътни рекламни стратегии на чуждестранни правителства и т.н.
Това заплашва да подкопае един от базовите принципи на човешкия диксурс: достоверността на фактите.
Почти две години след първите предупреждения, Авив Овадия е убеден, че ситуацията е влошена отвъд най-смелите представи на човечеството. А в зависимост от това колко напред в бъдещето погледнете, става все по-зле и по-зле, казва той пред Buzzfeed News.
Това е бъдещето на фините, лесни за употреба и почти безгрешни технологични инструменти за манипулиране на възприятията и фалшифициране на реалността.
В момента Овадия работи като главен технолог в Центъра за отговорност на социалните медии към Университета на Мичиган и е сътрудник към Центъра за дигитална журналистика в Колумбийския университет. Заедно с екип от изследователи и научни работници разиграват сценариите за антиутопичното бъдеще, базирано на изкривяванията от съществуващите технологии. Резултатите от разработките им са отчайващи.
Авив Овадия казва, че шоковият ефект от руските реклами и ботове в Twitter и Facebook бледнее в сравнение със заплахата, която представляват технологиите за надграждане и изкривяване на реалността. Тези методи се развиват по-бързо от човешката способност да ги разберат, контролират и ограничават.
Потенциалните негативни последствия от тях са много по-сериозни от всички досегашни опити.
Първо - заради непрекъснато увеличаващата се изчислителна способност. Второ - заради напредъка в разработването на изкуствения интелект и машинното самообучение, които могат да размият границите между фактите и фантазиите. На трето място - защото в бъдеще всеки ще може да манипулира публично достъпната информация, убеждавайки хората, че нещо се е случило, независимо дали това е истина или лъжа.
Ако тези бързо развиващи се инструменти попаднат под контрола на злонамерени сили, това може да доведе до информационна война.
Техническата възможност за създаване на аудио- и видео-манипулации вече съществува. В тъмните кътчета на интернет някои хора вече започват да използват алгоритми за машинно самообучение и софтуер с отворен код, за да произвеждат порнографски клипове с реалистични подобия на лицата на знаменитости върху телата на оригиналните порно-актьори.
В някои научни центрове като Станфорд, например, се създават програми, които комбинират и смесват новинарски репортажи със системи за засичане на движенията в реално време, така че да манипулират клиповете.
В Университета във Вашингтон разработиха програма, способна да превръща аудио записи в реалистично и синхронизирано видео на човека, който изговаря въпросните думи.
Когато тези инструменти се "демократизират" и разпространят масово, най-лошите сценарии на развитие могат да се окажат крайно дестабилизиращи.
Един от тях е "манипулация на дипломацията" - злонамерен играч използва технология, чрез която внушава по реалистичен начин случването на дадено нереално събитие с цел да повлияе върху геополитиката.
Представете си например алгоритъм с изкуствен интелект, който се захранва със стотици часове записи на Доналд Тръмп и Ким Чен Ун. След това машината "изплюва" почти перфектен и практически неразличим аудио/видео клип, в който лидерът на една от страните обявява началото на ядрена или биологична война.
Не е нужно записът да е перфектен - просто трябва да е достатъчно добър, за да провокира реакция от страна на противника.
Вторият сценарий на Овадия се нарича "симулация на политическа инициатива". Тя представлява комбинация от мрежи от политически ботове и PR-технологии за изкуствено формиране на определени обществени настроения, при която партиите и движенията ще бъдат манипулирани чрез фалшиви "масови" кампании.
В представите на Овадия, все по-достоверните ботове, задвижвани от изкуствен интелект, ще станат способни ефективно да се съревновават с реални хора за внимание от страна на законодателните и регулаторните органи. За властите ще бъде все по-трудно да различат кога една социална кампания е задвижвана от интереса на истински хора, и кога популярността й се дължи на ботове.
Скоро може да се окаже, че деловодствата на парламентите ще бъдат задръстени от сърцераздирателни и напълно правдоподобни жалби, генерирани не от граждани, а от алгоритми, скрити зад фалшиви профили в социалните мрежи.
Третият сценарий е т.нар. "автоматизиран лазерен фишинг" - тактика, която според Овадия вече тревожи експертите по сигурността. В най-общи линии, тя представлява използването на изкуствен интелект за сканиране на определен тип поведение - например присъствието ни в социалните мрежи - и писането на фалшиви, но достоверни съобщения от близки хора.
Злонамерените играчи, разполагащи с подобна технология, могат да атакуват всекиго, като създадат идеалната имитация на съответната личност само на базата на публично достъпни данни.
Съзнанието, че всичко "реално" може да се окаже фалшиво, води до четвъртия сценарий: "апатия към действителността".
Погълнати от вълната на постоянната дезинформация, хората просто ще се откажат да се борят с нея. Това е честа практика в тоталитарни държави, в които властта обикновено "спуска" оскъдна официална информация, а населението не й вярва и предпочита да чете между редовете.
Големият проблем ще настъпи тогава, когато апатията обхване и големи демократични общества, в които хората решат масово да не обръщат внимание на новините. Фундаментът от минимална информираност, която е критично важна за функционирането на свободното общество, ще се окаже разклатен.
Предсказанията на Овадия са особено притеснителни, като се има предвид лекотата, с която хората се поддават на елементарни и груби техники за дезинформация. Измамите и информационното затъмнение от бъдещето просто ще станат по-сложни и трудни за разпознаване.
Онези, които следят развитието на изкуствения интелект и машинното самообучение, знаят, че тези предупреждения не са пресилени. В момента производителят на процесори Nvidia разработва софтуер, който може да генерира убедителни и хиперреалистични снимки на обекти, хора и дори пейзажи на базата на обработката на десетки хиляди изображения.
Adobe започна да работи по два софтуерни проекта - Voco, наричан "Фотошоп за звук", и Cloak, който премахва без следи предмети и хора от видеоклипове с няколко клика.
Преминаването на етичната граница може да доведе до ерозия на доверието в обществото.
Преценката за достоверност на новините или политическите послания ще стане невъзможна. Вече не е нужно да създадете фалшиво видео, за да постигнете ефект. Достатъчно е да изтъкнете факта, че съществуват технологии за фалшифициране, за да всеете съмнение в достоверността на истински запис.
Дори държавите да не се възползват от този вид манипулации, "хоби-пропагандаторите" могат да трупат богатства от създаването високо качествени, реалистични симулации.
Овадия и колегите му се боят, че за момента не съществува достатъчно добра "противоотрова" срещу пропадането в порочния кръг от дезинформация и недоверие. Правителствените служби изглежда също не са готови за реакция срещу заплахите на "бъдещето на пост-истината".
Засега единственият начин за справяне с проблема е в привличането на общественото внимание върху моралните и етични опасности от новите технически инструменти.
Целта е да се избегне "Франкенщайн-момента", в който изроденото творение ще се обърне към създателя си и ще го попита защо не е помислил за последиците от действията си.
Добрата новина е, че никога преди не е имало толкова голям интерес към темата за компютризираната пропаганда. Започват да се създават някои системи за проверки и баланси. Една от идеите е свързана с криптографска проверка на изображенията и звуковите файлове, която би могла да различава реалните от манипулираните материали.
Следващите няколко години обаче са от ключово значение. Въпреки признанието за проблема, повечето платформи продължават да работят на грешни и вредни принципи за кликбейт и масово разпространение на злокачествено съдържание.
Целта не е да се спре технологичното развитие или да се сложи край на културата на свободен и отворен код. Но заплахите не бива да се игнорират, така както големите платформи "проспаха" кризата с фалшивите новини преди 1,5 години.
