В средата на 2016 г. Авив Овадия осъзнава, че има нещо фундаментално сбъркано с интернет. Убеждението му е толкова силно, че решава да напусне работа и да се заеме с поправянето на този проблем. Няколко седмици преди изборите в САЩ, абсолвентът от MIT представя притесненията си пред технически специалисти в Сан Франциско и предупреждава, че човечеството се намира на ръба на дезинформационен "апокалипсис".
Овадия твърди, че уеб-пространството и информационната екосистема около него се развиват по изключително нездравословен начин. Най-големите платформи в онлайн-средата работят на принципа на "възнаграждаването" на новинарско съдържание, което често се оказва подвеждащо, поляризиращо настроенията, или и двете, взети заедно.
Facebook, Twitter и Google приоритизират кликовете, споделянията и рекламите, а не качеството на информацията - тенденция, която според Овадия води към достигане на критично ниво от пристрастяваща, отровна дезинформация.
Презентацията му не буди особен интерес сред служителите на компаниите от големия технологичен бизнес - още по-малко сред ръководството на Facebook, което скоро след това обеща да поправи дефектите на своя NewsFeed.
В онзи момент малко хора осъзнават, че машината е извън контрол, а от тях почти никой си дава сметка за последствията. Едва месеци по-късно политици, журналисти и технологични мениджъри признават: оптимизираният от алгоритми свят е уязвим на пропаганда, дезинформация, нечистоплътни рекламни стратегии на чуждестранни правителства и т.н.
Това заплашва да подкопае един от базовите принципи на човешкия диксурс: достоверността на фактите.
Почти две години след първите предупреждения, Авив Овадия е убеден, че ситуацията е влошена отвъд най-смелите представи на човечеството. А в зависимост от това колко напред в бъдещето погледнете, става все по-зле и по-зле, казва той пред Buzzfeed News.
Това е бъдещето на фините, лесни за употреба и почти безгрешни технологични инструменти за манипулиране на възприятията и фалшифициране на реалността.
В момента Овадия работи като главен технолог в Центъра за отговорност на социалните медии към Университета на Мичиган и е сътрудник към Центъра за дигитална журналистика в Колумбийския университет. Заедно с екип от изследователи и научни работници разиграват сценариите за антиутопичното бъдеще, базирано на изкривяванията от съществуващите технологии. Резултатите от разработките им са отчайващи.
Авив Овадия казва, че шоковият ефект от руските реклами и ботове в Twitter и Facebook бледнее в сравнение със заплахата, която представляват технологиите за надграждане и изкривяване на реалността. Тези методи се развиват по-бързо от човешката способност да ги разберат, контролират и ограничават.
Потенциалните негативни последствия от тях са много по-сериозни от всички досегашни опити.
Първо - заради непрекъснато увеличаващата се изчислителна способност. Второ - заради напредъка в разработването на изкуствения интелект и машинното самообучение, които могат да размият границите между фактите и фантазиите. На трето място - защото в бъдеще всеки ще може да манипулира публично достъпната информация, убеждавайки хората, че нещо се е случило, независимо дали това е истина или лъжа.
Ако тези бързо развиващи се инструменти попаднат под контрола на злонамерени сили, това може да доведе до информационна война.
Техническата възможност за създаване на аудио- и видео-манипулации вече съществува. В тъмните кътчета на интернет някои хора вече започват да използват алгоритми за машинно самообучение и софтуер с отворен код, за да произвеждат порнографски клипове с реалистични подобия на лицата на знаменитости върху телата на оригиналните порно-актьори.
В някои научни центрове като Станфорд, например, се създават програми, които комбинират и смесват новинарски репортажи със системи за засичане на движенията в реално време, така че да манипулират клиповете.
В Университета във Вашингтон разработиха програма, способна да превръща аудио записи в реалистично и синхронизирано видео на човека, който изговаря въпросните думи.
Когато тези инструменти се "демократизират" и разпространят масово, най-лошите сценарии на развитие могат да се окажат крайно дестабилизиращи.
Един от тях е "манипулация на дипломацията" - злонамерен играч използва технология, чрез която внушава по реалистичен начин случването на дадено нереално събитие с цел да повлияе върху геополитиката.
Представете си например алгоритъм с изкуствен интелект, който се захранва със стотици часове записи на Доналд Тръмп и Ким Чен Ун. След това машината "изплюва" почти перфектен и практически неразличим аудио/видео клип, в който лидерът на една от страните обявява началото на ядрена или биологична война.
Не е нужно записът да е перфектен - просто трябва да е достатъчно добър, за да провокира реакция от страна на противника.
Вторият сценарий на Овадия се нарича "симулация на политическа инициатива". Тя представлява комбинация от мрежи от политически ботове и PR-технологии за изкуствено формиране на определени обществени настроения, при която партиите и движенията ще бъдат манипулирани чрез фалшиви "масови" кампании.
В представите на Овадия, все по-достоверните ботове, задвижвани от изкуствен интелект, ще станат способни ефективно да се съревновават с реални хора за внимание от страна на законодателните и регулаторните органи. За властите ще бъде все по-трудно да различат кога една социална кампания е задвижвана от интереса на истински хора, и кога популярността й се дължи на ботове.
Скоро може да се окаже, че деловодствата на парламентите ще бъдат задръстени от сърцераздирателни и напълно правдоподобни жалби, генерирани не от граждани, а от алгоритми, скрити зад фалшиви профили в социалните мрежи.
Третият сценарий е т.нар. "автоматизиран лазерен фишинг" - тактика, която според Овадия вече тревожи експертите по сигурността. В най-общи линии, тя представлява използването на изкуствен интелект за сканиране на определен тип поведение - например присъствието ни в социалните мрежи - и писането на фалшиви, но достоверни съобщения от близки хора.
Злонамерените играчи, разполагащи с подобна технология, могат да атакуват всекиго, като създадат идеалната имитация на съответната личност само на базата на публично достъпни данни.
Съзнанието, че всичко "реално" може да се окаже фалшиво, води до четвъртия сценарий: "апатия към действителността".
Погълнати от вълната на постоянната дезинформация, хората просто ще се откажат да се борят с нея. Това е честа практика в тоталитарни държави, в които властта обикновено "спуска" оскъдна официална информация, а населението не й вярва и предпочита да чете между редовете.
Големият проблем ще настъпи тогава, когато апатията обхване и големи демократични общества, в които хората решат масово да не обръщат внимание на новините. Фундаментът от минимална информираност, която е критично важна за функционирането на свободното общество, ще се окаже разклатен.
Предсказанията на Овадия са особено притеснителни, като се има предвид лекотата, с която хората се поддават на елементарни и груби техники за дезинформация. Измамите и информационното затъмнение от бъдещето просто ще станат по-сложни и трудни за разпознаване.
Онези, които следят развитието на изкуствения интелект и машинното самообучение, знаят, че тези предупреждения не са пресилени. В момента производителят на процесори Nvidia разработва софтуер, който може да генерира убедителни и хиперреалистични снимки на обекти, хора и дори пейзажи на базата на обработката на десетки хиляди изображения.
Adobe започна да работи по два софтуерни проекта - Voco, наричан "Фотошоп за звук", и Cloak, който премахва без следи предмети и хора от видеоклипове с няколко клика.
Преминаването на етичната граница може да доведе до ерозия на доверието в обществото.
Преценката за достоверност на новините или политическите послания ще стане невъзможна. Вече не е нужно да създадете фалшиво видео, за да постигнете ефект. Достатъчно е да изтъкнете факта, че съществуват технологии за фалшифициране, за да всеете съмнение в достоверността на истински запис.
Дори държавите да не се възползват от този вид манипулации, "хоби-пропагандаторите" могат да трупат богатства от създаването високо качествени, реалистични симулации.
Овадия и колегите му се боят, че за момента не съществува достатъчно добра "противоотрова" срещу пропадането в порочния кръг от дезинформация и недоверие. Правителствените служби изглежда също не са готови за реакция срещу заплахите на "бъдещето на пост-истината".
Засега единственият начин за справяне с проблема е в привличането на общественото внимание върху моралните и етични опасности от новите технически инструменти.
Целта е да се избегне "Франкенщайн-момента", в който изроденото творение ще се обърне към създателя си и ще го попита защо не е помислил за последиците от действията си.
Добрата новина е, че никога преди не е имало толкова голям интерес към темата за компютризираната пропаганда. Започват да се създават някои системи за проверки и баланси. Една от идеите е свързана с криптографска проверка на изображенията и звуковите файлове, която би могла да различава реалните от манипулираните материали.
Следващите няколко години обаче са от ключово значение. Въпреки признанието за проблема, повечето платформи продължават да работят на грешни и вредни принципи за кликбейт и масово разпространение на злокачествено съдържание.
Целта не е да се спре технологичното развитие или да се сложи край на културата на свободен и отворен код. Но заплахите не бива да се игнорират, така както големите платформи "проспаха" кризата с фалшивите новини преди 1,5 години.
ХАХА Buzzfeed, най-гадния fully libtard канал в ютюб. Гледан от психофеминистки и гейове. Webcafe, много ви боли заради конвенцията в последно време, ако съдим по "материалите", които качвате.....
Започнах да чета тази статия, но се ужасих и спрях....като междувременно едно нещо запомних /цитирам дословно/ -" Техническата възможност за създаване на аудио- и видео-манипулации вече съществува " ...и се сетих за това, като гледах 5-ти сезон на Modern family ...сигурно ще дочета статията някой друг път, при добро настроение за асимилиране, но ми се ще само да маркирам Първата мисла, която ми дойдЕ наум. ....както в икономиката, така и в технологията /а и навсякъде другаде може би/ трябва да се откажем /свободното демократично общество и свободната капиталистична система/ СЪВСЕМ СЪЗНАТЕЛНО от някои ПРАВА, които ни дава това общество и система....стига някои да са го осъзнали. Или т.е. капитализмът се нуждае /икономиката му/ от планиране /това, което те отричат в комунизма/, а новините се нуждаят от КОРИГИРАНЕ, на съвсем друго ниво, отколкото може да направи някои и друг Редактор.
хаха, ,крив къв бешше там, ще дойдем ние до комунизъмА - до някои от идеите му, ама ще бъде късно...ще имаме право да си разказваме само някой и друг виц за Тато, без да ни арестуват...майтапа настрана - за Буш се продаваха комични поздравителне картички /незнам кой взимаше лептата, парите, от това - иначе знам, че Буш си имаше богатство от гъза, от газа де/ и на никой това не му правеше впечатление...и с нищо негото богатство не беше засегнато, но не беше ЗАСЕГНАТ и някой и друг човешки живот /или авторитет, самия Буш си беше смешник/, освен тези в другите страни, където Фашите водеха войни. Нещата не са свързани, но имат нещо общо. Който не ме разбира, да пита какво съм искала да кажа :-)
Пак съм аз - към Крив Макарон ти подценяваш хората! В зараждането на киното хората СА ЗНАЕЛИ, че отиват на кино, или че гледат телевизия....но някои събития са толкова екстраординарни, че ни се струват почти неигрални...като падането на Близнаците...които ги гледах в реално време, а ми се струваше, че гледам документален магазин,ох, пардон , документален филм.
И на мен ми става страшно. Ами ако дойде момент, в който започне да се подменя информацията? От определенията в уикипедия, до университетските библиотеки. От историята до психологията и биологията... Наистина ще настъпи световния фашизъм
Тенденциозно написани учебници и програми за обучение в един момент няма да са достатъчни. Ще трябва да се горят книгу и унищожават енциклопедии. Да се цензурира интернет. Само може да се надяваме, че ще има свободомислещи хора, които ще попречат на това. И няма да се подчинят тотално безусловно, 1000%, на единствения признат бог на неолиберализма - ПАРИТЕ.
"манипулация на дипломацията... лидерът на една от страните обявява началото на ядрена или биологична война... Не е нужно записът да е перфектен - просто трябва да е достатъчно добър, за да провокира реакция от страна на противника." Е-хе-хе... то ей-така през Фейсбук се обявява война. Може ли да сте такива наивници? Дори записът да е перфектен пак трудно ще предизвика реакция на противниковото правителство. Единствено може да повиши страховете, като окаже влияние на населението. Но ако си дипломат имаш достъп до разузнавателни данни, особено при повишено напрежение между държавите. Не е нужно да знаеш всички шпионски тайни, достатъчно е агенциите да ти потвърдят случило ли се е дадено събитие или не се е случило и какви са прогнозите да се случи. А методите, чрез които се наблюдава и анализира противникът са много, ама много: като се почне от доброто старо агентурно разузнаване и се стигне до новите хипер-ултра съвременни технологии. Така че не един клип, ами 50 клипа да пуснеш пак няма да е достатъчно.
>Дори записът да е перфектен пак трудно ще предизвика реакция на противниковото правителство Съвсем не е необходимо да подмамиш нечие правителство да реагира с червения бутон за ядрена контраатака. Достатъчно вреда причинява и обикновен хаос на финансовите пазари, например. Също, като споменаваш наплашеното население можеш да се сетиш, че далеч непренебрежима част от него е радикализирано. Пусни клип, в който Тръмп казва, че в Близкия Изток са избили 1000 американски военни, на което трябва да се отговори с твърда ръка, и гледай как реднеците с пушки моментално ще излезят на лов за хора с по-тъмна кожа. Възможностите са безкрайни.
deowin | 13.02.2018 21:41 "обикновен хаос на финансовите пазари... реднеците с пушки моментално ще излезят на лов за хора..." Върни се горе да прочетеш внимателно текста! Какво общо имат реднеците с дипломацията и геополитиката? А играчите на финансовите пазари макар да се влияят от слухове не са чак толкова прости. Едно, че през последните 15 години се понаучиха да не вярват на всяка тъпотия от Интернет. Второ, че никога не е достатъчна една новина за да предизвика хаос. Пример - акциите на Интел. Миналата година бяха настъпани от АМД, а преди месец се оказа, че интелските процесори са по-силно засегнати от дупки, отколкото тези на другите производители. По твоята логика трябваше акциите на АМД силно да се вдигнат, а акциите на Интел силно да спаднат. Но резултатът на финансовите пазари е, че акциите на АМД поскъпнаха, но и на Интел също поскъпнаха, и се задържаха високо. В момента са средно с 30% по-скъпи отколкото миналото лято. И малко по-скъпи, отколкото в началото на януари при излизането на новината за уязвимите процесори. А и подценяваш факта, че Интернет е нож с две остриета. Да, можеш да бързо да предизвикаш вълнения, но противникът също може бързо да пусне опровержение. Даже Тръмп е способен да напише туит по-бързо, отколкото ти и аз можем да кликнем с мишката за да се логнем в YouTube.
>По твоята логика трябваше акциите на АМД силно да се вдигнат, а акциите на Интел силно да спаднат Не. Опростенческите ти виждания за това какво движи цените на акциите на пазара са инфантилно високомерни и неинформирани. Казвам ти го като човек, който е работил на Wall St 12 години и все още дори не помисля да инвестира в акции на отделни фирми. Аз поне знам какво не знам, поне част от моите unknown unknowns са known unknowns. При теб звучи като да не е така, защото, както е характерно за огромното болшинство от хората, самомнително заменяш смиреното осъзнаване на незнанието с вярата в някой опростенчески, но и удобно разбираем дори за теб, модел за това, които наистина не знаеш и често никога няма да разбереш, понякога просто защото е непознаваемо. >Интернет е нож с две остриета Само че и двете остриета далече по-лесно режат глави, далеч по-лесно унищожават и се използват за всевъзможни деструктивни цели, отколкото за нещо полезно, защото да разрушаваш е с порядъци по-лесно, отколкото да градиш, както просто следва от естествената тенденция на ентропията.
deowin | 14.02.2018 17:19 "Опростенческите ти виждания за това какво движи цените на акциите на пазара... Казвам ти го като човек, който е работил на Wall St 12 години..." Е, очевидно нищо не си научил за тези 12 години, щом като говориш за хаос на борсите предизвикан от едно единствено фалшиво видео. Пич, явно не си забелязал, че през последните 6 месеца имаше две подобни събития. Миналото лято Ким Чен Ир каза, че ще удари Гуам с ядрено оръжие и заплахата продължи дни наред. А преди месец в Хавай разпратиха на населението сигнал за приближаваща ядрена ракета. Е, какво стана на финансовите пазари? И в двата случая нищо. Пък имаш наглостта да ми говориш за опростенчески виждания? Целият ти пост е сбирщина от общи приказки целяща да маскира собствената ти заблуда за околния свят.
>очевидно нищо не си научил за тези 12 години Предполагам това е доста удобна версия на реалността за човек, който не е прекарал и 1 година в сферата. Естествено, възможно е точно така. Вероятно ли е, обаче? >Миналото лято Ким Чен Ир каза, че ще удари Гуам с ядрено оръжие >Е, какво стана на финансовите пазари? И в двата случая нищо. Нищо?? Ти в кой свят живееш? VIX скочи с около 60%. Предполагам няма как да знаеш, но това имаше конкретни отражения върху всички макро фондове, които търгуват волатилност или са изложени по друг начин към този риск, например чрез опции. Ако мислиш, че това не се отразява върху обикновения човек, то вероятно е защото не знаеш, че в макро фондове инвестират и всевъзможни пенсионни фондове, университетски дарителски фондове, купища общи фондове, в които хората си инвестират парите от личните пенсионни спестявания (401k, IRA), и прочие. Момент, ти изобщо знаеш ли какво е волатилност? Или, да позная, силно опростенческият ти модел не включва нищо друго, освен цените на акциите на борсата? Да позная ли, че гледаш само нивата на SPX, DJIA, R3K, STOXX, DAX? Ще те светна, съществуват още 4 широки класа финансови инвестиции освен акции и техни деривативи. За сравнение, обемът на дневното търгуване на fixed income пазара е 30 пъти по-голям от този на пазара на акции. Дневният обем на FX пазара е 100-200 пъти по-голям (сериозен leverage в FX). За кредитния пазар и този на суровини нямам информация и не ми се търси в момента, но вероятно и те са значително по-големи. Сещаш ли се какви поразии можеш да направиш с дезинформация в огромния и доста важен пазар на енергия, например, особено като вземем предвид, че информационното съдържание на фючърс цените там е съществено, защото далеч не е толкова лесно и практично да се прави арбитраж?
deowin | 15.02.2018 00:15 "Нищо?? Ти в кой свят живееш? VIX скочи с около 60%." Живея в реалния свят, в който на изопачаването и преувеличенията не се гледа с добро око. VIX скача с подобни нива по няколко пъти на година и на никого не му прави впечатление освен на пряко засегнатите. Миналата година освен през въпросния август скочи през май и през април. Хората почват да се потят само ако скочи повече, както беше преди десетина дни, когато скочи с 300%. Освен това големите скокове на VIX най-често са повлияни от финансови събития, а не от политически. Миналата година всички анализатори отбелязаха, че VIX е сравнително спокоен, въпреки хаоса с който започна управлението на Тръмп. Да, знам какво е волатилност, пич. Само че дребните скокове слабо влияят на глобалните процеси. При това макроикономиката не е квантова физика и опитите да се изкараш владетел на тайно познание са нелепи.
deowin | 13.02.201821:41 >Дори записът да е перфектен пак трудно ще предизвика реакция на противниковото правителство Съвсем не е необходимо да подмамиш нечие правителство да реагира с червения бутон за ядрена контраатака. _________________________ Емо, тук съм напълно съгласен с Део, дори и финансовите пазари да не реагират, последиците може да са трагични. Сети се за козлодуйското предаване на Куку. Представи си да пуснат по телевизията Тръмп, който заявява как Ким е ударил Хавай, подплатено с кадри на ядрен взрив, разрушения, кървища и т.н. Голяма е вероятността населението да се юрне да граби магазини, да се крие и т.н. и всичко това съпроводено с неизбежните зверства и убийства. Докато полицията и властите успеят да обяснят и успокоят нещата, могат да се случат безброй необратими събития... Тогава и финансовите пазари могат да реагират - вече на база реални неща.
>както беше преди десетина дни, когато скочи с 300% Не знам колко "знаеш" какво е волатилност и колко току-що погледна какво значи VIX, но очевидно не следиш нещата, ако си мислиш, че това нямаше последствия. Няколко inverse vol ETF-а затвориха, а те бяха доста популярни и бяха събрали сериозни инвестиции, защото през последните 2-3 години постоянно правеха пари. И отново ще спомена за тесногледото фокусиране върху пазарите на акции. Те са най-видими за обикновения инвеститор, да, но и са най-малко съществени за световната икономика. За съжаление точно при пазарите на акциите електронното търгуване е най-широкоразпространено и арбитражът е сведен до практически нула, което означава, че цените (почти) оптимално отразяват всичката публична информация. Тоест, точно този пазар е най-малко вероятно да се повлияе съществено от дезинформация. Другите пазари за далеч по-ръчни, далеч по-зависими от човешката преценка и, съответно, далеч по-уязвими към дезинформация от вида на тази, за която говори статията.