【摘文1】導論 混亂的反烏托邦

Youtube上有一支關於美國前總統歐巴馬的瘋傳影片，點閱次數近七百五十萬。影片標題極為誘人：「你一定不相信歐巴馬在這段影片說了什麼！」只見歐巴馬直視鏡頭、坐在桃花心木椅上，場景就像白宮的總統辦公室。歐巴馬看起來老了些──從他髮間摻雜的白髮即可見端倪，但他的模樣依然非常輕鬆自信。而在他右肩後方可以窺見美國國旗。一如往常，歐巴馬穿著體面，平整的白襯衫搭配藍色領帶，西裝外套左領別著美國國旗。你點下了播放鍵，「我們正進入一個年代，我們的敵人可以讓任何人、在任何時間、說出任何內容，」歐巴馬在影片開場說道：「即使是那些人永遠不會說的話。舉例來說……」他加上手勢：「他們就有辦法讓我說出：『川普總統不折不扣是個笨蛋！』」他的眼神似乎帶有笑意：「現在明白了吧，我絕對不會說這種話，至少不會在公開場合說。」

歐巴馬從未說過這些話。這是一支假影片──亦即所謂的「深度造假」（deepfake），乃是人工智慧（Artificial Intelligence，簡稱AI）的產物。歡迎各位來到未來，在這個時代，人工智慧的力量已經能讓任何人說出他們不曾說的話、做出他們不曾做過的舉動。每個人都可能成為目標，也都可能否認一切。在失能的資訊生態系統（information ecosystem，特徵就是錯誤資訊〔misinformation〕和不實資訊〔disinformation〕）之中，人工智慧和深度造假就是最新的威脅，而且持續不斷升級。

◎何謂深度造假

深度造假是一種「合成媒體」（synthetic media，，又譯「合成內容」），代表媒體內容（包括圖片、影像和聲音）受到操控，或完全由人工智慧創造。AI技術讓媒體控制變得更輕鬆，也更容易了（例如Photoshop或Instagram的濾鏡功能）。然而，AI近年來的發展已讓機器具備製造完全合成媒體的能力，媒體控制的層次也隨之提高。這種現象將產生巨大的衝擊，影響我們創作、溝通，以及詮釋世界的方式。這項科技雖然興起不久，但不出幾年，任何持有智慧型手機的人，只需要些微技巧或努力，就可以幾乎零成本地創造出媲美好萊塢等級的特效。

雖然這種技術帶來許多正面發展（例如電影和電腦遊戲變得更有看頭），但也能變成一種攻擊武器。當合成媒體被人惡意使用，企圖提供不實或錯誤資訊時，就是所謂的「深度造假」。這是我個人對於「深度造假」的定義。這個領域才剛興起，因此在分類上依然莫衷一是。然而，由於合成媒體的使用案例好壞皆有，而我為「深度造假」下的定義是：專指任何意圖提供錯誤和不實資訊的合成媒體。

方才提到的歐巴馬假影片，是由好萊塢導演喬登．皮爾（Jordan Peele）和美國網路新聞媒體公司Buzzfeed基於教育目的而共同製作的──提醒民眾提防濫用合成媒體帶來的潛在威脅。片中「那個歐巴馬」繼續說：「從今而後，對於網路上那些令我們相信的資訊，應更加警覺。這句話聽起來可能了無新意，但我們如何因應資訊時代（Age of Information），將會決定我們是生存下來，或是整個世界淪為混亂的反烏托邦。」

不幸的是，我們已經身處「混亂反烏托邦」之中了。在資訊時代，我們的資訊生態系統早已遭到污染，而且非常危險。我們正面臨空前巨大的「錯誤和不實資訊」危機。為了分析和討論此問題，我需要找到一個適合的詞彙來描述當今全體人類所處的「混亂」資訊環境。而我決定使用「資訊末日」（infocalypse）一詞。為了符合本書題旨，我將資訊末日定義為：目前絕大多數人所生活的資訊生態系統，危險程度日漸增加，可信度卻愈來愈低。

「資訊末日」一詞由美國科技專家阿維夫．歐維亞（Aviv Ovadya）於二○一六年提出。當時他用這個詞彙，警告世人留意惡質資訊已充斥整個社會，同時思忖有沒有一種「臨界指標」（critical threshold），一旦達標，社會將再也無法負荷。歐維亞所指的「資訊末日」，並沒有單一明確的定義，而是涵蓋不同觀念而成。而正如他所正名，資訊末日並非靜態的「事物」或單一事件，而是人類社會持續演變的狀態，我們每個人涉入的程度都將愈來愈深。我個人認為，資訊末日現象影響的層面將日漸擴大，對地緣政治（geopolitics）、乃至於我們的個人生活，都將產生危害。

我們難以指出資訊末日形成的開端，或實質的影響程度。不過，資訊末日確實與本世紀初科技發展呈指數成長有關。在邁入千禧年之前，資訊環境進步的速度較為緩慢，我們的社會有更多時間適應科技發展。從印刷術誕生到攝影術問世，足足間隔了四百年之久。但僅在過去短短三十年內，網路、智慧型手機和社群媒體就改造了我們的資訊環境。到了二○二三年，全球大約三分之二的人口（約五十三億人）都會加入這個急速演變的資訊大環境；另外三分之一很快也會跟進。影像已經成為這個資訊生態環境最強而有力的溝通媒介。

演變之快，導致資訊生態系統很容易遭人利用。惡意的行動者（bad actor）──大至民族國家，小至個人行動的「意見領袖」──也逐漸利用新環境的形勢來散播「錯誤資訊」（亦即刻意誤導大眾的資訊），圖謀不軌。快速變動的資訊環境還有一種副作用，正是「錯誤資訊」的擴散。錯誤資訊和不實資訊不同。不實資訊的目的是欺騙，而錯誤資訊僅是不可靠的消息，背後沒有惡意。雖然錯誤或不實資訊都不是新觀念，但規模今非昔比，且影響力益發強大；某部分而言，這是去脈絡化以及（或者）經過編輯的影像與圖片所致，也就是我們熟知的「粗劣造假影片」（cheapfake）。由於我們目前仍處於AI革命的起步階段，這起革命將導致資訊生態系統進一步演進，使得問題更加惡化。機器愈來愈擅長製造合成媒體，人類互動及詮釋資訊和世界的方法也會改變。AI革命所帶來的，將是真假難辨的錯誤和不實資訊，亦即「深度造假」。

資訊末日有個顯著特徵，那就是人們對於如何呈現和理解這個世界，想建立合理的共識愈來愈難了。我們時常覺得自己被迫「選邊站」。進入資訊末日，即使想建立普遍「事實」的原則，並在此原則下進行理性辯論，都可能成為一大挑戰。在受到污染的資訊生態系統之中，愈來愈多人日漸政治化；面對棘手的問題（種族、性別、墮胎、英國脫歐、唐納・川普、武漢肺炎〔COVID-19，又稱新型冠狀病毒肺炎，簡稱新冠肺炎〕等），立意良善的努力被導向輸贏之爭，終究落入派系對立的惡性循環。資訊末日下，爭執雙方無法說服彼此──每一次嘗試都只是在承擔歧見加深的風險。除非將注意力和能量導向正途，去面對失能的資訊生態系統所產生的結構問題，否則無法阻止社會逐漸走向分裂。

【摘文2】第五章 失控的深度造假

資訊末日讓騙徒和罪犯更為橫行。在日漸增加、持續演進的威脅下，個人和企業都變得更脆弱。雖然這類攻擊出現的時間已不可考，卻在資訊末日推波助瀾下變得更容易進行，也更危險、普遍。深度造假將是惡徒的下一個武器。

他們的計畫十分大膽，令人匪夷所思。二○一六年，一群騙徒偽裝成法國國防部長尚－伊夫．勒．德里安（Jean-Yves Le Drain），成功騙取了五千萬歐元。他們借助影音通訊功能，透過電話和視訊通話和富人取得聯絡，要求資助法國政府的「機密」任務。計畫相當魯莽，所用的工具也相對不具科技性。其中一名騙徒戴上矽膠製作的勒．德里安面具，坐在一張看似政府的辦公桌後方，背景懸掛著法國國旗。接著，騙徒開口要求數百萬歐元獻金。在Google圖片搜尋輸入「勒．德里安詐騙案」（Le Drain Plot），就會看見這些詐騙目標曾在視訊通話中看見的影像，效果甚至無法和前幾章提到的深度造假案例相提並論。配戴勒．德里安矽膠面具的男子看起來就像惡夢裡會出現的角色，面無血色、眼睛只剩下詭異的黑色空洞。然而，仍有三位在現實生活非常成功、給人精明印象的商界代表上鉤了；其中包括伊斯瑪儀派穆斯林（Ismaili Muslims）的精神領袖阿迦汗四世（The Aga Khan IV），他將兩千萬歐元分五次匯入設於波蘭和中國的帳戶；而土耳其商業鉅子伊南．克拉齊（İnan Kıraç），則以電匯轉出四千七百多萬歐元，以為這筆款項會用於替敘利亞遭綁架的兩位記者支付贖金。

看來荒謬不已的詐騙計畫卻獲得成功，證明了影音通訊的效果。如同第一章所述，我們只是還沒意識到聲音和影像是能夠被竄改的媒體。我們屢次掉進冒名頂替詐欺的陷阱（即使是那些最富裕、擁有最多資源及最受保護的人也一樣）。二○二○年，英國的哈利王子接到兩名俄羅斯騙徒的惡作劇電話，他們偽裝成瑞典環保少女葛莉塔‧通貝里（Greta Thunberg）及她的父親。哈利王子犯下外交大忌，在電話中透露他認為美國總統唐納．川普「手上沾滿鮮血」。哈利王子甚至被套話，開始討論起當時全球最熱門的新聞話題之一──「脫離王室」（Megxit），亦即他和妻子梅根卸下英國王室成員身分的決定。假如，戴著橡膠面具的詐騙集團能透過鏡頭，說服全球最富有的人交出數百萬歐元；一通俄羅斯的冒名惡作劇電話，能讓哈利王子開口談論非常私人的事；這就足以推論，我們還沒準備好應付深度造假。如同第一章的討論，深度造假的範圍已超越單純的媒體操控；由於深度造假可從訓練用的數據無中生有，罪犯和騙徒就能有效竊取、利用我們的生理資料：他們能用我們的影像和聲音，讓我們說出沒說過的話、做出沒做過的事。

聲音詐騙是全世界騙徒都在使用的強大手段，AI則是共犯。藉由深度造假的語音軟體，AI相當善於生成人聲。請參考YouTube網站的「語音合成」（Vocal Synthesis，簡稱VS）頻道。該頻道由一位匿名YouTube用戶在二○一九年八月成立後，迅速累積了近七百萬瀏覽次數。頻道內容全是名人及政治人物的合成語音，使用Google開發的開源AI軟體Tacotron 2製作。語音合成頻道的目的顯然是娛樂大眾而非造成傷害，但頻道內容盜用了他人的聲音──包括讓已死的人「復活」──隨即也產生了道德和法律上的疑慮。

「語音合成」頻道最受歡迎的影片，讓美國總統約翰．甘迺迪的聲音在人世重現。影片標題是〈甘迺迪講海豹部隊哏〉，我看到時只覺得莫名其妙──「哏」？我點下播放。聽見甘迺迪獨特的聲音，我嚇了一跳。影片中的聲音說：「幹，你他媽的剛剛說我怎樣，你這小賤貨。」「給我聽好，我在海豹部隊畢業的成績數一數二。我出過超多次突襲蓋達組織的機密任務，戰績三百人以上。」怎麼回事？聽起來的確有點僵硬、不自然，但那絕對是甘迺迪本人的聲音，有著甘迺迪獨特的腔調和抑揚頓挫，就像原音重現。

「海豹部隊哏」是知名的網路迷因，取笑在網路上假裝自己是「硬漢」的人。出處是二○一二年的一篇瘋傳文章──原作者當時的確想假裝自己是個「硬漢」。為了回應其他網友的評論，他寫下一系列荒謬的聲明，毫不掩飾地向對方示威：包括他是戰鬥經驗豐富的前海豹部隊成員，以及「殺了三百人」。文章內容充滿滑稽的錯字和誇飾，例如「油雞（游擊）戰」和「兩手空空我也能用超過七百種方法殺了你。」現在，在人工智慧的幫忙下，甘迺迪的聲音重現了這段經典的霸氣網路發言，腔調模仿得維妙維肖。甘迺迪說：「我是『油雞』戰訓練出來的，我是全美軍隊最強悍的狙擊手。」接著用好認的麻州腔調說道：「你什麼都不是，只是我另一個靶子。」海豹部隊哏的原音重現影片，長度整整有一分四十四秒。

很快地，AI就能將這段語音置入影片。屆時，我們不只能夠聽見甘迺迪說話，也可以看見他的嘴型配合說話的內容；他能眨眼，頭部能動，也有肢體語言。史達林手下的照片編修人員能讓失寵的蘇聯政治人物「人間蒸發」，合成媒體則是可以徹底改寫歷史。「語音合成」頻道其他頗受歡迎的影片，還包括了美國總統小布希。他用拖著長音的德州腔，講出饒舌歌手五角（50 Cent）在知名歌曲《嘻哈大舞廳》（In da Club）裡性意味濃厚的歌詞，包括那句「我要去打炮，不是去做愛」。除了甘迺迪，「語音合成」頻道也讓其他早已不在人世的美國總統復活，例如羅斯福和雷根。

二○二○年四月，饒舌巨星傑斯（Jay-Z）控告「語音合成」頻道侵權。該頻道製作了另外一部以傑斯為主角的AI影片，「傑斯」以rap唱出莎士比亞《哈姆雷特》的獨白「生存還是毀滅」（To be or not to be）以及《聖經》創世紀的內容。傑斯要求頻道下架影片，因為影片未經傑斯同意就擅自使用他的聲音。「語音合成」在自家頻道上傳影片回應，用的還是複製川普和歐巴馬的聲音，表示他們「對傑斯非常失望」，因為他「用這種方式霸凌一個微不足道小的YouTuber」。傑斯與「語音合成」頻道的糾紛是個前兆，顯現在資訊末日下，一旦合成媒體變得普及，隱私、安全及同意權也會更常受到挑戰。

另外一個較早發生的例子和喬丹．彼得森博士（Dr. Jordan Peterson）有關。這位知名意見領袖控告NotJordanPeterson.com網站，因為該網站讓用戶以喬丹．彼得森博士的聲音生成深度造假語音。他尤其憂心自己的黑粉會使用深度造假技術惡搞並醜化他的形象。舉例來說，有位記者利用這個網站，讓彼得森朗讀了《人渣宣言》（SCUM Manifesto）。《人渣宣言》寫於一九六七年，作者是基進女性主義者瓦萊麗．索拉納斯（Valeria Solanas），內容極為暴力且令人不安。索拉納斯在《人渣宣言》中主張，男人只是「生物學的意外」，女性必須「立刻」在「沒有男性協助下」繁衍下一代，而「每個男人的內心深處都明白自己只是毫無價值的垃圾。」基於索拉納斯提倡的暴力意識形態，彼得森反對自己的聲音被這樣挪用。寫完《人渣宣言》一年後，索拉納斯開槍射傷了藝術家安迪．沃荷（Andy Warhol）。雖然沃荷倖免於難，往後的人生卻都必須穿著壓力衣。彼得森描述了他在二○一九年八月發現這些深度造假語音時煩悶的心情：

我已經身陷其中（許多人可能很快也跟我一樣必須面對），任何人都能製作和我本人沒兩樣的聲音或影像，讓我說出任何他們想讓我說的話。我還能怎麼辦？真正的問題在於：在不久的將來，我們又該如何相信電子媒體傳達的一切訊息（以下一次美國總統大選期間為例）？（中略）各位必須認清現實，你們的聲音、你們的肖像權都面臨很高的風險。對於將我們彼此串聯，讓我們保持安定的共識，還有什麼比這更嚴峻的挑戰？我們必須盡快訴諸合法的管道，阻止深度造假的製造者。

◎全民危機

彼得森是對的。我們必須認清現實。深度造假詐騙勢必是未來的趨勢。二○一九年三月，《華爾街日報》（The Wall Street Journal）的報導指出，一間英國能源公司因深度造假語音詐騙損失了二十五萬歐元。這間公司不願曝光，但其保險公司向《華爾街日報》透露這起事件，宣稱犯人使用AI模仿公司德籍執行長的聲音。對方以這個聲音致電該公司的資深員工，要求他立刻將二十五萬歐元匯入據稱是能源供應商的帳戶（聲音檔案並未由外部專家驗證，因此我們無法斷言是否為深度造假）。該名員工認為這個要求不太尋常，但仍遵從指示，因為他認為自己是在和主管通話。直到對方再次要求匯款二十五萬元，他才驚覺有異。等到銀行及有關當局介入調查時，款項已不知去向，線索也就跟著斷了。

假如這些人真的用AI複製了執行長的聲音，技術上的確可行。他們應該是蒐集了執行長的個人數據，用來訓練AI演算法。以這個案例來說，數據就是德籍執行長的聲音。由於他地位顯赫，聲音可能早已公開也容易取得。也許公司官網或YouTube、LinkedIn網站上就有他演講的影片。他可能出現在社群媒體上的一段錄音或影像，例如新聞頻道的採訪；亦可能以個人身分出現在社群網站。即使執行長本人不曾發表任何內容，其他人卻能發表與他有關的內容。

一旦得以竊取他人聲音和外貌，老哏的冒名詐欺技術就能捲土重來。德籍執行長事件在二○一九年三月登上頭條後，資訊安全公司賽門鐵克（Symantec）隨之公布，四個月內就有三間公司因相同的手法遭到詐騙；騙徒都使用AI複製人聲，致電資深財務主管要求緊急匯款。賽門鐵克並未透露企業名稱，但證實這些公司損失了數百萬美元。詐騙案造成的實際損失難以量化，但據統計已達數兆美元。克羅伊．懷特希爾會計事務所（Crowe Whitehill）及樸茨茅斯大學反詐騙研究中心的年度報告指出，二○一九年全球因詐騙導致的金融損失為五兆一千二百七十億美元，相較過去十年提升了百分之五十六。損失增加與資訊末日出現的時機相符。隨著深度造假更為普及，這種趨勢很有可能持續下去。我採訪了馬修．費雷諾（Matthew F. Ferrano），他過去曾任職情報單位，現在則在國際法律事務所威爾莫海爾（Wilmerhale）擔任顧問──威爾莫海爾也對深度造假和不實資訊導致的全面性商業危機提出警告。目前的一般風險抵減措施雖然足以對付「不實資訊」，馬修告訴我，企業遲早必須投入資金研發專門的工具及策略，主動對抗這種特殊風險。消費者信用報告公司益博睿（Experian）也同意這個觀點。在我撰文當下，該公司也預測，二○二○這一年，深度造假將成為大型企業更常見的亂源；即使未在二○二○年大舉進攻，也只是時間的問題。犯罪者必定會使用深度造假，因為這項技術能用於進行鉅額詐騙。

需要擔憂的不只是企業，一般民眾也將遭受攻擊。AI合成媒體的發展非常迅速，生成深度造假所需的數據已愈來愈少，影像和語音皆是如此。二○一七年成立的「Lyrebird」公司宣稱，數據資料的長度只需幾分鐘，就能生成仿真的深度造假語音。未來，他們可能只需要數秒（Lyrebird已被Descript公司收購；Descript正在發展一種新技術，讓使用者能像編輯文字一樣，修改聲音檔案）。這代表不僅是首當其衝、受大眾關注的知名人物（AI的訓練數據相對容易取得），任何人都是潛在的目標。只要你是社群媒體的活躍使用者，你所發布的內容就會任人取用。即使不用社群媒體，你也可能出現在朋友或家人發布的內容。你可能在職場上被拍下影片或照片；行動電話可能遭到入侵，私人照片和影片被竊取用於製作深度造假。

這並非危言聳聽。假如你曾在任何時間、以任何形式留下影音紀錄，例如照片、影片或錄音，理論上，你就可能成為深度造假詐騙的受害者。深度造假的詐騙方式無以計數，從入侵我們的網路銀行帳戶，到偽裝成我們的家人或貧困的朋友。年長或弱勢族群往往成為個別詐欺犯的目標，因為他們更容易受騙。然而，隨著深度造假出現，即使是最有判斷力和經驗的人都可能上當。

【摘文1】導論 混亂的反烏托邦

Youtube上有一支關於美國前總統歐巴馬的瘋傳影片，點閱次數近七百五十萬。影片標題極為誘人：「你一定不相信歐巴馬在這段影片說了什麼！」只見歐巴馬直視鏡頭、坐在桃花心木椅上，場景就像白宮的總統辦公室。歐巴馬看起來老了些──從他髮間摻雜的白髮即可見端倪，但他的模樣依然非常輕鬆自信。而在他右肩後方可以窺見美國國旗。一如往常，歐巴馬穿著體面，平整的白襯衫搭配藍色領帶，西裝外套左領別著美國國旗。你點下了播放鍵，「我們正進入一個年代，我們的敵人可以讓任何人、在任何時間、說出任何內容，...

推薦序∣歡迎來到最後真相的錫安城，一起守護───葛如鈞

導論∣混亂的反烏托邦
第一章∣深度造假的引爆點：Reddit子論壇「r/deepfakes」
第二章∣俄羅斯：資訊戰大師
第三章∣西方世界：內部威脅
第四章∣全球資訊失序：亞洲、非洲和拉丁美洲
第五章∣失控的深度造假
第六章∣武漢肺炎：資訊末日全球擴散的「最佳案例」
第七章∣「反資訊末日」盟友集結！

參考資源
註釋
致謝

推薦序∣歡迎來到最後真相的錫安城，一起守護───葛如鈞

導論∣混亂的反烏托邦
第一章∣深度造假的引爆點：Reddit子論壇「r/deepfakes」
第二章∣俄羅斯：資訊戰大師
第三章∣西方世界：內部威脅
第四章∣全球資訊失序：亞洲、非洲和拉丁美洲
第五章∣失控的深度造假
第六章∣武漢肺炎：資訊末日全球擴散的「最佳案例」
第七章∣「反資訊末日」盟友集結！

參考資源
註釋
致謝