編者按：反思是必要行為，越及時越好，越清醒越好。 本文作者James Bridle在 “Something is wrong on the internet” 一文中從YouTube上供孩子們觀看的視頻入手，剖析了互聯網通過自動化、規模化框架所產生的一個黑暗世界。 而重要的是，我們該如何行動。
我隨著互聯網成長，確信它是對於今天我之所以為我的最重要影響之一。 13歲那年，我開始接觸互聯網，當時電腦就放在我的臥室裡。 互聯網讓我有機會接觸到了許多完全不適合青少年接觸的東西，但是這都還好。 它一直以我認為的於己有益的方式對我的身份產生至關重要的影響，塑造了我的人際關係、文化與政治認知。 我一直是互聯網及其所帶來的一切影響的重要支持者，並認為它是有益的且具有解放意義。 在一開始說明這一點是因為，下文中我將講述互聯網所產生的影響以一種意味深長的方式駁斥了我的上述假設與偏見。
我經常問自己的一個假設性問題是，對自己的孩子擁有相同的上網方式有什麼看法。 我發現這個問題越來越難回答。 這可能是隨著年齡增長而自然發生的變化，而且在某種程度上這個問題的假設性因素越來越少。 我不想做一個偽君子。 我希望我的孩子擁有與我一樣去探索、成長和表達自己的機會。 我希望他們擁有這個選擇。 這種信念使人們放鬆了對互聯網在公共生活中扮演角色所持有的態度。
我也意識到，年輕孩子與YouTube之間的共生關係與日俱增。 我看到孩子們無論是在嬰兒車裡，還是在餐館裡，都整天關注著屏幕，同時伴隨著一種類似於勒德分子（Luddite，十九世紀初英國手工業工人中參加搗毀機器的人 ，現泛指強烈反對機械化或自動化的人）的陣痛。 但我不會為他人或者是他人父母做出判斷。 我也看到家人和朋友的孩子投入地看《小豬佩奇》和童謠視頻，這給他們帶來愉快和放鬆，所以這也還好。
我至今沒有孩子，而現在只想一把火把所有東西燒掉。
一些人、一些事抑或是一些人與事的結合體正在以自動且大規模的方式通過YouTube系統性的恐嚇、傷害和虐待兒童，這迫使我從任何方面質疑自己對於互聯網的看法。 在下文中，雖然我要說的大部分內容已經在其他地方報導過了，但是就我所看的主流報導沒有一個能真正理解那些似乎正在發生的事情的含義。
我將由此開始：專為孩子開闢的YouTube內容清楚且引人注目地呈現怪異姿態。 我意識到它的古怪已經有一段時間了。 去年，有許多文章都提到了驚喜蛋（Surprise Egg）熱潮。 驚喜蛋視頻通常以一種極其痛苦的長度展示了打開金德和其他玩具蛋的過程。 就是這麼回事，但是孩子們對此著迷。 即使沒有數百萬，也有成千上萬的孩子們在觀看成千上萬這類視頻。
自2010年以來，驚喜蛋的製作者已經累積了370萬訂閱用戶，這個孩子友好頻道僅僅致力於打開驚喜蛋和拆箱玩具就達到略低於60億的瀏覽量。 視頻標題模糊了品牌線並搭賣廣告：“ Blu Toys Surprise Brinquedos & Juegos ”“ Cars Screamin’ Banshee Eats Lightning McQueen Disney Pixar ”“ Disney Baby Pop Up Pals Easter Eggs SURPRISE ”。
在我寫這篇文章的時候，製作者一共製作了4426個視頻。 與賈斯汀·比伯官方頻道超100億的瀏覽量相比，全職YouTube名人PewDiePie擁有近120億的瀏覽量，就好像這個男人用一雙溫柔地打開驚喜蛋的雙手為生。 （驚喜蛋視頻都配有前貼片廣告、中斷廣告和其他廣告形式。）
這讓你了解到孩子們的在線視頻世界是多麼怪異，而這些視頻標題則暗示了這種怪異所涉及的不同尋常的範圍和復雜程度。 我們馬上就會講到後者。 但是，就目前而言它已經顯得非常奇怪。
另一種尤其對於小齡孩子來說很受歡迎的巨量內容，是童謠視頻。
製作這種視頻的 Little Baby Bum 在YouTube最受歡迎頻道上排名第7。 他們共產出515個視頻，擁有1150萬訂閱用戶和130億瀏覽量。 同樣，我在下文很快會說到這些數據的準確性也存在問題，在此處我想說明這是一個龐大的網絡產業世界。
點播視頻對於父母和孩子來說都是“貓薄荷”，對於內容創作者和廣告商來說也是如此。 小一些的孩子無論是出於熟悉的人物還是歌曲，或者是簡單的色彩和舒緩的聲音而被這些視頻迷住。 這些視頻的長度（一個常見的處理方法是將許多童謠或卡通片段彙編在一起+編輯）和將視頻長度作為營銷手段一部分，旨意了那些孩子們觀看這些視頻所度過的時間。
因此，YouTube廣播公司想出大量策略來吸引家長和孩子們的注意力，並獲得伴隨這些行為而生的廣告收入。 第一個策略是複制和剽竊其他內容。 以我的嘗試為例，在YouTube上搜索“小豬佩奇”會收到“大約10400000個搜索結果”，而首頁內容幾乎全部來自經過認證的“小豬佩奇官方頻道”，同時有一個視頻 來自於未經認證的頻道，叫做 Play Go Toys ，除非你刻意尋找否則很難注意到它。
據我猜測， Play Go Toys 頻道裡的《小豬佩奇》和其他卡通片、玩具拆箱內容是盜版的，此外還有一些我認為應該是頻道主自己孩子的視頻。 我並不是要說Play Go Toys有什麼不好；我只想簡單說明YouTube的框架以怎樣的方式導致內容與創作者的分離，而這將如何影響我們對於信源的認識和信任行為。
正如 另一位博客作者所指出的 ，品牌內容所扮演的傳統功能之一是保證信源可信性。 無論是兒童電視上播放的《小豬佩奇》還是迪士尼電影，不管人們對於這種娛樂生產的工業模式有什麼感受，這些視頻通過精心製作和受到控製而讓孩子們能以基本安全的方式觀看 它們，並且被賦予信任。 這不再適應於品牌和內容被平台分離的情況，已知的可信內容為那些未經認證和潛在有害內容提供了無縫銜接的網關。
（同樣，這與Facebook和谷歌上對可信新聞媒體的分離過程完全相同，而這些結果正在對我們的認知和政治體系產生嚴重破壞。我不打算在這裡進一步探討這種關係，但是它顯然 也非常重要。）
增加視頻點擊率的第二種方法是關聯關鍵字或是主題標籤，這是一種全然黑暗的藝術。 當某種內容，比如驚喜蛋視頻，成為趨勢而能夠抵達絕對多的大眾時，內容生產者就會蜂擁而至，製作出成千上萬類似的視頻。 這就是上面所提到的那些奇怪名字產生的緣由：官方內容、童謠標題和“驚喜蛋”都被塞進了同一個標題中以出現在搜索結果、側邊欄、以及“下一個”自動排名 的位置中。
一個奇怪例子是Finger Family視頻，我不知道他們從哪裡冒出來，也不知道這些童謠旋律的起源。 但是目前YouTube上至少有1700萬個版本，它們也涵蓋了包括上百億拼接場景在內的所有可能內容類型。
再說一次，必須認真對待視頻的瀏覽量情況。 其中大多數視頻本質上是由機器人所製作，被機器人所觀看，甚至被機器人所評論。 這是一個完全陌生的世界。 而不應該掩蓋的事實是，實際上還有許多孩子通過iPhone或者是平板電腦一遍又一遍地觀看著，這在某種程度上解釋了這些視頻的瀏覽量數值。 孩子們學著在瀏覽框中輸入基本搜索詞，或者是在側邊欄中簡單添加另一個視頻。
令我覺得有些不安的是，即使是相對正常的兒童視頻在網絡上的擴散也無法解釋其自動化的程度，如何剖析人與機器之間的差距呢？ 有近200萬訂閱者的 Bounce Patrol Kids 頻道顯示了這種影響。 其內容有專門的真人演員表演，以每週一個的製作速度發布專業製作視頻。
很奇怪，有一群人在無休止地演繹著由算法生成的關鍵字組合的意義所指涉的內容：“Halloween Finger Family & more Halloween Songs for Children | Kids Halloween Songs Collection”, “Australian Animals Finger Family Song | Finger Family Nursery Rhymes”, “Farm Animals Finger Family and more Animals Songs | Finger Family Collection – Learn Animals Sounds”,還有很多很多。 這是算法搜索時代的內容製作模式，即使你是人類，也必須去迎合機器。
其他視頻也會與人類演員一起，不斷製作出無限可重構的相同視頻版本。 當然，自動化在其中扮演重要角色。 各類庫存、音頻軌道和這些關鍵字列表以數千種方式拼接在一起源源不斷製作出視頻。 上圖中所展示的頻道， Videogyan 3D Rhymes — Nursery Rhymes & Baby Songs 通過組合這些日益複雜的關鍵詞，以每週幾次的頻率發布視頻內容。 他們有近500萬訂閱者，是Bounce Patrol訂閱者數量的二倍不止，然而我們依然不知道是誰或者是什麼累積起了這些數以百萬計的瀏覽量。
我試圖不讓這篇文章被沒完沒了的例子所充斥，但是我們需要了解這個體係有多闊大、以及是什麼決定了此種行動、過程和觀眾，這很重要。 這也涉及國際事宜：有許多Finger Family和Learn Colours視頻的不同語言版本，如 Tamil epics 和 Malaysian cartoons ，它們不太可能出現在任何英語使用者的搜索結果中。 這種極其不確定性和搜索行為是上述現象存在及產生影響的關鍵。 這種廣延性讓這種行為捉摸不定，甚至難以產生對其的真正思考。
我們已經看到了那些確之鑿鑿的例子，用以說明完全自動化帶來的不安結果，謝天謝地的是其中一些已經經由黑色幽默所發酵，而另有一些還沒有。 從T卹到咖啡杯，從嬰兒睡衣到手機殼，許多都是由圖片庫和按需製作的算法構建而成。 上圖中最近在Amazon上售賣的物品就是一個例子， 它如何產生的故事既迷人又怪異，但從本質而言可以理解 。 沒有人打算用藥物和醫療設備製作手機殼，這可能只是一個非常怪異的數字或概率結果。 但是，這個需要一段時間才能被人們注意到的事實敲響了警鐘。
同樣，“冷靜地強姦”（Keep Calm and Rape A Lot）T卹以及“冷靜地對她持刀”和“冷靜地打她”的結果令人沮喪且痛苦，但是卻也可以理解。 沒有人打算製造這樣的T卹，它們只是由一個未經核查的動詞和代詞列表與一個在線生成器所配對。 這些T卹相當有可能從沒有出現過、曾經被買過或是穿過，這樣就不會造成任何傷害。 但是又一次，製作這個內容的人沒有註意到，分銷商們也沒有註意到。 他們根本不知道自己在做什麼 。
基於這些案例以及那些我將要進一步說明的案例，我想說的是，這個系統的規模和邏輯是產生如此結果的同謀，我們需要好好思考它們的含義。
（再次說明，我不打算深入探討這些內容除這篇文章之外的更廣泛的社會影響，但是很明顯，人們可以從這些例子中找到一條解決大數據和機器智能驅動系統中存在的種族和性別 偏見等當代問題的明顯界限，這些問題需要迫切的關注但是我們卻沒有任何簡單的或者是更好的解決方法。）
我們可以在這些成堆視頻中選擇看一段，然後試著分析它來自哪裡。 需要重點強調，我並沒有打算去找某個特定視頻：在一個匿名瀏覽器窗口（例如，不應該受之前搜索行為的影響）中搜索“finger family”，這一視頻的排名很高。 這種自動化把我們帶到了某種奇觀中，“兔子洞”如此之深以至於我們不知道這樣的東西如何得以形成。
這個視頻標題為“ Wrong Heads Disney Wrong Ears Wrong Legs Kids Learn Colors Finger Family 2017 Nursery Rhymes ”。標題本身就證實了它來自於自動化合成。我不知道為什麼有“Wrong Heads”這樣的表達，但是可以猜想，就像“Finger Family Song”一樣，它通過與Learn Colors、Finger Family和Nursery Rhymes 這些詞彙拼接漸漸提高自己的算法排名，最終形成了我們所看到的這個標題。
這段視頻由一個普通的Finger Family歌曲組成，畫面中呈現出一個由迪士尼《阿拉丁》動畫中的角色頭部和身體拼接而成人物。 這的確很怪異，但是坦白講，並不比驚喜蛋視頻或其他童謠視頻奇怪到哪去。 但是我發現這種想法太天真了。 一個非《阿拉丁》動畫的角色艾格尼斯出現了，她是《卑鄙的我》中的人物。
這段視頻的製作者 BABYFUN TV 已經製作了許多類似的視頻。 《頭腦特工隊》的角色Hope與藍精靈和食人妖交換頭部。 BABYFUN TV只有170位訂閱者和非常低的瀏覽量，但是平台上有成千上萬個這樣的頻道。 長尾數字在抽象情況下並不能顯示出重要性，重要的是它們所實際產生的累積效果。
所以問題變成：這些是怎麼來的？ 在BABYFUN TV的頻道中也出現“Bad Baby”的修辭。 雖然我覺得令人不安，但是我能理解它是如何通過提供一些旋律、節奏或與他們自己經歷相關的東西而使得真正的小嬰兒被這些內容所吸引，它經由算法的反復與重組而以一 種沒有人會想要其發生的情況所扭曲和拉扯。
Toy Freaks頻道截圖
Toy Freaks 是一個非常受歡迎的頻道（平台排名第68位），主角是一位父親和兩個女兒。 除了學習兒歌和辨認顏色之外，Toy Freaks擅長製作一些令人噁心的內容，以及令許多觀眾都覺得自己受到虐待和剝削的行為，其中還不算特別嚴重的情節包括兒童嘔吐和疼痛的視頻。 Toy Freaks是一個經YouTube認證的頻道，無論這意味著什麼。
就像Bounce Patrol Kids一樣，無論你對這些視頻內容有什麼感覺，我們不可能知道自動化涉入的起點與抽身的終點，不可能知道誰來提出這些想法以及誰在扮演這些角色。 相反，在如Toy Freaks這類受歡迎的、由人類主導的頻道中，其所產生的影響使得它們通過越來越古怪且扭曲的重新組合方式在網絡中不斷出現。
而有些視頻比Toy Freaks和類似內容更令人不安。 下面是一個相對溫和，但依舊令人不安的例子：
比之前所提到的盜版《小豬佩奇》更甚，還存在一種山寨品。 這些內容也充斥著暴力。 在官方版本中，佩奇得到了和藹牙醫的適當安慰。 而從上圖的對比版本中看出，她受到了折磨。 搜索“peppa pig dentist”會在首頁上發現這些視頻，而這讓事情變得更糟。 （此處引用視頻已經被YouTube刪除，但是平台上仍有許多類似視頻。）
《小豬佩奇》這些令人不安的視頻內容，包括 佩奇吃自己的父親 和 喝漂白粉 在內，隱含著極端暴力和恐懼因素卻被廣為傳播。 它們是整個YouTube亞文化的一部分。
這段視頻以對於佩奇的拙劣模仿開始，後來進入到我們已經見過的那種情節的不斷重複中。 也許這就是釣魚行為（Troll，最初作為網絡用語用來描述在公共論壇等討論區故意用激烈言辭引起別人進行沒有意義的爭論的行為，後來釋義延伸為幾乎所有做出令人厭惡舉止的行為， 不論主動還是被動的）。 我希望它是。 但是我不這樣認為。 “釣魚”並不能解釋這些人類參與者的交集之處和更多自動化的例子。 它在其中顯現，卻不是故事的全部。
我想，不去深思熟慮這個問題是幼稚之舉，但是有如此多像牙醫情節一樣未認證的內容髮布，許多孩子們正在觀看它。 我知道大多數內容目的並不是把孩子弄得一團糟，但是它確實會帶來如此效果。
我嘗試去理解原因是什麼，這並不單單是對於“不會有人想到孩子”的束手無策。 顯而易見，這些內容不合適。 顯而易見，有一些不好的演員。 顯而易見，有些視頻應該被刪除。 顯而易見，這引出了關於合理使用、挪用、言論自由等問題。 但是那些僅僅通過鏡頭內容了解問題的報告並沒有完全理解正在發生的機制，因此也就無法從整體上考慮其影響，並作出相應回應。
《紐約時報》所寫的關於這些問題的文章“ On YouTube Kids, Startling Videos Slip Past Filters ”強調了那些令人不安的視頻中的假冒人物和童謠現象，並將其放置在適度性和立法的問題上面。官方應用YouTube Kids聲稱其內容對於兒童來說是安全的，但顯然不是如此， 這即是問題所在，因為它誤用了用戶的信任。英國小報《太陽報》的一篇文章“ Kids left traumatised after sick YouTube clips showing Peppa Pig characters with knives and guns appear on app for children ”也採用同樣思路，又增加了右翼技術恐懼和自以為是的分析。但是這兩篇文章都是從表面上評價了YouTube聲稱這些結果非常罕見且很快被刪除的行為。
Good Baby Toys頻道
這是 亞洲地區製作Toy Freaks的基本情況 。 還有 俄羅斯的 。 我不想再用“人主導”這個詞來形容這些視頻，儘管這些內容包含了相同的修辭和實際的人類角色。 我想不明白到底發生了什麼，我認為這就是問題的關鍵。 這就是我為什麼開始深思熟慮所發生的一切的部分緣由。 我們需要作出許多努力。 誰在寫這些腳本，誰在編輯這些視頻？ 再一次，我想強調：與許多東西相比這些仍然是相對溫和，甚至是有趣的東西。
有些事情令我不安：
- 第一件事情是恐怖和暴力被展示的程度。 互聯網提供一種放大且促進我們潛在慾望的方式；事實上，這是它看起來最擅長的。 我花了很長時間來論證這種傾向，關於人類的性自由、個人身份和其他問題。 而在這裡，絕大多數人有時會覺得，這種傾向本身就有一種暴力和破壞性傾向。
- 第二件事情是被剝削的程度。 不是因為他們是孩子而成為孩子，而是因為他們的無權利性而成為孩子。 像YouTube算法這樣的自動獎勵系統必定以資本主義的剝削方式進行剝削。 如果你對於對等式的後半部分感到惱火，也許這就是讓你信服真相的原因。 剝削被編碼到我們正在建構的系統中，使其更難被發現、更難於對其進行思考和解釋、更難於對抗和防禦。 這不是工廠由機器人構成以及人工智能統治一切的未來，而是此刻、現在，在你的屏幕上，在你的起居室裡，在你的口袋裡。
其中部分例子都試圖證明沒有人真的在看這些視頻，都是機器人在背後操作。 即使人類只出現在這個系統的生產方面，我也對他們表示擔心。
這段視頻“ BURIED ALIVE Outdoor Playground Finger Family Song Nursery Rhymes Animation Education Learning Video ”裡包含了我們上面所提到的所有元素，並產生比之前更嚴重的影響。熟悉的人物角色、童謠、關鍵詞、完全自動化、暴力、以及孩子們最糟糕的夢想。當然，這種視頻 大量存在著。一個頻道接著一個頻道，以每週數百個新視頻的更新速度進行播放。以工業化的水平生產噩夢。
最後：也有比這些更暴力和含有更多性內容的東西。 我並不打算給出鏈接。 我不相信它會給別人帶來精神上的創傷，但是有必須要繼續強調，不要忽視這些黑暗的、怪異的對成人沒有多少干擾的東西對於孩子的影響。
一位從事於數字視頻的朋友向我描述了製作這些內容需要些什麼：一個小型工作室（可能由6人，或者多些人組成）通過大量製造低質量內容而滿足這個系統的某些要求（ 長度似乎是其中一個因素）來獲得廣告收入。 根據這位朋友的說法，供兒童觀看的內容是3D動畫為數不多的賺錢方法之一，因其審美標準較低並可以通過大規模的獨立生產而獲利。 它使用現有的且易於獲得的內容（如人物模型和動作捕捉庫），通過不斷重複和修改而完成製作。 它可以不具有任何意義，因為算法不會對此歧視，孩子們也不會。
這些視頻，無論是在哪裡製作，無論是如何製作，無論是否有明確目（例如，積累廣告收入）都在以有意識向孩子們展示視頻的方式獲取利潤。 而不自覺的湧現出來的後果遍布各處。
讓孩子暴露在這種內容之中是虐待。 我們討論的不是電影或是視頻遊戲暴力對青少年存在爭議卻毋庸置疑的影響，也不是色情或極端形像對於青少年的影響，這屬於那種我在開篇所描述的青少年時期使用互聯網的影響。 這是重要且值得辯論的內容，但是卻不是我在此想要討論的東西。 我們所談論的是非常年幼的孩子，從出生開始，成為會對他們造成傷害和乾擾的目標之物，而互聯網則提供了這種極其容易進行虐待的方式。 這不僅關於“釣魚”問題，而是內在暴力與數字系統和資本主義激勵的結合。
我的觀點是：這個系統是虐待行為的同謀。
此時、此地，YouTube和谷歌在這個系統中沆瀣一氣。 他們為了從在線視頻中獲取最大利益而建立起的框架正在被虐待兒童的不確定分子所入侵，也許這不是故意行為，但是卻以大規模的方式存在著。 我認為他們需要擔負起解決這個問題的絕對責任，正如他們有責任去處理那些意圖政治說服的極端視頻對年輕人的激進化所產生的影響。 到目前為止，他們完全沒有表現出這種傾向，而這本身就是卑鄙。 然而，我對於這個議題想做出的最大回應是，我不知道他們如何在不關閉服務本身以及其他類似系統的情況下做出解釋。 我們建立了一個規模化運作的世界，在那裡，人類的監督無法觸及到每個角落，也沒有任何非人形式的監督能夠發現我在本文中所提到的大部分例子。
這是一個非常黑暗的時代，我們為服務於自我而建立起的框架正在以系統且自動化的方式轉而對付我們，我們所有人。 當網絡製造出恐怖的時候，我們很難對網絡保有信心。 儘管人們很容易將這些更為瘋狂的例子視為“釣魚”行為，肯定有相當數量的人是這樣認為，但是這並不能解釋那些特別怪誕的內容的絕對數量。 就像越來越多人關注俄羅斯對社交媒體的干涉一樣，它所帶來的紛繁複雜的危險被用作加強控制、增加審核等行為的理由。 這並不是我們想要的結果。
而我想說的是：
儘管對於孩子所遭受的暴力問題讓我十分擔憂，但是我所擔憂的不僅僅是這些。 我所擔憂的是對於這種在任何時間對於我們所有人產生影響的基礎設施暴力，我們依然在努力尋找談論它、描述它的機制、它的行為和它的影響的方式。 正如我在開篇所說：這是由人、由事、由人與事的結合所導致。 對於這種結果所需要承擔的責任無法合理分配，但是傷害是如此、如此的真實。
原文地址： https://medium.com/@jamesbridle/something-is-wrong-on-the-internet-c39c471271d2
譯者：木木子，由36氪編譯組出品。 編輯：郝鵬程
譯文地址：http://36kr.com/p/5130795.html
本文由 @郝鵬程 授權發佈於人人都是產品經理，未經作者許可，禁止轉載。
題圖來自 Unsplash，基於 CC0 協議
http://www.kubonews.com/2018042614716.html
生活苦悶?快上酷播亮新聞：http://www.kubonews.com
沒有留言:
張貼留言