人類能否阻止或延緩自主殺人機器大軍的問世？
我們甚至不知道他的姓名。
2020年3月，利比亞內戰的戰場上，一架土耳其生產的自殺型無人機在完全自主模式下，攻擊了一名參戰士兵——日前，聯合國安理會發布的這份報告震撼了國際輿論。
這名士兵的最終命運我們不得而知。但他在不經意間代表人類，在戰火紛飛的戰場上不幸地見證了機器人殺手的首次登場。《新科學家》雜誌稱，這是有史以來第一例明確記錄在案的“機器自主殺人事件”。
科幻電影《終結者》截圖。 圖源：電影截圖
無人機“思考”後殺人
這份長達548頁的報告，由聯合國安理會利比亞問題專家小組今年3月發布。但直到最近，它才因上述細節得到廣泛關注。
去年3月，得到土耳其、美國和英國等支持的利比亞民族團結政府，同得到埃及、法國和俄羅斯支持的、由哈夫塔爾將軍率領的“國民軍”的戰鬥進入白熱化階段。
根據報告，一名“國民軍”士兵在試圖撤退時，遭到一架“卡古”2型四旋翼無人機的攻擊。但與此前的無人機攻擊事件迥然不同的是，之前的無人機“斬首”也好，自爆也罷，都是執行位於後方的人發出的指令，而這次的攻擊卻是機器自己“思考”後的決定。
“卡古”2型四旋翼無人機由土耳其STM公司生產，配有炸藥並可對目標進行自殺式攻擊。
“卡古”2型自殺式無人機。圖源：archyde.com
其攻擊方式大致類似於此。圖源：youtube
根據STM公司的產品介紹，“卡古”2是一種具備完全意義上“發射後不用管”的無人機，它基於人工智能的“深度學習”能力，不僅能自主識別和分類攻擊目標，還具有群集作戰的能力，允許20架無人機協同攻擊。
俄羅斯知名無人機專家丹尼斯·費杜季諾夫5月31日表示，這種能力在技術上是可行的，但土耳其軍事工業把它從可行變成現實，無異於打開了潘多拉魔盒。
技術風險引發爭議
相信很多讀者都還記得，2017年中國圍棋天才棋手柯潔與圍棋機器人“阿爾法狗”的那場人機世紀大戰。
圍棋是人類古老智慧的結晶，而柯潔曾連續40個月排名人類圍棋世界第一。“阿爾法狗”是由穀歌公司下屬團隊研發的圍棋機器人，其主要工作原理是“深度學習”。結果，柯潔以0:3的戰績完敗於機器。
最後一局棋至中盤，預感到贏不了的柯潔絕望地啜泣。但沒人有資格嘲諷柯潔。經過此戰，圍棋界已公認“阿爾法狗”的棋力超過了人類職業圍棋的頂尖水平。圖源：新華社
具備自主攻擊能力的無人機，本質上也是被人工智能“深度學習”能力武裝過後的機器人。隻不過，“阿爾法狗”學習的是下棋，而武裝無人機學習的是殺人。
然而，現有的“深度學習”並不可靠。聯合國報告稱，這種無人機是運用計算機視覺來選擇和攻擊目標，而以自動駕駛技術的研發為例，現在的人工智能在圖像識別領域的“學習成績”還有待提高，並不能總是準確地識別人員、車輛和障礙物，更別說及時做出判斷和反應。
即使最簡單的圖像識別，也需要海量的數據庫和先進的算法為基礎，如微軟Azure對耳機的識別率也僅為93%。
圖源：nordicapis.com
有鑒於此，土耳其的無人機能夠準確地辨別士兵與平民，裝甲車與大巴嗎？能夠準確區分樣貌相似的兩個人嗎？
有人說，圖像識別的技能會隨著技術的進步而解決。但別忘記，殺戮同樣是一種技能。如果人工智能可以在圖像識別領域取得進步，那麽見利忘義的國際軍火商有什麽理由不讓機器直接學習殺戮呢？
競爭妨礙技術管製
實際上，聯合國報告隱含的一個核心問題是，人類能否阻止或延緩自主殺人機器大軍的問世。
遺憾的是，科學界對此並不樂觀。美國國家恐怖主義與反恐對策研究聯合會的研究員紮克·卡倫伯恩表示，這是機器向人類發出的警報，其威脅絲毫不亞於傳統的大規模殺傷性武器。
與門檻很高的核武器不同，無人機技術更新及擴散極快，且缺乏相應的國際管製機製。一旦恐怖組織獲得相關技術，那麽其能製造的恐怖效應簡直難以想象。
更嚴重的是，在當前的國際氛圍下，以人工智能為代表的高新技術成為國家激烈競爭的高地，在軍事領域尤為明顯。
據美媒2017年報道，美國密蘇裏大學團隊設計和訓練的人工智能程序，已經具備相當的軍事能力。環球網報道稱，在中國東南部的一塊麵積約為55923平方英裏的衛星照片上，人工智能找到90個防空導彈陣地所花費的時間僅為45分鍾，而人類專家通常至少需要60個小時。
美國軍方在人工智能軍用化領域一馬當先。圖源：ausa.org
俄羅斯也將戰鬥機器人投放到敘利亞戰場。圖源：alaraby.co
麵對外界的恐慌，美國軍方竭力安撫，聲稱不會讓人工智能介入最終決策。但稍有常識的人都清楚，在時間等於生命的戰場上，效率和準確率兼顧的人工智能在輔助決策領域具備的價值。再說，五角大樓投資人工智能難道是為了做慈善？
過去，包括埃隆·馬斯克在內的許多人工智能研究人員，以及史蒂芬·霍金等科學界知名人士，都曾呼籲全球禁止研發“自主攻擊性武器”。但正如英國《獨立報》報道，包括美國在內的許多國家都在阻撓防擴散和監管機製的建立。
對此，英國智庫皇家聯合軍種國防研究所的研究員傑克·沃特林表示，“技術不等人。”
人們在德國呼籲禁止發展可自主殺人的機器人。 圖源：independent.co.uk
出品 深海區工作室
撰稿 楊一帆
編輯 實習生 方可 深海默
相關報道：
聯合國報告：史上首次，一軍用無人機自主攻擊人類
據英國《獨立報》5月31日報道，一份聯合國安理會最近的報告稱，一架軍用無人機在沒有接到任何指令的情況下自主對人類發起襲擊，這或為曆史上首次。
在不斷的預警聲中，這一幕科幻電影裏的場景最終在真實的世界裏發生了。有人憂心忡忡——現實版“終結者”真的來了嗎？
▲電影《終結者2》中的T-800終結者機器人。圖據法新社
【聯合國報告】
撤退部隊遭無人機追捕及遠程攻擊
涉事無人機具備自主攻擊能力
據悉，這一令人震驚的事件發生於2020年3月。
當時，利比亞政府軍與利比亞國民軍司令哈夫塔領導的軍事勢力發生衝突之際，一架土耳其軍事科技公司STM生產的“Kargu-2”型無人機在未接到任何指令的情況下，襲擊了利比亞哈夫塔爾國民軍陣營的撤退士兵。
聯合國相關報告中寫道：“後勤車隊和撤退的哈夫塔部隊隨後遭到無人駕駛作戰飛機或STM
kargu-2等致命自主武器係統的追捕和遠程攻擊。”
《獨立報》援引STM公司介紹，“Kargu-2”是一款多旋翼無人機，重15磅（約6.8千克），最高時速約90英裏（145公裏），續航時間約30分鍾，可攜帶3種1.36千克的重彈頭——破片殺傷彈頭，用以對付人員和輕型車輛；溫壓彈，用以對付建築物和掩體；成型裝藥彈頭，用以對付裝甲目標。
▲土耳其軍事科技公司STM的“Kargu-2”型無人機。圖據《獨立報》
這款無人機配備激光雷達、可見光相機和紅外夜視儀，使用基於機器學習的對象分類來選擇和攻擊目標。“Kargu-2”型無人機還配有炸藥、敵方辨識係統及麵部識別能力，可以尋找特定的個人，是為“反恐和不對稱戰爭場景”而設計的。
STM公司CEO伊肯奇稱，這款無人機可人工控製，士兵可從6英裏（9.7公裏）外控製無人機發動攻擊。也可以預設航線自主飛行，自主定位、跟蹤和識別目標。這意味著，在操作員未下達指令的情況下，“Kargu-2”確實具有自主攻擊的能力。
此外，這款無人機還可利用攝像頭和其他傳感器通過地標導航，而不依賴GPS。而且，它們還具有群集能力，可以20架為一組進行協同作戰。
聯合國專家在報告中寫道：“這種致命自主武器係統被編程為攻擊目標，不需要操作員和彈藥之間的數據連接：實際上是一種真正的‘開火、遺忘和發現’能力。”
▲“Kargu-2”型無人機的宣傳視頻截圖。圖據《原子科學家公報》
專門研究無人機的美國馬裏蘭州國家恐怖主義與反恐研究聯盟（START）安全顧問紮克·凱倫伯恩稱，如果有人在襲擊中喪生，這可能是曆史上已知的首個人工智能（AI）自主武器殺人的案例。
美國芝加哥大學《原子科學家公報》在報道中稱，在這份長達548頁的報告中，聯合國安理會利比亞問題專家小組並未詳細說明此次事件是否造成了人員死亡，但卻指出，致命的自主武器係統導致了Pantsir
S-1地對空導彈係統的重大傷亡。
【機器人及AI專家】
致命自主武器有風險
全球禁止致命自主武器或為時已晚
聯合國專家還在報告中明確提出了一個問題，即全球禁止致命自主武器的努力是否或已成徒勞。
過去，眾多機器人及AI研究人員，以及埃隆·馬斯克、史蒂芬·霍金和諾姆·喬姆斯基等其他知名人士，都曾呼籲禁止“攻擊性自主武器”，比如那些有可能根據其編程搜索並殺死特定人員的武器，稱它們“無法區分平民和士兵”。
▲在一場“禁止殺手機器人”示威活動中，人們呼籲禁止所謂的致命自主機器人。圖據法新社
專家警告稱，值得引起國際社會關注的是，“Kargu-2”使用了基於機器學習的決策，其武器操作是基於軟件的算法運行，並通過大型訓練數據集學習，如分類各種對象等等。其計算機視覺程序可以通過訓練來識別校車、拖拉機和坦克。但如果用於訓練的數據集不夠複雜或強健，就可能導致人工智能（AI）學到錯誤的“課程”。
據《原子科學家公報》報道，在一個真實案例中，一家公司計劃使用AI係統來做出招聘決定。然而，管理人員卻驚訝地發現，AI係統認為，對求職者來說最重要的求職要素是——名叫“賈裏德（Jared）”以及“在高中打過長曲棍球”。但如果是“Kargu-2”這樣的自動武器犯了類似的錯誤，結果可能就讓人笑不出來了。
START安全顧問凱倫伯恩表示，自主武器開發人員需要預見到可能導致機器學習係統做出錯誤決定的複雜性。AI學習的“黑盒子”特性，即AI係統決策過程通常是不透明的，增加了額外的挑戰。他們認為，這構成了一種真正的風險，即如果完全自主的軍用無人機執行錯誤目標，其原因可能難以解釋。
他還指出，當幾架無人機進行通信和協調行動時，比如在無人機群中，出現問題的風險更大。“溝通會產生級聯錯誤的風險，即其中一個單元的錯誤會被另一個單元共享。”
華客新聞 | 時事與歷史：細思極恐 無人機首次自主殺人 潘多拉魔盒已打開？