張瑞雄 /台北商業大學榮譽講座教授
9月14日，黃仁勳在洛杉磯參加科技活動，台上突然接到川普電話，乾脆開擴音讓全場一起聽。川普說，AI接管世界的說法是「騙局」，政府不會因為這些擔心就讓美國AI發展慢下來。黃仁勳也說，Anthropic、OpenAI如果擔心自己的AI失控，可以自己放慢，沒有理由要求整個產業陪著走慢。
Anthropic執行長Dario Amodei主張先進AI公司應協調降低開發速度，OpenAI執行長Sam Altman也支持建立共同安全措施。英國有國會議員要求禁止開發人工超級智慧，美國國會也出現要求AI公司對重大災難負起預防責任的法案。以前科技公司怕政府管太多，現在幾家最會做AI的公司反過來要求訂規矩，讓人懷疑他們只是想藉規則來限制別人，守住自己領先地位。
是應該害怕
生成式AI會胡說八道，可能產生偏見、洩漏個資，也能協助網路攻擊。AI Agent又往前走了一步，它不只回答問題，還能使用工具、寫程式、處理資料，甚至連續完成工作。以前AI答錯，使用者看到一個錯誤答案。以後AI做錯，可能錢已經匯了、資料已經刪了、指令也已經送出去。
許多公司成立AI風險委員會、寫治理準則、設專責單位，實際問主管是否已經準備好全面部署AI，敢回答「準備好了」的人仍然很少。有些公司甚至不知道員工用了哪些AI工具，資料送到哪裡、模型做過什麼決定、出了錯找誰負責，常常等出事才開始查。
人會變笨被操控
另一種危險每天都在發生，寫Email問AI、找資料問AI、分析報告也問AI。方便當然很好，可是連「這個答案可信嗎？」都交給AI，人遲早變笨。
生成式AI通常直接交出整理好的答案，哪些資料被留下、哪些被省略，使用者未必知道。再加上個人化，AI知道一個人的興趣、消費習慣與反應，甚至知道什麼語氣比較容易說服。以前廣告是一則內容給幾十萬人看，現在是每個人收到針對自己的版本。
用來賣鞋子，也許只是廣告變厲害。用在金融詐騙、政治宣傳、仇恨動員或認知作戰，情況就完全不同。AI不需要比人類聰明100倍，只要更懂得如何影響人，就足以改變社會。
政府該管多少
完全靠科技公司自律，很難令人安心。公司花了幾百億美元訓練模型，競爭對手又天天追在後面，要它主動延後產品上市，違反商業本能。安全標準如果自己訂、自己檢查、自己宣布合格，外界又怎麼相信？
把權力全部交給政府也有麻煩，AI技術半年就可能大變，立法速度很難跟上。官員如果規定哪些模型能研究、哪些技術不能碰，最後可能只是一大堆表格、認證與申請程序，安全增加多少不知道，新創公司就先被合規成本壓垮。
政府應該管「AI在做甚麼事」，整理會議紀錄和動用公司帳戶，不能用同樣標準。AI提出醫療建議和直接決定治療方式，也不能混在一起。系統接觸的資料愈敏感，可以自行執行的事情愈多，出錯可能傷害的人愈多，測試、紀錄、人工覆核與事故通報就應該愈嚴。
守住管理AI底線
全球有能力訓練最先進模型的公司已經不多，如果只有幾家領先企業坐下來決定AI安全，誰來監督他們？
政府應訂最低安全要求、事故通報、責任歸屬與高風險用途限制，再加入獨立第三方測試。企業不能自己說安全就算安全，政府也不能拿「國家安全」四個字包辦所有決定。
AI公司要接受外部監督，政府不能用AI來獨裁，高風險AI必須事先檢驗、留下所有紀錄，人類要保有最後決定權。這些底線要守住，否則訂再多規則也沒有多大意義。
※以上言論不代表梅花媒體集團立場※
