一方面，監管部門(mén)需盡快建立健全人工智能研發(fā)與應用相關(guān)法律法規和標準體系，加強對科技企業(yè)、媒體平臺等的監管。另一方面，提供深度合成服務(wù)的企業(yè)要嚴格落實(shí)信息安全管理主體責任，建立健全算法機制審核、科技倫理審查、反電信網(wǎng)絡(luò )詐騙等管理制度，加強合成內容的審查與管理，對智能對話(huà)、合成人聲、人臉生成、沉浸式擬真場(chǎng)景等生成內容進(jìn)行顯著(zhù)標識，避免公眾混淆或誤認

　　近日，AI行業(yè)發(fā)展過(guò)程中的諸多亂象，引發(fā)了市場(chǎng)廣泛關(guān)注，網(wǎng)絡(luò )安全問(wèn)題再次站在聚光燈下，多家產(chǎn)業(yè)鏈上市公司也積極回應網(wǎng)絡(luò )安全相關(guān)布局情況。

　　AI行業(yè)亂象頻發(fā)

　　“AI孫燕姿”的熱度尚未完全消散，“AI換臉”明星直播便再次成為社交平臺上的焦點(diǎn)話(huà)題。點(diǎn)開(kāi)直播間，就可以看到換臉楊冪、迪麗熱巴等女明星在直播帶貨。這讓消費者在感嘆科技進(jìn)步的同時(shí)，也對AI發(fā)展態(tài)勢及相關(guān)安全問(wèn)題表示擔憂(yōu)。

　　“現在有很多公司可以直接提供相關(guān)明星的算法模型，價(jià)格低廉，在3萬(wàn)元至4萬(wàn)元之間，購買(mǎi)之后就可以直接假冒明星進(jìn)行直播帶貨?，F在A(yíng)I行業(yè)發(fā)展亂象很多，到了必須加強監管和治理的時(shí)候了。”一位不愿具名的行業(yè)人士對記者表示。

　　近日就有福州市某科技公司法人代表郭先生10分鐘內被騙430萬(wàn)元的事件發(fā)生。據了解，騙子先攻陷了郭先生的好友微信，進(jìn)而通過(guò)智能AI換臉和擬聲技術(shù)對郭先生進(jìn)行詐騙。

　　深度科技研究院院長(cháng)張孝榮在接受《證券日報》記者采訪(fǎng)時(shí)表示：“當前的AI換臉和AI擬聲涉及到‘深度偽造’，是AI技術(shù)的衍生應用。這種應用一般通過(guò)使用‘生成式對抗網(wǎng)絡(luò )’的機器學(xué)習模型，將圖片或視頻合并疊加到源圖片或視頻上，借助神經(jīng)網(wǎng)絡(luò )技術(shù)進(jìn)行大樣本學(xué)習，將個(gè)人的聲音、面部表情及身體動(dòng)作拼接合成虛假內容。”

　　張孝榮還表示，目前還有一種新的發(fā)展趨勢，即AI訓練生成虛擬人接入ChatGPT這樣的NLP大模型，再結合語(yǔ)音高仿技術(shù)，復刻與真實(shí)人物互動(dòng)的效果，如此一來(lái)，就會(huì )讓線(xiàn)上的“李逵”和“李鬼”更加真假難辨。

　　面對當前AI行業(yè)的發(fā)展亂象，網(wǎng)絡(luò )安全治理已迫在眉睫。天使投資人、資深人工智能專(zhuān)家郭濤在接受《證券日報》記者采訪(fǎng)時(shí)表示：“一方面，監管部門(mén)需盡快建立健全人工智能研發(fā)與應用相關(guān)法律法規和標準體系，加強對科技企業(yè)、媒體平臺等的監管。另一方面，提供深度合成服務(wù)的企業(yè)要嚴格落實(shí)信息安全管理主體責任，建立健全算法機制審核、科技倫理審查、反電信網(wǎng)絡(luò )詐騙等管理制度，加強合成內容的審查與管理，對智能對話(huà)、合成人聲、人臉生成、沉浸式擬真場(chǎng)景等生成內容進(jìn)行顯著(zhù)標識，避免公眾混淆或誤認。”

　　網(wǎng)絡(luò )安全受關(guān)注

　　AI亂象所帶來(lái)的網(wǎng)絡(luò )安全問(wèn)題引發(fā)關(guān)注，多家產(chǎn)業(yè)鏈上市公司也在積極回應相關(guān)業(yè)務(wù)布局情況。

　　“AI行業(yè)發(fā)展過(guò)程中負面事件頻發(fā)，本質(zhì)上還是因為AIGC是新生事物，對AIGC的應用場(chǎng)景缺乏必要的監管措施和檢測手段。以AI欺詐為例，如果各類(lèi)應用在識別到傳輸的內容是AI生成的時(shí)候，能夠對內容接收者進(jìn)行充分提醒，那么犯罪分子實(shí)施欺詐的難度將大大增加。但目前并沒(méi)有類(lèi)似的監管條例，也缺乏足夠有效、低成本的檢測技術(shù)。”啟明星辰工作人員告訴《證券日報》記者，公司專(zhuān)注于網(wǎng)絡(luò )安全領(lǐng)域，在A(yíng)I安全方面主要聚焦三個(gè)場(chǎng)景：一是利用AI技術(shù)賦能安全檢測和運營(yíng)業(yè)務(wù)，例如威脅檢測、大數據分析、威脅情報、智能化安全運營(yíng)等；二是應用AI過(guò)程中的數據安全和隱私保護問(wèn)題，例如多方安全計算、聯(lián)邦學(xué)習等；三是AI模型自身的安全問(wèn)題，包括AI模型魯棒性、數據投毒攻擊等。

　　永信至誠工作人員在接受《證券日報》記者采訪(fǎng)時(shí)表示，針對利用人工智能實(shí)施的新型電信詐騙，永信至誠旗下“i春秋”品牌基于多年的網(wǎng)絡(luò )安全一線(xiàn)經(jīng)驗積累，可面向不同用戶(hù)場(chǎng)景，通過(guò)場(chǎng)景化、高仿真、可視化的互動(dòng)體驗系統提升用戶(hù)的安全意識水平。以AI換臉詐騙為例，用戶(hù)可通過(guò)“i春秋”的AI換臉體驗系統了解AI換臉的原理及存在的安全隱患，從而提高安全意識，減少AI換臉詐騙案件的發(fā)生。

　　信安世紀也十分重視網(wǎng)絡(luò )安全問(wèn)題，談及在這方面的布局情況，信安世紀方面對《證券日報》記者表示：“密碼技術(shù)在對抗身份仿冒、數據偽造方面具有天然的優(yōu)勢，目前信安世紀正積極將人工智能技術(shù)與密碼技術(shù)融合，以提供更友好、更安全的用戶(hù)體驗。”

　　方正證券表示，AI將帶來(lái)網(wǎng)絡(luò )安全產(chǎn)業(yè)邏輯的重大改變。從攻擊側來(lái)看，大模型、GPT、生成式AI技術(shù)將大幅降低黑客攻擊的門(mén)檻，顯著(zhù)加劇了整體威脅態(tài)勢，進(jìn)而帶來(lái)各類(lèi)安全軟硬件需求以及政企安全預算的提升；從監管側來(lái)看，在類(lèi)ChatGPT的生成語(yǔ)言工具得到廣泛應用之后，監管側對于內容的監管和審查將成為重中之重，內容安全、數據安全、流量可視等安全監管側的需求將得到顯著(zhù)提升。（來(lái)源： 證券日報）