“奶奶，我不小心撞了人，千萬別讓爸媽知道，你快救救我！”
聽到電話那頭“孫子”的聲音，湖南的劉奶奶慌了神，立即按照對方的指示去銀行取了3萬元現金，并根據約定在村口將錢親手交給了“所長親戚”。
這只是“AI詐騙”的一個案件。在這個數字化浪潮洶涌的時代，AI技術宛如一把雙刃劍，在帶來便捷與創(chuàng)新的同時，也悄然為老年人埋下了新型風險隱患。隨著聲音與視頻偽造技術的門檻大幅降低，一些黑灰產從業(yè)者如同狡猾的獵手，瞄準了老年人對新技術不熟悉、信息獲取渠道有限以及情感上容易依賴親人的弱點，展開了一場步步為營的“圍獵”行動。
新京報貝殼財經記者調查發(fā)現，這些看似高明的騙術，實則為AI深度偽造技術支撐。針對老年人的AI“陷阱”，主要包括通過深度偽造方式偽裝成老人的親屬子女等身份，進行錢款詐騙，以及通過AI偽造醫(yī)生、專家身份再進行直播賣貨。他們通過精心制作的虛假宣傳視頻和文案，往往夸大產品功效，甚至編造出一些子虛烏有的“治愈案例”，讓老人們深信不疑。
新京報貝殼財經記者在多個平臺上搜索發(fā)現，不少人對換臉/克隆聲進行“打包出售”，價格低至1元，這在一定程度上降低了詐騙門檻。而境外平臺上的黑灰產從業(yè)者也提供從換聲到換臉的“一條龍服務”，標價僅十幾元至百元不等。
北京盈科（合肥）律師事務所合伙人姜萬東在接受新京報貝殼財經記者采訪時表示，隨著人工智能技術越來越成熟，AI換臉已經沒有什么難度，甚至成為一種新的商業(yè)模式。但在使用AI換臉時，必須嚴格遵守法律法規(guī)，在未經許可前提下使用他人的照片或者聲音素材進行換臉或換聲、在網上提供AI換臉或換聲服務、教程并收取費用、使用AI合成或換臉假冒權威人士視頻等行為，可能侵犯他人肖像權、聲音權，甚至構成刑事犯罪。
“孫子惹禍，急需用錢”，AI換聲、換臉詐騙盯上養(yǎng)老錢
“家里的老人接到一個電話，打的是老人家里的固話。說是我兒子，據說聲音、語氣一模一樣，而且還說出了自己的名字。因為路上剛才開車撞人了，讓老人拿錢幫忙，還以‘不想讓爸媽知道’的理由讓老人不要告訴我們?！币晃痪W友分享了“假孫子”的詐騙過程，直呼“騙子太可怕了”。
這樣的詐騙往往經過精心策劃。這名網友經歷中，騙子找跑腿小哥前往家里拿錢，老人經勸說和報警后才反應過來?！膀_子就是盯上八九十歲的老人對孩子的在意，而且我們的信息暴露得徹徹底底，連孩子都不知道他爺爺的固話號碼，騙子把聲音和語氣用AI模仿得非常逼真?！?/p>
貝殼財經記者梳理爆料以及警方案例發(fā)現，騙子利用AI換聲、換臉冒充親友實施詐騙的對象多為老年人，套路普遍為用戶的隱私信息泄露后，詐騙分子通過AI技術偽造身份，再以類似“孫子惹禍，急需用錢”等理由向親屬、朋友特別是老人進行詐騙。
從事互聯網安全的反詐專家吳明（化名）告訴貝殼財經記者，這類詐騙手段的“起點”往往是用戶的隱私信息遭到了泄露，“比如有用戶在下載未知來源App時給予了手機權限，導致手機的通訊錄、照片、短信等數據被上傳到了詐騙分子的后臺。通過用戶泄露或在社交平臺公開分享的聲音或視頻數據，詐騙分子就可以通過AI技術偽造用戶的聲音，從而進行詐騙?！?/p>
10月21日至26日，新京報貝殼財經記者在國內外的交易、社交平臺搜索發(fā)現，AI換臉、換聲相關服務、教程等隨處可見。平臺上，AI一鍵替換視頻中人物的教程，標價低至1元。這類教程通常提供軟件或工作流的下載地址及安裝說明，甚至有教程標榜生成圖片、視頻沒有市面主流生成模型那么多限制，并提供“圖片去AI化”功能。至于AI聲音克隆，標價同樣最低可至1元，針對需要現場克隆的聲音則“貴20元”。
貝殼財經記者調查看到，不少提供視頻和聲音制作的黑灰產賣家，并不在意相關視頻的用途，只是根據客戶需求難度進行明碼標價：“換臉換聲視頻”制作以虛擬幣結算，折合人民幣463元，只換聲音約為228元，且可以“定制話術”。
個別黑灰產交易頻道上還兜售配合這些技術的專業(yè)詐騙軟件。“采用我們手機端軟件的功能，甚至可以用手機直接撥打視頻電話，可配合市面上各種換臉軟件，讓你的‘客戶’找不到破綻，你還可以拿手機隨便走動?！庇泻诨耶a賣家表示。
黑灰產賣家宣傳信息。截圖
“假專家”出沒帶貨，80元可定制明星“代言視頻”
不少AI克隆服務或教程賣家的目標客戶，主要是為了冒充名人直播賣貨或對產品進行背書。此前，靳東、雷軍、張文宏等均被AI造假。
為了增加相關產品的可信度，一些賣家曬出了包括郭富城、鞏俐、齊秦等明星為一些公司或產品發(fā)表的“代言視頻”或“祝福視頻”，其中一些視頻涉及的公司和產品指向金融詐騙。
貝殼財經記者以買家身份咨詢了解到，AI視頻制作服務80元起步。有提供AI數字人制作軟件的商家稱，購買軟件可以教操作方法，明星以及張雪峰等人都可以生成。根據該商家提供的資料，購買該軟件月卡188元，永久版288元。
交易平臺上，賣家宣稱可以自定義形象。截圖
實際上，隨著技術的進步和開源，聲音克隆的門檻并不高。貝殼財經記者在一個開源軟件中上傳了一段3分鐘的本人錄音，訓練出了聲音模型，雖然效果在生成長語句時偶有瑕疵，但對于一些較短的語句來說，幾乎識別不出為合成的語音。
這一開源軟件的作者也在使用界面中標注，“本軟件以MIT協議開源，作者不對軟件具備任何控制力，使用軟件者、傳播軟件導出的聲音者自負全責?！?/p>
10月24日，一視頻平臺相關負責人告訴貝殼財經記者，利用AI技術進行虛假宣傳已成為互聯網廣告安全治理的重要挑戰(zhàn)。為保障用戶權益，平臺制定嚴格的管控規(guī)則，如要求廣告內容中不得含有虛構人設，不得自稱或描述存在某某身份/姓名/職位人設，為產品或服務做背書。若發(fā)現違規(guī)問題，將對廣告主采取限制投放、封禁賬戶甚至清退等處置。
10月26日，中國人民大學人口與發(fā)展研究中心召開“數字時代老年人短視頻使用與網絡安全”研討會，并聯合抖音發(fā)布《老年人短視頻健康使用指南》，涵蓋了幾類短視頻平臺上的典型欺詐案例，其中一類新型騙局是利用 AI 技術偽造老年人信任的身份，如名人、企業(yè)家、公職人員，或杜撰與養(yǎng)老金發(fā)放、家人健康、子女運勢等相關的信息，誘導老年人點贊、關注、轉發(fā)。一旦這些賬號借“情感釣魚”積累了真實用戶互動，便被包裝成“優(yōu)質賬號”，進而用于賬號倒賣或參與黑灰產業(yè)活動牟利。
“使用AI合成‘假專家’或權威人士進行帶貨或直播帶貨的行為可能觸及多項法律法規(guī)。根據《中華人民共和國民法典》，侵犯肖像權、聲音權，需承擔停止侵權、賠償損失等責任；根據《中華人民共和國消費者權益保護法》，構成欺詐的，消費者可要求‘退一賠三’；根據《中華人民共和國刑法》，若涉及詐騙、虛假宣傳等情節(jié)嚴重的行為，可能構成詐騙罪、虛假廣告罪等。總之，使用AI技術時，需嚴格遵守法律法規(guī)，取得授權并確保內容合法合規(guī)?！苯f東告訴記者。
走出“定向”詐騙，深度偽造與檢測技術正相互博弈
貝殼財經記者采訪基層民警、反詐專家、平臺監(jiān)管部門了解到，通過偽造老人親屬身份進行“定向”詐騙，詐騙流程相對煩瑣、成本更高，雖然個案金額往往較大，但總體來看案件數量不及刷單、投資等詐騙案例多。
另一方面，隨著AIGC標識新規(guī)的出臺以及視頻平臺對用戶身份核驗流程的完善、對AI欺詐行為的打擊，AI冒充“假專家”也會更加困難。
9月1日，國家互聯網信息辦公室等四部門聯合發(fā)布的《人工智能生成合成內容標識辦法》施行，其中要求在相關平臺上上傳的視頻內容，若使用AI制作的需添加標識。這將讓一些“冒充專家”的AI視頻失去傳播空間。
如今，平臺能否檢測出視頻為AI生成正成為一大挑戰(zhàn)。中國信通院人工智能研究中心安全與元宇宙部主任石霖告訴貝殼財經記者，目前深度偽造技術與檢測技術正在相互博弈，“它們就像殺毒與造毒一樣，是長期攻防對抗的過程?，F在來看，偽造的技術也確實越來越真實有效，我們從調研中發(fā)現，檢測技術在一定程度上可能有一定滯后性，對于新的算法需要樣本積累和過濾。”
針對“假孫子”“假專家”類騙局，海淀金融管理局發(fā)文稱，老年人應提高警惕，采取防范措施：在接到陌生來電或視頻通話時，要仔細核實對方身份?？梢酝ㄟ^撥打親友的常用電話、視頻通話中詢問一些私密問題等方式進行驗證；不要輕易將個人信息、銀行賬戶、密碼等敏感信息透露給陌生人。同時，要定期更換密碼、開啟雙重驗證等安全措施；對于任何承諾高收益的投資或醫(yī)療產品，都要保持警惕。記住“天上不會掉餡餅”，高收益往往伴隨著高風險。
“數字時代老年人短視頻使用與網絡安全”研討會的與會專家一致認為，應對風險需多管齊下，既需從老年人自身層面提升反詐意識、了解數字技術，也需從家庭層面、社會支持層面為老年人提供心理與技術雙重支持。
“老年人只有先知道AI生成技術，才能有識別AI虛擬人物的意識，從而規(guī)避不法分子利用AI虛擬形象制造的騙局?！北本〇|方老年研修學院院長、北京市石景山區(qū)老年大學原校長楊文霞鼓勵老年人勇于接觸網絡、保持終身學習。
中國人民大學人口與健康學院教授唐丹認為，家庭仍是幫助老年人防范網絡風險的第一道防線，但構建家庭防線需細水長流，不能急于求成，只要老人的短視頻使用行為未對其身心健康造成實質傷害，子女就應當給老人保留自由探索的空間，并在日常交流中適時進行風險提示和技能科普。
新京報貝殼財經記者 羅亦丹 韋英姿
編輯 王進雨
校對 柳寶慶
