EMO(Emote Portrait Alive)是一個(gè)由阿里巴巴集團智能計算研究院開(kāi)發(fā)的框架，一個(gè)音頻驅動(dòng)的 AI 肖像視頻生成系統，能夠通過(guò)輸入單一的參考圖像和語(yǔ)音音頻，生成具有表現力的面部表情和各種頭部姿勢的視頻。

　　阿里云宣布，通義實(shí)驗室研發(fā)的 AI 模型 ——EMO 正式上線(xiàn)通義 App，并開(kāi)放給所有用戶(hù)免費使用。借助這一功能，用戶(hù)可以在歌曲、熱梗、表情包中任選一款模板，然后通過(guò)上傳一張肖像照片就能讓 EMO 合成演戲唱歌視頻。

　　據介紹，通義 App 首批上線(xiàn)了 80 多個(gè) EMO 模板，包括熱門(mén)歌曲《上春山》《野狼 Disco》等，還有網(wǎng)絡(luò )熱梗“缽缽雞”“回手掏”等，但目前暫未不開(kāi)放自定義音頻。

　　EMO 的主要特點(diǎn)

　　音頻驅動(dòng)的視頻生成：EMO 能夠根據輸入的音頻(如說(shuō)話(huà)或唱歌)直接生成視頻，無(wú)需依賴(lài)于預先錄制的視頻片段或 3D 面部模型。

　　高表現力和逼真度：EMO 生成的視頻具有高度的表現力，能夠捕捉并再現人類(lèi)面部表情的細微差別，包括微妙的微表情，以及與音頻節奏相匹配的頭部運動(dòng)。

　　無(wú)縫幀過(guò)渡：EMO 確保視頻幀之間的過(guò)渡自然流暢，避免了面部扭曲或幀間抖動(dòng)的問(wèn)題，從而提高了視頻的整體質(zhì)量。

　　身份保持：通過(guò) FrameEncoding 模塊，EMO 能夠在視頻生成過(guò)程中保持角色身份的一致性，確保角色的外觀(guān)與輸入的參考圖像保持一致。

　　穩定的控制機制：EMO 采用了速度控制器和面部區域控制器等穩定控制機制，以增強視頻生成過(guò)程中的穩定性，避免視頻崩潰等問(wèn)題。

　　靈活的視頻時(shí)長(cháng)：EMO 可以根據輸入音頻的長(cháng)度生成任意時(shí)長(cháng)的視頻，為用戶(hù)提供了靈活的創(chuàng )作空間。

　　跨語(yǔ)言和跨風(fēng)格：EMO 的訓練數據集涵蓋了多種語(yǔ)言和風(fēng)格，包括中文和英文，以及現實(shí)主義、動(dòng)漫和 3D 風(fēng)格，這使得 EMO 能夠適應不同的文化和藝術(shù)風(fēng)格。

（邯鄲微信開(kāi)發(fā)）