大日本印刷與 NHK 合作開發情感表達字幕系統,透過 AI 分析自動幫字幕加上特效

2020.08.25 11:10AM

在綜藝節目為了強調臨場感,除了主持人與藝人的演出外,透過字幕特效加深印象也是慣用的方式,不過這些特效是需要經過人工方式處理,故對於後製人員也會造成負擔;而大日本印刷與 NHK Technologies 合作開發一套情表達字幕系統,透過 AI 進行人物的影像分析,自動為字幕加上合適的特效。

▲下圖為一般字幕,上面為透過 AI 加入效果的字幕(圖片來源:大日本印刷)
▲藉由分析說話者的表情,可搭配合適的特效字體(圖片來源:大日本印刷)

情感表達字幕系統的開發經緯是考慮到聽力障礙與老年人觀看的節目,在缺乏聲音的情況下,傳統的標準字體有時無法難以分辨說話者,雖然特效字體有時會有難以閱讀的問題,但更容易搭配表情感受節目內容。

這套系統還在原型階段,其字體是應用大日本印刷在 2018 年的 DNP 情感表達字體,藉由 AI 對影像中人物的語氣以及表情進行分析,可自動辨識並自 DNP 情感表達字體挑出合宜的特效字體,除了強化戲劇效果,亦更容易對聽力不佳或是聽障人士傳達情感。

▲搭配 12 種 DNP 情感表達字體呈現當下的氣氛(圖片來源:大日本印刷)

情感表達字幕系統能夠實現即時的影像與聲音分析,並即刻加上字幕,系統可從 12 種 DNP 情感表達字體挑選最適合呈現當下氣氛的字體,此外藉由影像分析,可把字幕安排在離說話者最接近的位置,使觀看者更容易把字幕與說話者連結。

未來除了持續強化情感表達字幕系統的 AI 辨識性能與提高即時辨識與字幕插入性能,最終目標是希望能把這套系統投入實際的 Live 節目與網路直播,同時希望未來能將這套系統導入大眾能夠使用的影像編輯軟體。

相關消息

遊戲天堂
FCC電檢照片顯示華碩將推出一黑一白兩款ROG Ally 2電競掌機,增強握柄人體工學、黑色機型可能為Xbox認證機型
Chevelle.fu
1 個月前
在地生活
吉伊卡哇廠商限定圖片外流 日方決定取消台灣訂單
討喜小姐
1 個月前
開箱評測
Cooler Master NCORE 100 Air直立式ITX風冷機殼評測,超小占地面積能容高規格系統的精緻機殼
Chevelle.fu
1 個月前
產業消息
Sony將在5月13日公布Xperia 1 VII,首支預告聚焦Alpha相機技術
Chevelle.fu
1 個月前
開箱評測
不想要耳塞 Sony無線降噪耳機折590元 平價降噪耳罩式耳機可選它
Tandee
1 個月前
產業消息
三星旗下HARMAN收購持有B&W、天龍馬蘭士的Sound United
Chevelle.fu
1 個月前
關於android播放3gp內含AAC無法撥放問題
hanawa
15 年前
人物專訪
GPS導航發明前計程車怎麼找路?以前載客常遇到霸王車、靈異事件?本篇就讓「老司機」親自說給你聽!
丹費特
1 個月前
遊戲天堂
吉伊卡哇袋著走聽見玩家心聲大更新 期待退坑玩家回流
討喜小姐
2 個月前