Google IO 2024:Google展示基於Gemini的Project Astra願景,透過手機、智慧眼鏡展現自然語言、影像辨識相互結合的AI助理體驗

2024.05.15 01:54AM

Gemini是Google作為Google Assisit個人助理的下一階段,不過Google對於AI驅動技術的願景當然不僅於此;Google在Google IO 2024透過一段短片展示稱為Project Astra的AI助理願景,利用Gemini多模態模型為基礎,並分別智慧手機、智慧眼鏡展示人與Project Astra互動的新方式。

▲透過鏡頭影像找到附近發出聲音的裝置
▲利用文字辨識方式將眼前螢幕的程式碼轉化為文字後分辨使用的程式語言
▲幫助用戶找到自己遺落(但Project Astra眼角餘光曾掃到)的眼鏡
▲分辨黑板上的問題提供適合的答案
▲發揮創意幫眼前的景象下註解

在短片中,Project Astra透過裝置的鏡頭與麥克風探索世界以及與使用者會度,無論是幫助使用者找出發出聲音的設備,分辨眼前使用的程式語言,從窗外的街景分辨身處何處,找到近在眼前卻一時想不起放在哪的眼鏡,分辨黑板上的難題並提供解決問題的建議,或是發揮創意幫眼晴的景物下詮釋。

嚴格來說Project Astra較像是把Gemini所能辦到的AI助理應用以更自然的沉浸式人機介面呈現,裝置的鏡頭即是用戶與Gemini的視覺,自然語言則是用戶與Gemini溝通的手段,Project Astra如同一位博學且隨伺在旁的家庭教師,幫助用戶探索、解決所有看見的各式疑難雜症。

相關消息

科技應用
EVOX《對話式 AI 白皮書》:掌握 AI 商務溝通新趨勢
癮特務
3 天前
即拍即印普普風概念印章,製造屬於自己的圖像
annti wang
15 年前
開箱評測
被評價為「每步都非常舒服」的恢復型拖鞋 2種熱賣的日常款比較
Gizmodo Japan
12 個小時前
《奇妙之旅》家族競技展開 熱鬪場內容介紹
皮耶哈
15 年前
汽車未來
全新改款 BMW iX 豪華純電旗艦休旅強勢上市!「THE NEW BMW iX」現場直擊,亮點分享一次了解!
癮特務
9 天前
產業消息
聯發科2025Q2手機營收佔52%預期旗艦天璣年內創造30億美金營收 首款2nm晶片維持9月設計定案
Chevelle.fu
13 個小時前
開箱評測
這麼薄卻可6裝置充電、總輸出達130W 這款Anker充電器規格簡直是拼命了
Gizmodo Japan
7 個小時前
文化創意
國家鐵道博物館第一階段開放 免費展區即有豐富內容、柴電工廠吸收新知
Chevelle.fu
6 個小時前
產業消息
Figma 重啟 IPO 計畫 估值將達 193 億美金
Mash Yang
11 個小時前