LV. 45
GP 504

【心得】[速報]Google Gemini app繁體中文版正式上線啦!(含付費版應用例)

樓主 劍心san

善待新手・理性討論

sanboy289
GP17 BP-
本文同步發表至:
[速報]Google Gemini app繁體中文版正式上線啦! - Mobile01
[速報]Google Gemini app繁體中文版正式上線啦! - blogspot

西元2023年5月的官方介紹:


西元2024年5月來自日本的廣告片段:


該app已經正式對台灣全面開放啦:


可以像Google助理那樣的聲控操作體驗:


但基本上內容操作都跟網頁版差不多就是了:













今天的幾則台灣新聞:


查詢股票資訊:


查詢匯率:


智慧家居控制:



查詢指定電影院:


查詢指定商品價格:


省去「幫我翻譯」或「翻譯成中文」這些提示詞,就能直接將日文翻譯成中文:

直接輸入網址文章內容詢問,直接就能翻譯成中文及生成摘要:



外文YouTube影片也可以用中文獲取摘要內容,但目前已經有支援中文內容了(5/14更新):

外文:


中文:


也能直接使用YT影片標題取得摘要


一樣可以文字生成圖片,但目前僅限英文:


生成圖片的功能已經支援中文囉!(已於西元2024年8月30日正式支援)









人像生成部分,暫時僅支援付費版使用。

只要按下「新增這個畫面」按鈕,就能自動截圖提出問題了。


只要長按訊息不放,就能重新編輯問題內容了。


App版上已經有支援Google生態插件功能了!




透過Google雲端硬碟獲取文件摘要:




查詢交通資訊:


點開文字訊息中的超連結網址後:


搭乘高鐵也能使用:



根據拍攝到的知名景點,也能用來導航。


透過YouTube插件查詢指定頻道的最新影片:


透過Gmail插件進行翻譯+自動生成回覆:


旅遊行程規劃系列,可以自行手動tag上述插件,並參考這幾部影片的內容來操作:





將生成後的Excel表格行程匯入Google日曆


按照影片+圖片說明操作後,Android手機上會出現類似這樣的行程顯示結果:


只要時間一到,就會自動跳入下一個行程階段,就能進行無痛導航:


當然,也可以直接使用Google 日曆插件來完成。(西元2025年1月15日更新)


Google Gemini Live中文版正式上線囉!(西元2025年1月18日上線)


現在也可以聲控加入記事本、播放音樂囉!(西元2025年1月21日更新)


也能加入購物清單!



「待辦事項」也正式加入了!(西元2025年1月22日更新)


聲控截圖畫面操作:


視訊會議紀錄的逐字稿應用:

(畫面來源:Yunaty日本語)

這邊我們直接使用Google翻譯APP(對話翻譯模式)+ 分割視窗,就可以直接在手機上完成逐字稿的部分囉!
之後,我們再將Google翻譯上的文字內容複製起來,然後貼在Google Gemini app內,整理成內容摘要即可!


關於顯示簡體中文回答內容的解決方案:



目前該app體驗限制會比較多,像是一些原本Google助理有支援的日常安排、捷徑(快速指令)、Youtube Music等多媒體操作、即時翻譯部分將暫時無法支援使用,但據我所知,未來將會陸續整合歸位至Google Gemini上,但若要刪除對話紀錄,可以在app畫面或網頁版上手動刪除。

要說Google gemini app與Google Gmini網頁版有什麼不同之處:

1.網頁版草稿每一次只能生成3個,而app版則可以每一次生成4個草稿可供選擇,但唯一不變的地方是,每次生成最少是2個。
2.網頁版插件功能(已於西元2024年4月30日向全球正式開放),必須要切換成英文版後,逐一手動tag才行,然而app版上則可以做到自動化識別內容生成摘要,不然這種體驗反而更直覺。
3.app上已有正式支援Google生態插件使用了,但中文網頁版則是完全沒有開放(已於西元2024年4月30日向全球正式開放),目前有點可惜的是,YouTube與網址摘要部分,目前仍尚未支援中文。(更新:5/14更新,已支援中文YT影片)
4.文字生成圖片的功能部分,目前依然暫不支援中文語系。
5.未來Google Gmini App將全面整併Google助理的全部功能,因此有機會變成免輸入提示詞,直接一鍵自動化執行。
6.以前在Google Bard上使用過的指令,在Google Gemini上一樣可以繼續沿用。
7.Google Gemini app上有些功能,在Gemini模式下還是可以與Google助理一起並用,例如:設鬧鐘、智慧家居、提醒、安排行程、打開手機上的任何app、藍牙、WiFi、行動網路、擷取螢幕截圖、零打擾、朗讀訊息、幫我拍照、錄影、自動亮度,暫時不能使用的是日常安排、聲控Youtube Music播放音樂、聲控Youtube影片投放到電視上播放、聲控Play商店到欲下載的app頁面、即時雙向翻譯、聲控螢幕錄影、記住停車的位置紀錄、離線操作。
8.原本已有支援Google助理的藍牙耳機產品,依然可以支援Google Gemini使用。


上述內容,詳見以下操作影片:


Google Gemini中文版網頁已在西元2024年4月30日更新:


西元2024年5月1日Google Chrome瀏覽器更新:


那付費版的Google Gemini介面會長怎麼樣?可以看以下影片的內容操作:




以下影片從38:52開始展示付費版Google Gemini的Ai代理人 (Agent)  應用。


付費版Google Gemini 1.5 Pro功能如下:



可透過YouTube做逐字稿,無cc字幕或有cc字幕都可以,可以生成比較完整的時間軸。



免費版Gemini 1.5 Flash 能做出來的逐字稿效果:



可以分析所有的文件檔案(txt、pdf、excel、word、程式碼檔,ptt檔不能在手機端App上讀取,音訊檔暫不支援),用戶可以要求它直接執行程式碼。





上下文方面可能是因為支援超長文本,所以表現上確實強。


Gem 管理工具,故名思義就是只要將提示詞輸入在說明欄位上即可無痛使用。



效果如下:


也可將平時上班的班表、旅遊行程,通通轉成Google日曆格式匯入,再同步到Android手機上。



Google Gemini app運行軟硬體最低要求:
系統版本:Android 10、4G ram以上




有興趣,請延伸閱讀以下文章:
Gemini 應用程式與擴充功能正式支援繁體中文 - Google台灣
[實測] Claude 3、Google Gemini Pro v1.0、ChatGPT-4 Turbo - 詐騙對話紀錄文本分析測試
人工智慧模型的前因後果理解挑戰:以ChatGPT與律師需求為例
Claude 3模型與Google Gemini Pro v1.0模型的視覺推理對決
[有雷]以「愛、纏、殺:誰是恐怖情人?」進行ai模型推理測試
[動眼看] New Bing讀取SEC文本測試(在無法使用搜尋引擎插件的條件下)
[動眼看] Gemini Pro模型實測:圖片推理分析 + 生成YT影片摘要 + 文件讀取(2024/02/02更新)
第一手實測繁體中文版的Bard(西元2023年9月19日更新)


若懶得看文章,倒是可以在Youtube上觀看的Google Gemini系列的操作播放清單:
Google Gemini(Gemini Pro模型實測)


附錄:Google Gemini視覺推理應用展示。









附錄2:Google Gemini文字推理應用。





附錄3:Google Gemini Pro v1.0 與 ChatGPT-4o的手寫字體對決。

範本:(我找你!有事嗎?哈囉?)


Google Gemini Pro v1.0 :


ChatGPT-4o:



附錄4:ChatGPT-4o與Google Gemini Pro v1.0進行Dota 2賽事直播勝負預測。



(截圖來源:Xtreme Gaming vs. Team Falcons - PGL DOTA 2 Wallachia S #1 - Playoffs - Day 3 - PLG的YouTube頻道)

Google Gemini Pro v1.0:


ChatGPT-4o:



實際上的直播賽事結果如下:

(截圖來源:Xtreme Gaming vs. Team Falcons - PGL DOTA 2 Wallachia S #1 - Playoffs - Day 3 - PLG的YouTube頻道)


附錄5:ChatGPT-4o與Google Gemini Pro v1.0:甲骨文翻譯測試

甲骨文,答案是:汝


ChatGPT-4o



Google Gemini Pro v1.0



附錄6:ChatGPT-4o與Google Gemini Pro v1.0:遊戲王決鬥大師推理預測


截圖來源:無限遊戯王マスタ―デュエル ランクママスター1に到達できる最強デッキをつくり闘う - YouTube

Google Gemini Pro v1.0:


ChatGPT-4o:


結果出爐,玩家A自行認輸。

截圖來源:無限遊戯王マスタ―デュエル ランクママスター1に到達できる最強デッキをつくり闘う - YouTube

影片實測:



附錄7:Google Gemini Pro v1.0:跑車浪漫旅7推理測試



影片測試:




附錄8:Google Gemini Pro v1.0:世紀帝國2決定版



(截圖來源:【世紀帝國2決定版】Rage Forest V 第五屆憤怒黑森林 EP02 -〈TAG團練日:阿熊 vs ANDY〉|PA3|今天平常心看|HOSTED BY Villiams)

Google Gemini Pro v1.0的推理結果:




Chat GPT-4o 的推理結果:


結果如下:

(截圖來源:【世紀帝國2決定版】Rage Forest V 第五屆憤怒黑森林 EP02 -〈TAG團練日:阿熊 vs ANDY〉|PA3|今天平常心看|HOSTED BY Villiams)



附錄9:Google Gemini Pro v1.0 - EA Sport FC 24推理測試



Google Gemini Pro v1.0的推理結果:


結果如下:



附錄10:「傳說對決」現場直播賽事推理


(圖片來源:BSS vs NTTU | ING vs TN | NTTU vs TN - VÒNG THĂNG HẠNG ĐTDV XUÂN 2024 | NGÀY 01/06 - Youtube)

Google Gemini Pro v1.0的推理結果:


ChatGPT-4o的推理結果:




結果如下:

(圖片來源:BSS vs NTTU | ING vs TN | NTTU vs TN - VÒNG THĂNG HẠNG ĐTDV XUÂN 2024 | NGÀY 01/06 - Youtube)

影片實測:



附錄11:「遊戲王:大師決鬥」、「雀魂麻將」、「星海爭霸2」、「世紀帝國2:決定版」、「全軍破敵:戰鎚3」、「聯盟戰棋」、「傳說對決」、「爐石戰記」、「德州撲克」、「撞球」現場直播賽事推理以及紙本時刻表推理。









直播中的「德州撲克」手機遊戲


(截圖出處:와우포커 홀덤 2만블라인드 홀덤 토론회 - YouTube)

Google Gemini Pro v1.0推理:


結果如下:

(截圖出處:와우포커 홀덤 2만블라인드 홀덤 토론회 - YouTube)


直播撞球比賽的號碼球落袋推理測試:


Google Gemini Pro v1.0推理:


結果如下:



西元2024年6月20日的美股走勢圖推理測試:






紙本時刻表應用-1


紙本時刻表應用-2


出勤表或行程表匯入Google日曆


至於分析逐字稿內容的部分?我們可以這樣子使用:


在多張文件的情況下,能以上下文的方式,將兩張不同的時刻表進行推理分析:


想要將別人的紙本名片無痛轉成Google聯絡人?只要有Google Gemini Pro就會變的非常簡單!


Google Gemini Pro可以排員工出勤的班表嗎?當然可以!


Google Gemini Pro可以排列停車位順序嗎?當然可以!


Google Gemini Pro可以調閱影像時間軸嗎?當然可以!


Google Gemini Pro也可以查詢員工班表的休假日期!


Google Gemini Pro也可以查詢公司寄來的會議行程通知


Google Gemini Pro計算紙本表格


Google Gemini Pro分析Gmail附加檔案內容


Google Gemini 1.5 Flash查詢公車的班次


Google Gemini 1.5 Flash查詢交通路況


Google Gemini 1.5 Flash空間推理:


Google Gemini 1.5 Flash調整班距


當Google Gemini 1.5 Flash與工作知識結合,是否會提升工作效率?這影片就來實測看看


Google Gemini 1.5 Flash建議的出發時間


Google Gemini 1.5 Flash查詢指定地點的塞車時段


Google Gemini 1.5 Flash查詢免費公車里程


Google Gemini 1.5 Flash自組電腦菜單(實際上網查證過,價格真的可以壓在3萬台幣以下,會小爆一點。)


Google Gemini 1.5 Flash全新介面


Google Gemini (Gemini 1.5 Flash):草圖生圖實測


Google Gemini (Gemini 1.5 Flash):戰鬥陀螺X勝負預測


Google Gemini (Gemini 1.5 Flash):解開韓文加密測試


網路中國象棋對弈影片:


Google Gemini (Gemini 1.5 Pro):檢測ChatGPT-4o生成的惡意代碼


Google Gemini (Gemini 1.5 Pro):比價專家


Gemini Live中翻日效果
17
-
0
LV. 49
GP 14k
2 樓 凡斯~秀柱秀之呼吸 vance7025
GP1 BP-

1
-
LV. 46
GP 539
3 樓 劍心san sanboy289
GP1 BP-
本文同步刊登在:
「Ai推理」的標準定義是什麼? - 巴哈姆特小屋

自從ChatGPT-o1模型(代號「Strawberry」)問世之後,就紛紛開始關心ai模型是否會推理這件事、甚至誤解成只要ai模型會解開數學題目,就能直接解決真實世界中所有問題的奇怪傳聞出現。



(可自動生成Multi-Chain Reasoning提示詞內容的Gem管理工具)

其實「推理」這門領域,是有具體細分「線性推理」(Linear Thinking)與「非線性推理」(Non-Linear Thinking)的區別,一般常見的「數學計算」、「只要有翅膀,就認為所有鳥類都會飛」的推理,都是屬於「線性推理」的範疇。至於複雜多元領域的問題則是屬於「非線性推理」,可以在不同的知識上建立起知識網路來實現複雜推理。




所以,使用「線性推理」(Linear Thinking)來當成智力標準,筆者反而是只覺得低估了專門處理大量複雜內容的「非線性推理」(Non-Linear Thinking)優勢。

因此,若要測試一個Ai模型是否有具備「非線性推理」(Non-Linear Thinking)的能力,我們可以從詐騙集團的對話紀錄、法院已裁定的犯罪案件之紀錄片的對話紀錄、電競賽事勝負預測、商業行為的決策議題來進行驗證。

反之,若要佐證一個Ai模型是僅只具「線性推理」(Linear Thinking)的能力,則可以從目前已知存在的數學題目之類需要採用一步一步才能得到結果的方式進行驗證。

延伸閱讀:
[實測] Claude 3、Google Gemini Pro v1.0、ChatGPT-4 Turbo - 詐騙對話紀錄文本分析測試
[有雷]以「愛、纏、殺:誰是恐怖情人?」進行ai模型推理測試
ChatGPT-4o與Google Gemini 1.5 Flash模型的複雜任務比較
棋類遊戲與上下文推理的關係
Claude 3模型與Google Gemini Pro v1.0模型的視覺推理對決
人工智慧模型的前因後果理解挑戰:以ChatGPT與律師需求為例




最後,筆者來分享一個最近自己經常使用在Google Gemini 1.5 Flash的多重思維鏈(MCR,Multi-Chain Reasoning)提示詞:

「請以拆解任務、規劃子目標並評估結果的方式,推理分析OOOOO」,這是筆者最近頻繁使用到的一句思維鏈提示詞。然後剛好拿一篇待求證的文章,用來測試一個更適合萬用情境的多重思維鏈(MCR,Multi-Chain Reasoning) + 自動決策選擇知識圖譜的提示詞,對應詐騙訊息的實戰效果如下:


(截圖來源出處:cofacts真的假的?)

Google Gemini 1.5 Flash判斷結果如下:







影片測試:



再來是9x9數獨:


Google Gemini 1.5 Flash的回答:




還記得西元2016年3月橫空出世迎戰李世石的AlphaGo嗎?這回,我們將使用多重思維鏈(MCR,Multi-Chain Reasoning)提示詞,在Google Gemini 1.5 flash上重現AlphaGo在棋類遊戲上技壓眾人的能力。但這次不挑戰圍棋,改挑戰測試台灣十分熟悉的中國象棋。






多重思維鏈(MCR,Multi-Chain Reasoning)指令的應用:視覺推理,這邊直接上網隨機找真人實測對弈中國象棋:


我們直接以這個對弈畫面來給Google Gemini 1.5 Flash進行判讀,使用的提示詞與前例完全不同。


Google Gemini 1.5 Flash判斷結果如下:







然後,換這張對弈圖給Google Gemini 1.5 Flash判讀。

Google Gemini 1.5 Flash判斷結果如下:









最後是換這張來判讀。


Google Gemini 1.5 Flash判斷結果如下:






結果,執黑棋的人類玩家選擇認輸了,執紅棋的玩家藉由Gemini 1.5 Flash輔佐下獲勝。



實際的對弈影片:



緊接著,這邊簡單使用多重思維鏈(MCR,Multi-Chain Reasoning)指令來進行圍棋的下棋建議。




圍棋開局:


Google Gemini 1.5 Pro看完開局的建議:


黑子沿途遵循Google Gemini 1.5 Pro的最佳走法建議後,該棋盤長這樣:





圍棋測試總結:
基本上,只要對圍棋有最基本規則的了解(例如:厚、薄、氣、眼、劫、活棋、目數...等),搭配多重思維鏈(MCR,Multi-Chain Reasoning)提示詞 + Google Gemini 1.5 Pro就會強到有感,反之,如果用戶完全不會下圍棋、也看不懂圍棋,那麼,就算生成式AI可以針對圍棋給出具體有用的建議內容,就整體成效來說,也會跟著大打折扣,淪為差評。(簡單的說,Google Gemini 1.5 Flash與1.5 Pro都有專家系統,只是關鍵在於用戶本身是不是有涉獵該領域的知識)

影片測試:




衍生相關測試:


延伸閱讀:
傳Google正在研究推理AI 奮力追趕OpenAI
Improve Mathematical Reasoning in Language Models by Automated Process Supervision
Chain-of-Thought Reasoning Without Prompting
Intelligence at the Edge of Chaos


Google Gemini 1.5 Flash辨識Ai生成圖片系列:

(圖片出處:https://villawijnland.nl/product/trio-taste-delight/)



(圖片出處:ChatGPT 4o + Copilot  and ALL Ai生成式藝術小小詠唱師)







臨時減班、需要調整發車時間的時候,透過多重思維鏈讓Google Gemini 1.5 Flash逐一檢視各時段的發車時間表。




結果時間點上真的是非常剛好,在西元2024年10月19日當天,臨時洽好有司機又臨時請病假,敝人馬上就立即使用Google Gemini 1.5 Flash來快速調整發車班次,這回可真的是有備無患。






影片實測



]當B路線臨時有狀況不能發車,必須要靠A路線,去支援B的路線時,同時調整A路線的所有發車班次:







透過多重思維鏈(MCR,Multi-Chain Reasoning)讓Google Gemini 1.5 Pro檢測來自ChatGPT-4o的加密錢包代碼,受害事主是在X平台(原推特)上貼文公開表示的。




(圖片來源出處:X平台(原推特)


附上被害人與ChatGPT-4o mini的對話副本全紀錄:
https://chatgpt.com/share/67403c78-6cc0-800f-af71-4546231e6b10

附上相關新聞:
用 AI 寫程式碼暗藏「陷阱」:用戶求助 ChatGPT,反被釣魚「盜幣」
AI 對加密產業發出攻擊!ChatGPT 代碼暗藏陷阱,寫迷因 Bot 反被釣魚
AI投毒第一案! GPT寫的程式碼竟有後門程式設計師被騙2500美元
小心!網民以ChatGPT開發炒幣機器人「遭埋後門」,私鑰洩漏錢包瞬間被清空


Google Gemini 1.5 Pro使用Gem管理工具進行實測:




影片實測:


延伸閱讀:
AI是否真的會搶走人類的工作?(這篇有實際的案例可以解惑)


參考資料來源:
跳躍性思維 - 維基百科
線性思維 - MBA百科
【個人成長】 4大線性思維陷阱 看看自己是不是「死腦筋」!
Linear Thinking: The Ultimate Guide to the Linear Thought Process
Non-Linear Thinking: The Ultimate Guide to Non-Linear Thinking
Beyond Single-Track Thinking: Multi-Chain Reasoning Makes LLMs Smarter and More Explainable
Answering Questions by Meta-Reasoning over Multiple Chains of Thought
Multimodal Chain-of-Thought Reasoning in Language Models
Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models
Improve multi-hop reasoning in LLMs by learning from rich human feedback
oriyor / reasoning-on-cots
Intelligence at the Edge of Chaos
1
-
LV. 44
GP 443
4 樓 大丈夫かな? g19880603
GP0 BP-
外觀我真的不行...太醜了
0
-
LV. 45
GP 58
5 樓 來拿裝甲鮑 q2083222
GP0 BP-
結果還是沒辦法用語音開spotify播歌
繼續用google助理
0
-
LV. 46
GP 210
6 樓 蚊子 MG365986775
GP1 BP-
結果我唯一會用的
直接讓智慧鏡頭翻譯畫面的功能沒有
翻譯畫面的功能還超麻煩
繼續用google助理
1
-
LV. 46
GP 565
7 樓 劍心san sanboy289
GP0 BP-
本週更新以下內容:





Gemini Live 中文版:
0
-
未登入的勇者,要加入 8 樓的討論嗎?
板務人員: