3分鐘上手UI-TARS桌面版用一句話讓AI替你操作電腦和瀏覽器【免費(fèi)下載鏈接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop每天在電腦前重復(fù)打開(kāi)文件夾、填寫(xiě)表單、復(fù)制粘貼這些機(jī)械的GUI操作到底吞掉了你多少時(shí)間UI-TARS桌面版正是為解決這個(gè)問(wèn)題而生的開(kāi)源多模態(tài)AI智能體——它通過(guò)視覺(jué)語(yǔ)言模型看懂屏幕再用自然語(yǔ)言指令替你完成桌面與瀏覽器上的各類(lèi)操作。無(wú)需寫(xiě)一行代碼從下載到跑通第一個(gè)真實(shí)任務(wù)全程只要幾分鐘。你與電腦之間只差一句自然語(yǔ)言傳統(tǒng)自動(dòng)化的門(mén)檻很高要么學(xué)腳本語(yǔ)言要么依賴(lài)錄制回放界面一變就失效。UI-TARS桌面版換了一條路——它不依賴(lài)預(yù)先寫(xiě)死的規(guī)則而是直接看屏幕模型像人一樣觀察界面元素理解你的一句話再規(guī)劃并執(zhí)行點(diǎn)擊、輸入、拖拽等一系列動(dòng)作。它的核心賣(mài)點(diǎn)就兩個(gè)詞看得見(jiàn)、聽(tīng)得懂。安裝完成后你會(huì)看到兩個(gè)完全不同的入口操作模式能做什么典型場(chǎng)景Computer Operator本地電腦操作直接操縱桌面應(yīng)用文件整理、軟件設(shè)置、數(shù)據(jù)搬運(yùn)Browser Operator本地瀏覽器操作自動(dòng)控制瀏覽器網(wǎng)頁(yè)搜索、表單填寫(xiě)、數(shù)據(jù)采集兩種模式都基于本地運(yùn)行你的屏幕畫(huà)面實(shí)時(shí)被模型看見(jiàn)每一步操作都有截圖反饋。順帶提醒兩個(gè)小前提Browser Operator需要本機(jī)裝有Chrome、Edge或Firefox目前應(yīng)用為單顯示器場(chǎng)景優(yōu)化多屏環(huán)境下部分任務(wù)可能執(zhí)行失敗——第一次體驗(yàn)用單屏最穩(wěn)妥。裝好它Windows與macOS的安裝與權(quán)限那點(diǎn)事下載對(duì)應(yīng)平臺(tái)的安裝包安裝過(guò)程本身不復(fù)雜但兩個(gè)系統(tǒng)各有一個(gè)容易卡住的小插曲。Windows用戶(hù)雙擊安裝包后系統(tǒng)可能彈出Windows Defender SmartScreen的安全提示。這是Windows的正常保護(hù)機(jī)制不必?fù)?dān)心點(diǎn)擊仍要運(yùn)行即可繼續(xù)安裝。macOS用戶(hù)采用經(jīng)典的拖拽式安裝把UI-TARS圖標(biāo)拖入Applications文件夾即可。安裝完成后先別急著用macOS還需要放行兩個(gè)權(quán)限進(jìn)入系統(tǒng)設(shè)置→隱私與安全性分別開(kāi)啟輔助功能和屏幕錄制。屏幕錄制權(quán)限尤其關(guān)鍵——沒(méi)有它AI就看不見(jiàn)你的屏幕也就無(wú)法執(zhí)行任何操作。 小貼士如果第一次啟動(dòng)時(shí)誤點(diǎn)了拒絕去系統(tǒng)設(shè)置里手動(dòng)打開(kāi)權(quán)限即可無(wú)需重裝。接入AI大腦火山引擎與Hugging Face兩條配置路徑安裝只是第一步UI-TARS桌面版真正聰明靠的是背后的視覺(jué)語(yǔ)言模型VLM。打開(kāi)左下角設(shè)置進(jìn)入VLM Settings你只需填四樣?xùn)|西Provider服務(wù)商、Base URL、API Key、Model Name。針對(duì)不同服務(wù)商官方在配置里預(yù)置了專(zhuān)用的Provider選項(xiàng)選擇正確能顯著提升動(dòng)作解析的準(zhǔn)確率這也是UI-TARS區(qū)別于通用聊天模型的關(guān)鍵。路徑A火山引擎Ark的Doubao-1.5-UI-TARS上手最快這是專(zhuān)為UI-TARS調(diào)優(yōu)的商用模型配置最省心。在火山引擎Ark控制臺(tái)開(kāi)通服務(wù)并拿到API Key后在設(shè)置中按以下示例填寫(xiě)VLM ProviderVolcEngine Ark for Doubao-1.5-UI-TARSVLM Base URLhttps://ark.cn-beijing.volces.com/api/v3VLM Model Namedoubao-1.5-ui-tars-250328路徑BHugging Face上的UI-TARS-1.5數(shù)據(jù)更可控如果你對(duì)數(shù)據(jù)隱私要求高可以在Hugging Face上部署開(kāi)源的UI-TARS-1.5模型然后把Provider切換為Hugging Face for UI-TARS-1.5填入自己部署服務(wù)的Base URL與API Key。兩條路徑?jīng)]有絕對(duì)優(yōu)劣追求開(kāi)箱即用選A追求完全自控選B。填完后可以點(diǎn)擊Check Model Availability校驗(yàn)連通性確認(rèn)無(wú)誤再保存。至此你的AI大腦已接好可以開(kāi)始正式任務(wù)了。第一個(gè)真實(shí)任務(wù)讓AI替你檢查GitHub開(kāi)放issue一切就緒后點(diǎn)擊New Chat新建對(duì)話界面會(huì)先讓你選擇本次任務(wù)的執(zhí)行場(chǎng)景——本地電腦還是本地瀏覽器。接著在輸入框里敲下你的第一句指令。就拿項(xiàng)目官方演示中最經(jīng)典的例子直接在Local Computer Operator里輸入幫我檢查UI-TARS-Desktop項(xiàng)目在GitHub上最新的開(kāi)放issue按下回車(chē)好戲開(kāi)始。你會(huì)在右側(cè)看到實(shí)時(shí)的屏幕截圖AI自動(dòng)打開(kāi)瀏覽器、導(dǎo)航到GitHub倉(cāng)庫(kù)、定位Issues頁(yè)面、篩選開(kāi)放中的issue然后在左側(cè)聊天區(qū)把結(jié)果整理給你。整個(gè)過(guò)程你都能盯著屏幕一幀幀看它操作像在圍觀一位細(xì)心的同事遠(yuǎn)程協(xié)助你。第一次上手記住三條經(jīng)驗(yàn)?zāi)茏尦晒β蚀笤鲋噶钜唧w說(shuō)清檢查某項(xiàng)目的最新開(kāi)放issue比籠統(tǒng)說(shuō)幫我查點(diǎn)東西有效得多復(fù)雜任務(wù)拆小一次只交代一件事多輪對(duì)話逐步推進(jìn)比一條長(zhǎng)指令更穩(wěn)定隨時(shí)可中斷如果AI走偏點(diǎn)擊終止按鈕即可停止重新組織語(yǔ)言再來(lái)。界面右上角還可以設(shè)置語(yǔ)言、最大循環(huán)步數(shù)Max Loop默認(rèn)100步等參數(shù)普通用戶(hù)保持默認(rèn)值即可。收尾與進(jìn)階操作報(bào)告、UTIO與更多玩法任務(wù)結(jié)束后別忘了點(diǎn)一下Export as HTML——UI-TARS桌面版會(huì)為你生成一份完整的操作報(bào)告包含每一步的截圖、指令與動(dòng)作記錄保存到本地隨時(shí)回看。這份回放既是復(fù)盤(pán)工具也是給團(tuán)隊(duì)展示自動(dòng)化成果的最佳素材。如果你好奇這背后的機(jī)制可以留意項(xiàng)目文檔中提到的UTIOUI-TARS Insights and Observation它記錄了應(yīng)用啟動(dòng)、指令發(fā)送、報(bào)告分享等事件讓每次交互都有完整的可追溯鏈路。更進(jìn)一步這個(gè)開(kāi)源項(xiàng)目還為你準(zhǔn)備了豐富的進(jìn)階資源全部可以在倉(cāng)庫(kù)中找到配置與預(yù)設(shè)docs/setting.md詳解全部設(shè)置項(xiàng)docs/preset.md與examples/presets/default.yaml教你把常用任務(wù)固化成可復(fù)用預(yù)設(shè)開(kāi)發(fā)集成packages/ui-tars/sdk/提供二次開(kāi)發(fā)能力examples/operator-browserbase/演示如何將瀏覽器操作接入CI/CD流程核心源碼multimodal/agent-tars/是智能引擎本體apps/ui-tars/src/main/是桌面應(yīng)用界面適合想深入研究的讀者。下一步行動(dòng)如果還在猶豫可以直接克隆倉(cāng)庫(kù)體驗(yàn)最新版本git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop然后在docs/quick-start.md中按引導(dǎo)完成安裝從今天的一句指令開(kāi)始把你手頭重復(fù)的GUI操作交給AI——你會(huì)驚訝地發(fā)現(xiàn)省下的不只是幾分鐘而是每天被機(jī)械勞動(dòng)偷走的那段寶貴時(shí)間。UI-TARS桌面版最大的價(jià)值就是讓人指揮電腦這件事重新變得自然、簡(jiǎn)單、免費(fèi)。【免費(fèi)下載鏈接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 3分鐘上手UI-TARS桌面版：用一句話讓AI替你操作電腦和瀏覽器
3分鐘上手UI-TARS桌面版用一句話讓AI替你操作電腦和瀏覽器【免費(fèi)下載鏈接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop每天在電腦前重復(fù)打開(kāi)文件夾、填寫(xiě)表單、復(fù)制粘貼這些機(jī)械的GUI操作到底吞掉了你多少時(shí)間UI-TARS桌面版正是為解決這個(gè)問(wèn)題而生的開(kāi)源多模態(tài)AI智能體——它通過(guò)視覺(jué)語(yǔ)言模型看懂屏幕再用自然語(yǔ)言指令替你完成桌面與瀏覽器上的各類(lèi)操作。無(wú)需寫(xiě)一行代碼從下載到跑通第一個(gè)真實(shí)任務(wù)全程只要幾分鐘。你與電腦之間只差一句自然語(yǔ)言傳統(tǒng)自動(dòng)化的門(mén)檻很高要么學(xué)腳本語(yǔ)言要么依賴(lài)錄制回放界面一變就失效。UI-TARS桌面版換了一條路——它不依賴(lài)預(yù)先寫(xiě)死的規(guī)則而是直接看屏幕模型像人一樣觀察界面元素理解你的一句話再規(guī)劃并執(zhí)行點(diǎn)擊、輸入、拖拽等一系列動(dòng)作。它的核心賣(mài)點(diǎn)就兩個(gè)詞看得見(jiàn)、聽(tīng)得懂。安裝完成后你會(huì)看到兩個(gè)完全不同的入口操作模式能做什么典型場(chǎng)景Computer Operator本地電腦操作直接操縱桌面應(yīng)用文件整理、軟件設(shè)置、數(shù)據(jù)搬運(yùn)Browser Operator本地瀏覽器操作自動(dòng)控制瀏覽器網(wǎng)頁(yè)搜索、表單填寫(xiě)、數(shù)據(jù)采集兩種模式都基于本地運(yùn)行你的屏幕畫(huà)面實(shí)時(shí)被模型看見(jiàn)每一步操作都有截圖反饋。順帶提醒兩個(gè)小前提Browser Operator需要本機(jī)裝有Chrome、Edge或Firefox目前應(yīng)用為單顯示器場(chǎng)景優(yōu)化多屏環(huán)境下部分任務(wù)可能執(zhí)行失敗——第一次體驗(yàn)用單屏最穩(wěn)妥。裝好它Windows與macOS的安裝與權(quán)限那點(diǎn)事下載對(duì)應(yīng)平臺(tái)的安裝包安裝過(guò)程本身不復(fù)雜但兩個(gè)系統(tǒng)各有一個(gè)容易卡住的小插曲。Windows用戶(hù)雙擊安裝包后系統(tǒng)可能彈出Windows Defender SmartScreen的安全提示。這是Windows的正常保護(hù)機(jī)制不必?fù)?dān)心點(diǎn)擊仍要運(yùn)行即可繼續(xù)安裝。macOS用戶(hù)采用經(jīng)典的拖拽式安裝把UI-TARS圖標(biāo)拖入Applications文件夾即可。安裝完成后先別急著用macOS還需要放行兩個(gè)權(quán)限進(jìn)入系統(tǒng)設(shè)置→隱私與安全性分別開(kāi)啟輔助功能和屏幕錄制。屏幕錄制權(quán)限尤其關(guān)鍵——沒(méi)有它AI就看不見(jiàn)你的屏幕也就無(wú)法執(zhí)行任何操作。 小貼士如果第一次啟動(dòng)時(shí)誤點(diǎn)了拒絕去系統(tǒng)設(shè)置里手動(dòng)打開(kāi)權(quán)限即可無(wú)需重裝。接入AI大腦火山引擎與Hugging Face兩條配置路徑安裝只是第一步UI-TARS桌面版真正聰明靠的是背后的視覺(jué)語(yǔ)言模型VLM。打開(kāi)左下角設(shè)置進(jìn)入VLM Settings你只需填四樣?xùn)|西Provider服務(wù)商、Base URL、API Key、Model Name。針對(duì)不同服務(wù)商官方在配置里預(yù)置了專(zhuān)用的Provider選項(xiàng)選擇正確能顯著提升動(dòng)作解析的準(zhǔn)確率這也是UI-TARS區(qū)別于通用聊天模型的關(guān)鍵。路徑A火山引擎Ark的Doubao-1.5-UI-TARS上手最快這是專(zhuān)為UI-TARS調(diào)優(yōu)的商用模型配置最省心。在火山引擎Ark控制臺(tái)開(kāi)通服務(wù)并拿到API Key后在設(shè)置中按以下示例填寫(xiě)VLM ProviderVolcEngine Ark for Doubao-1.5-UI-TARSVLM Base URLhttps://ark.cn-beijing.volces.com/api/v3VLM Model Namedoubao-1.5-ui-tars-250328路徑BHugging Face上的UI-TARS-1.5數(shù)據(jù)更可控如果你對(duì)數(shù)據(jù)隱私要求高可以在Hugging Face上部署開(kāi)源的UI-TARS-1.5模型然后把Provider切換為Hugging Face for UI-TARS-1.5填入自己部署服務(wù)的Base URL與API Key。兩條路徑?jīng)]有絕對(duì)優(yōu)劣追求開(kāi)箱即用選A追求完全自控選B。填完后可以點(diǎn)擊Check Model Availability校驗(yàn)連通性確認(rèn)無(wú)誤再保存。至此你的AI大腦已接好可以開(kāi)始正式任務(wù)了。第一個(gè)真實(shí)任務(wù)讓AI替你檢查GitHub開(kāi)放issue一切就緒后點(diǎn)擊New Chat新建對(duì)話界面會(huì)先讓你選擇本次任務(wù)的執(zhí)行場(chǎng)景——本地電腦還是本地瀏覽器。接著在輸入框里敲下你的第一句指令。就拿項(xiàng)目官方演示中最經(jīng)典的例子直接在Local Computer Operator里輸入幫我檢查UI-TARS-Desktop項(xiàng)目在GitHub上最新的開(kāi)放issue按下回車(chē)好戲開(kāi)始。你會(huì)在右側(cè)看到實(shí)時(shí)的屏幕截圖AI自動(dòng)打開(kāi)瀏覽器、導(dǎo)航到GitHub倉(cāng)庫(kù)、定位Issues頁(yè)面、篩選開(kāi)放中的issue然后在左側(cè)聊天區(qū)把結(jié)果整理給你。整個(gè)過(guò)程你都能盯著屏幕一幀幀看它操作像在圍觀一位細(xì)心的同事遠(yuǎn)程協(xié)助你。第一次上手記住三條經(jīng)驗(yàn)?zāi)茏尦晒β蚀笤鲋噶钜唧w說(shuō)清檢查某項(xiàng)目的最新開(kāi)放issue比籠統(tǒng)說(shuō)幫我查點(diǎn)東西有效得多復(fù)雜任務(wù)拆小一次只交代一件事多輪對(duì)話逐步推進(jìn)比一條長(zhǎng)指令更穩(wěn)定隨時(shí)可中斷如果AI走偏點(diǎn)擊終止按鈕即可停止重新組織語(yǔ)言再來(lái)。界面右上角還可以設(shè)置語(yǔ)言、最大循環(huán)步數(shù)Max Loop默認(rèn)100步等參數(shù)普通用戶(hù)保持默認(rèn)值即可。收尾與進(jìn)階操作報(bào)告、UTIO與更多玩法任務(wù)結(jié)束后別忘了點(diǎn)一下Export as HTML——UI-TARS桌面版會(huì)為你生成一份完整的操作報(bào)告包含每一步的截圖、指令與動(dòng)作記錄保存到本地隨時(shí)回看。這份回放既是復(fù)盤(pán)工具也是給團(tuán)隊(duì)展示自動(dòng)化成果的最佳素材。如果你好奇這背后的機(jī)制可以留意項(xiàng)目文檔中提到的UTIOUI-TARS Insights and Observation它記錄了應(yīng)用啟動(dòng)、指令發(fā)送、報(bào)告分享等事件讓每次交互都有完整的可追溯鏈路。更進(jìn)一步這個(gè)開(kāi)源項(xiàng)目還為你準(zhǔn)備了豐富的進(jìn)階資源全部可以在倉(cāng)庫(kù)中找到配置與預(yù)設(shè)docs/setting.md詳解全部設(shè)置項(xiàng)docs/preset.md與examples/presets/default.yaml教你把常用任務(wù)固化成可復(fù)用預(yù)設(shè)開(kāi)發(fā)集成packages/ui-tars/sdk/提供二次開(kāi)發(fā)能力examples/operator-browserbase/演示如何將瀏覽器操作接入CI/CD流程核心源碼multimodal/agent-tars/是智能引擎本體apps/ui-tars/src/main/是桌面應(yīng)用界面適合想深入研究的讀者。下一步行動(dòng)如果還在猶豫可以直接克隆倉(cāng)庫(kù)體驗(yàn)最新版本git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop然后在docs/quick-start.md中按引導(dǎo)完成安裝從今天的一句指令開(kāi)始把你手頭重復(fù)的GUI操作交給AI——你會(huì)驚訝地發(fā)現(xiàn)省下的不只是幾分鐘而是每天被機(jī)械勞動(dòng)偷走的那段寶貴時(shí)間。UI-TARS桌面版最大的價(jià)值就是讓人指揮電腦這件事重新變得自然、簡(jiǎn)單、免費(fèi)。【免費(fèi)下載鏈接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考