作者：金旺

11月3日，釘釘官宣AI魔法棒功能正式上線。

作為阿里系接入大模型的一個重量級應(yīng)用，釘釘AI魔法棒已經(jīng)在釘釘聊天、文檔、知識庫、腦圖、閃記、Teambition等17項(xiàng)產(chǎn)品、60+場景中開放測試。

我們近日就其中應(yīng)用最多的聊天AI、文檔AI進(jìn)行了一系列應(yīng)用測試，感受了一下阿里大模型具體在協(xié)同辦公軟件中的應(yīng)用體驗(yàn)。

語意理解完整，有時也會“犯懶”

釘釘魔法棒是被直接作為一個功能模塊嵌入到釘釘頁面頂部，是實(shí)實(shí)在在以一個“魔法棒”的標(biāo)識出現(xiàn)的，在正式上線后，釘釘魔法棒已經(jīng)可以正常使用，不過，現(xiàn)在的釘釘AI魔法棒依然有明顯的「邀請測試」標(biāo)識。

由此可見，釘釘認(rèn)為這一功能還需要繼續(xù)進(jìn)化。

作為通過大模型提供基礎(chǔ)能力的產(chǎn)品，釘釘AI魔法棒首先是一個Chatbot。

在測試過程中，我們首先讓它回答了哲學(xué)三問：你是誰？從哪里來？到哪里去？

面對這樣一個看似簡單的問題，釘釘魔法棒能夠get到這三個問題的字面意思，并給出一個相對正確的標(biāo)準(zhǔn)答案。

進(jìn)一步交流后，我們發(fā)現(xiàn)，釘釘魔法棒也有“犯懶”的時候，當(dāng)你問它“釘釘這款軟件怎么樣”時，它會先給你一個簡單的介紹，告訴你這是阿里旗下的企業(yè)協(xié)作平臺，擁有打卡簽到、審批、日志等一些功能。

但關(guān)于釘釘?shù)母喙δ芙榻B，則是會甩給你一份產(chǎn)品使用手冊，讓你自己查閱。

在一系列對話測試中，作為一個Chatbot，釘釘魔法棒已經(jīng)有了不錯的理解能力和應(yīng)答能力，你可以讓它幫你推薦幾款好用的線上辦公軟件、也可以讓它給你規(guī)劃一個美國七日游的出行攻略，甚至可以讓它就一些軟件進(jìn)行簡單的功能對比。

優(yōu)點(diǎn)是，釘釘魔法棒有問必答，而且大多數(shù)情況能夠給出一些建議；缺點(diǎn)是，它目前給出的答案并不一定是最優(yōu)解，也不一定會有多詳細(xì)。

例如，釘釘魔法棒推薦的辦公軟件中，有一款軟件是“航天易辦公app”，我們并沒有在安卓手機(jī)應(yīng)用商城中找到這款軟件，顯然這款軟件很難說是一款主流或好用的協(xié)作辦公軟件。

而在被問及“飛書是不是比釘釘更好用”時，釘釘魔法棒也會指出，“釘釘界面比飛書稍有繁瑣，有一些廣告和推銷信息，如果用戶注重簡潔無廣告，飛書確實(shí)更適合?！?/p>

作為測試版功能，釘釘也在生成的每個內(nèi)容后增加了評價反饋極致，如果你對生成的內(nèi)容不滿意，可以直接給差評，并從“內(nèi)容不匹配”、“內(nèi)容不完整”、“表達(dá)不合邏輯”、“存在事實(shí)性誤差”、“有敏感詞或觀點(diǎn)”五個選項(xiàng)中選出不滿意的原因。

由于接入了通義萬相，釘釘魔法棒也具備文生圖功能，不過，這一功能在聊天AI功能中無法正常啟用，需要手動切換到文檔AI功能中再使用。

依然有幻覺，辦公新助手

釘釘魔法棒的文檔AI功能，有點(diǎn)像微軟引入ChatGPT的word文檔，可以提供一些文生文、文生圖、文生表格等功能。

在文檔AI中，當(dāng)我們讓釘釘魔法棒“為以大模型為主要討論內(nèi)容的年會做一個半天的活動策劃”時，它會自動生成年會的各個環(huán)節(jié)設(shè)置，并就相應(yīng)環(huán)節(jié)做出一兩句話的簡要介紹。

如果對生成的內(nèi)容不滿意，你可以通過“換一換”功能，讓釘釘魔法棒根據(jù)這個需求重新生成一個策劃。

根據(jù)半天活動需求，釘釘魔法棒原本生成了8個環(huán)節(jié)，而且生成的“主題演講”和“主題論壇”環(huán)節(jié)上其實(shí)是重復(fù)的，除此以外，生成的其他內(nèi)容與主題演講內(nèi)容加起來，已經(jīng)遠(yuǎn)超出半天所能涵蓋的內(nèi)容。

因而，在文檔AI中通過釘釘魔法棒生成的內(nèi)容更多是為我們提供創(chuàng)意和思路，最終生成的內(nèi)容在應(yīng)用時還需要二次調(diào)整。

不過，為了測試釘釘魔法棒的AI能力，我們在此基礎(chǔ)上也嘗試讓它“繼續(xù)寫”了三次，最終它給出了20個環(huán)節(jié)，但其中生成的部分環(huán)節(jié)多有重復(fù)，這也是當(dāng)下生成式AI仍然存在的“幻覺”問題的體現(xiàn)。

除此以外，“文生文”功能中，還可以對生成的內(nèi)容進(jìn)行諸如潤色內(nèi)容、豐富內(nèi)容、精簡內(nèi)容、改寫語氣等調(diào)整，這些功能對于學(xué)生寫論文或員工做匯報，尤其是文案創(chuàng)作者在改文案時，甲方提出諸如改語氣、豐富或精簡內(nèi)容明確需求時，會有一定幫助。

隨后我們又讓釘釘魔法棒“根據(jù)前面的大模型年會制作一張議程表格”（流程經(jīng)調(diào)整），得到了如下圖右側(cè)的這張表格：

可以看到的，表格和流程并沒有完全對齊，而且生成的是一整天的活動議程。

最后，我們還通過釘釘魔法棒為“大模型年會”生成了一張主題圖片，從而完成了這次“大模型年會”的文案策劃。

值得注意的是，釘釘為文檔AI加入了一個特別的“排版美化”功能，通過這一功能，你可以直接為你的word文檔套用釘釘事先制作好的幾個模板，來對內(nèi)容進(jìn)行整體美化。

小結(jié)

整體測試下來，我們有以下幾點(diǎn)感受：

1、釘釘魔法棒生成內(nèi)容的邏輯性已經(jīng)很不錯，但對內(nèi)容的理解能力，尤其是隱喻、比喻等更深層含義的理解能力依然需要繼續(xù)優(yōu)化；

2、AI大模型正在改變內(nèi)容生產(chǎn)模式，新的內(nèi)容生產(chǎn)模式中，我們更多需要考慮的是如何提供精準(zhǔn)的提示詞，讓AI為你分擔(dān)重復(fù)、繁瑣的工作，例如擬一個年會流程、做一個簡單的活動策劃等；

3、現(xiàn)在AI生成的內(nèi)容更多是為我們提供框架和靈感，還做不到一步到位，給你一個完整的作品，因而現(xiàn)在的AI更多是被定義為copilot。

對于大多數(shù)人來說，初次體驗(yàn)與AI合作會很吃力，不知道它的能力邊界在哪里，也不知道如何讓它為我們生成我們想要的內(nèi)容，但AI終究是大勢所趨，盡量將AI作為工具、融入工作中，是避免被AI代替最好的方式。