上海安防网-上海安全防范报警协会

2023年7月，依圖發布了智能安防領域首個可實戰可商用的多模態大模型—依圖天問1.0。發布至今，依圖天問大模型基座已完成了兩次迭代升級，并率先在全國50多個項目中部署應用。

近日，在第十屆中國（上海）國際技術進出口交易會上，依圖科技最新版本的“依圖天問大模型4.0”正式發布，以全新的交互體驗、超高的進化能力，重新定義了多模態大模型在智能安防領域的應用邊界。

此次發布的依圖天問大模型4.0實現了眾多功能的跨越式升級：融合自然語言與視覺信息，大幅提升視頻內容的模糊檢索能力；支持多條件組合場景布控，實現精細化布控和風險管理；依圖天問4.0升級后的預訓練模型支持算法極少樣本冷啟動，通過Agent代理輔助訓練，真正實現了“想法既算法”的智能飛躍。

視頻理解更細微，語義檢索更豐富

語言交互的模糊性來源于語境的多樣性。依圖天問4.0引入多模態視覺搜索技術，將自然語言與視覺信息融合，以“用戶”為主，深刻理解語境中的細微差別，例如：當需要搜索“騎電動車帶多個煤氣罐”的視頻內容時，用戶只需用日常語言描述需求，系統便可呈現出最貼近意圖的搜索結果。同時，還可以針對視頻內容里細小目標做模糊化檢索。這些能力極大地提升了城市管理者日常運營和決策調度中的工作效率，降低了溝通成本。

（上圖示例：“前燈破損的汽車”，系統不僅能理解抽象的描述，還迅速反饋出精確的圖像結果）

全要素理解、多條件布控更全面

高精度的視頻內容理解，解鎖了復雜視頻場景布控的可能。機器可以代替人去看視頻，像人一樣看"懂"視頻，對視頻內容進行全場景、全要素的理解，就可以對典型的場景目標和規則進行精準布控，提前預警潛在風險，科學高效地輔助決策。依圖天問4.0支持多條件組合的場景布控，可幫助管理者進行精細化風險防控和管理。在城市管理、環境監測、公共安全等領域，這項技術展現出極高的實戰應用價值。

（上圖示例：城市攝像機對“嚴重積水的涵洞”的歷史事件進行搜索的結果）

樣本更少更高效，現場訓練更靈活

智能系統的一大特征是可以根據環境和需求的變化快速適配。傳統的機器學習模型面對新的算法任務，需重新收集數據、訓練模型，至少要1-3個月。依圖天問4.0升級了預訓練模型，可實現1分鐘內對極少樣本的新算法進行冷啟動，1小時內完成在線標注訓練，1天內快速部署上線。通過日常工作過程中快速積累的數據飛輪，操作人員每天花幾分鐘對齊數據、簡單點擊對錯，幾天時間就可讓算法達到超過90%的準確率，展現出前所未有的智能化和靈活性，充分滿足業務系統的敏捷性和管理的時效性。

（上圖示例：排查“烈性犬”，少樣本對齊烈性犬，吉娃娃、拉布拉多、田園犬則極少出現）

想法即算法，Agent輔助更智能

Agent（代理）在多模態大模型體系里扮演著至關重要的角色。AI Agent能夠基于歷史交互記錄和現有的算法能力，做出更為精準的決策輔助。依圖天問4.0可輔助逐步對齊認知，解構重組算法。例如：當我們想訓練一個“大型倉庫里的小型叉車”，Agent會針對“大型倉庫”和“小型叉車”的語義做對齊，從而使得用戶的想法可以快速轉化為直觀的算法，讓用戶的每一個想法都能即時轉化為直觀的操作指令，實現“想法即算法”的飛躍，呈現出工作助手、智能體的靈動與高效特征。

（上圖示例：訓練“大型倉庫里的小型叉車”，Agent對“大型倉庫”“小型叉車”的語義做對齊）