Memories.ai 推出了其大型視覺(jué)記憶模型 2.0 （LVMM 2.0），首次為 AI 系統(tǒng)賦予終端設(shè)備端的視覺(jué)記憶能力。與此同時(shí)，該公司宣布與高通公司達(dá)成合作，計(jì)劃從 2026 年起，讓該模型在高通處理器上實(shí)現(xiàn)原生運(yùn)行。這一舉措將使消費(fèi)者和企業(yè)能夠在設(shè)備端安全、快速地搜索和分析視覺(jué)瞬間。

視頻的痛點(diǎn)：難以高效搜索與分析

大型語(yǔ)言模型 （LLM） 使搜索和分析文本變得極其快速和智能。它使消費(fèi)者和企業(yè)能夠搜索數(shù)百個(gè)不同格式的文檔，以快速查找和分析基于文本的信息。視頻則不同。它密集、無(wú)結(jié)構(gòu)，并且停留在時(shí)間軸上。團(tuán)隊(duì)仍然會(huì)清理數(shù)小時(shí)的鏡頭，依賴(lài)文件名，或者希望成績(jī)單能夠捕捉到眼睛所看到的內(nèi)容。大多數(shù)工具都會(huì)索引音頻或縮略圖，但會(huì)遺漏作、對(duì)象和上下文。如果沒(méi)有視覺(jué)記憶層，人工智能就無(wú)法在框架的海洋中找到或回憶確切的時(shí)刻或回答更廣泛的問(wèn)題。

“通過(guò)將高通在邊緣計(jì)算、連接和設(shè)備上人工智能方面的專(zhuān)業(yè)知識(shí)與 Memories.ai 創(chuàng)新的大型視覺(jué)內(nèi)存模型 （LVMM） 相結(jié)合，我們正在改變機(jī)器感知、學(xué)習(xí)和記憶的方式，”高通技術(shù)公司產(chǎn)品管理副總裁兼生成式人工智能/機(jī)器學(xué)習(xí)負(fù)責(zé)人 Vinesh Sukumar 表示，“此次合作將使人工智能平臺(tái)不僅具有響應(yīng)能力，而且具有上下文感知能力， 能夠保留視覺(jué)信息，長(zhǎng)時(shí)間識(shí)別模式，即使在網(wǎng)絡(luò)邊緣也能可靠地執(zhí)行。我們正在共同加快我們的共同目標(biāo)，即為實(shí)際應(yīng)用提供更智能、更直觀的智能“。

解決方案：終端運(yùn)行大型視覺(jué)記憶模型

Memories.ai 的 LVMM 2.0 通過(guò)將原始視頻轉(zhuǎn)換為設(shè)備上的結(jié)構(gòu)化內(nèi)存來(lái)解決這些問(wèn)題。它對(duì)幀進(jìn)行編碼、壓縮它們并構(gòu)建支持亞秒級(jí)搜索的索引。用戶可以用通俗易懂的語(yǔ)言提出復(fù)雜的問(wèn)題或使用圖像提示，然后跳轉(zhuǎn)到確切的時(shí)刻。在高通處理器上本地運(yùn)行可降低延遲、降低云成本并將數(shù)據(jù)保持在本地以增強(qiáng)安全性。該模型融合了視頻、音頻和圖像，因此結(jié)果帶有上下文，統(tǒng)一的內(nèi)存格式使手機(jī)、相機(jī)和邊緣系統(tǒng)之間的體驗(yàn)保持一致。開(kāi)發(fā)者可通過(guò)軟件開(kāi)發(fā)工具包（SDK）和參考設(shè)計(jì)添加捕捉、索引和檢索功能，無(wú)需重新構(gòu)建后端。隨著索引的視頻片段增多，LVMM 的召回率和精確度會(huì)逐步提升。

LVMM 2.0 的實(shí)際應(yīng)用

AI 相冊(cè)：在設(shè)備上組織和顯示個(gè)人視頻記憶。

智能眼鏡和可穿戴設(shè)備：顯著增強(qiáng)人工智能召回率。

安全代理：幫助攝像頭實(shí)時(shí)理解和響應(yīng)。

機(jī)器人技術(shù)：為現(xiàn)實(shí)世界中的機(jī)器人提供更好的背景和理解

“高通已經(jīng)證明自己是將人工智能推向邊緣的領(lǐng)導(dǎo)者，”Memories.ai 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Shar:破高膙轔?f然揩襮嫛蟿F鳩5pep=k?確矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鵒黮}劷:q{|?e ?%坖D覑眤丬鯇M(纈s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫n Shen 說(shuō)?！拔覀兒芨吲d能與他們合作，在未來(lái)幾年將 LVMM 令人難以置信的強(qiáng)大功能帶到數(shù)億部手機(jī)、電腦和可穿戴設(shè)備中?！?/p>