淘寶搜索、推薦及視頻搜索背后的核心技術是向量檢索。向量檢索在處理非結構化數據如語音、圖片、視頻、文本等，以實現高效檢索中發揮關鍵作用。AI領域中，數據轉換為向量的過程稱為Embedding，而向量檢索技術則是在構建的向量空間中尋找相似度高的實體。向量檢索技術廣泛應用于人臉識別、推薦系統、圖片搜索、視頻指紋、語音處理、自然語言處理、文件搜索等領域。AI技術的普及與數據規模的持續增長，使得向量檢索成為AI技術鏈路中不可或缺的環節，是傳統搜索技術的補充，具備多模態搜索能力。在電商領域，搜索、推薦、廣告場景中，通過商品協同和用戶協同策略來實現快速檢索，新一代系統引入了深度學習的Embedding能力，通過i2i、u2i、u2u2i、u2i2i等向量召回方式，高效地找到相似商品和推薦用戶感興趣的商品。向量檢索在AI場景中幾乎無處不在，應用領域涵蓋了幾乎所有的AI業務場景。然而，向量檢索面臨諸多挑戰，包括繁多的檢索算法、技術難題如大規模索引的精度和性能、分布式構建和檢索的難題、流式索引的在線更新挑戰等。業內不斷涌現出優秀的開源作品和工程化方案，如FLANN、Faiss等，以應對向量檢索的發展。達摩院自主研發的向量檢索內核Proxima，廣泛應用于阿里巴巴和螞蟻集團的多個業務場景，如淘寶搜索和推薦、螞蟻人臉支付、優酷視頻搜索、阿里媽媽廣告檢索等，并深度集成在各類大數據和數據庫產品中，提供高效、高性能的向量檢索能力。Proxima的核心能力包括高性能相似性搜索、多硬件平臺支持、全面覆蓋從邊緣計算到云計算的場景、單機支持十億級別數據的高準確率檢索等。與業內其他向量檢索庫如Faiss相比，Proxima在檢索性能、構建速度、成本控制、服務化等方面展現出明顯優勢。Proxima在技術展望中，將繼續面對數據規模增長、算法優化等挑戰，同時，向量檢索技術將在AI領域發揮更大作用，服務于更廣泛的場景和應用。