• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

Faiss学习

开发技术 开发技术 4小时前 4次浏览

Faiss

  Faiss是一个高效的相似搜索和密集向量聚类库。它包含了搜索任意大小的向量集合的算法,其中包括那些可能不适合RAM的向量。它还包含用于评估和参数调优的支持代码。Faiss是用c++++编写的,带有针对Python/numpy的完整包装器。一些最有用的算法是在GPU上实现的。它是由Facebook人工智能研究公司开发的。

Introduc++tion

  Faiss包含了几种相似搜索方法。它假设实例用向量表示,并用一个整数标识,并且这些向量可以与L2(欧几里得)距离或点积进行比较。与查询向量相似的向量是那些与查询向量有最低L2距离或最高点积的向量。它还支持余弦相似度,因为这是规范化向量的点积。

  大多数方法,如基于二进制矢量和紧凑型量化码的方法,只使用矢量的压缩表示,不需要保持原始矢量。这通常是以不太精确的搜索为代价的,但这些方法可以在单个服务器的主存中扩展到数十亿个向量。

  GPU实现可以接受来自CPU或GPU内存的输入。在一个有GPU的服务器上,GPU索引可以用来替代CPU索引(例如,将IndexFlatL2替换为GpuIndexFlatL2),并自动处理从GPU内存的复制。然而,如果输入和输出都留在GPU上,结果会更快。支持单gpu和多gpu使用。

Building

  这个库主要是用c++实现的,通过CUDA提供了可选的GPU支持,以及一个可选的Python接口。CPU版本需要BLAS库。它可以用Makefile编译,也可以打包到docker映像中。See INSTALL.md  for details.

How Faiss works

  Faiss是围绕一个索引类型构建的,该索引类型存储了一组向量,并提供了一个函数来使用L2和/或点积向量比较在其中进行搜索。有些索引类型是简单的基线,如精确搜索。大多数可用的索引结构对应于关于

  • search time
  • search quality
  • memory used per index vector
  • training time
  • need for external data for unsupervised training

  的各种权衡。

  可选的GPU实现提供了可能是(截至2017年3月)最快的精确和近似(压缩域)最近邻搜索实现高维向量,最快的Lloyd’s k-means,以及已知最快的小k选择算法。这里详细介绍了实现。

Full doc++umentation of Faiss

  The following are entry points for documentation:

  • the full documentation, including a tutorial, a FAQ and a troubleshooting section can be found on the wiki page
  • the doxygen documentation gives per-class information
  • to reproduce results from our research papers, Polysemous codes and Billion-scale similarity search with GPUs, refer to the benchmarks README. For Link and code: Fast indexing with graphs and compact regression codes, see the link_and_code README

 


程序员灯塔
转载请注明原文链接:Faiss学习
喜欢 (0)