임베딩 저장공간 97% 줄이고도 검색 품질은 그대로?

벡터 검색이 커질수록 임베딩 저장 비용은 골칫거리입니다. mixedbread는 '비대칭 양자화(Asymmetric Quantization)'로 이 문제를 정면 돌파합니다. 핵심 아이디어는 간단합니다. 대량으로 저장해야 하는 문서(document) 임베딩은 int8이나 바이너리 같은 저정밀도로 압축하되, 그때그때 들어오는 쿼리(query) 임베딩은 원본 float 정밀도를 유지하는 것입니다. 양쪽을 똑같이 압축하면 정보 손실이 크지만, 저장량이 압도적으로 많은 문서 쪽만 압축하고 쿼리는 고정밀로 두면 검색 정확도 손실을 거의 없앨 수 있습니다. 그 결과 저장 공간은 최대 97% 절감되면서도 검색 품질(recall)은 원본과 거의 차이가 없는 near-lossless 수준을 달성합니다. 수억 건 규모의 RAG나 시맨틱 검색을 운영하는 팀이라면 메모리·비용을 대폭 줄이는 실용적인 카드입니다. 인프라를 바꾸지 않고 인덱싱 단계의 정밀도 전략만 조정해도 되는 점이 매력적입니다. 대규모 벡터 검색을 고민 중이라면 꼭 살펴볼 기법입니다.