TurboQuant Pro: Embeddings 27x Menores, Qualidade Preservada

# pip install turboquant-pro numpy psycopg2-binary faiss-cpu # git clone https://github.com/ahb-sjsu/turboquant-pro import numpy as np from turboquant import PCAMatryoshka, TurboQuantKV, TurboQuantPGVector from turboquant.faiss import TurboQuantFAISS from turboquant.cli import autotune # ───────────────────────────────────────────── # 1. AJUSTE DO COMPRESSOR (uma vez, offline) # ───────────────────────────────────────────── # Embeddings de treino — use uma amostra representativa # (ex: text-embedding-3-large da OpenAI, dim=1536) train_embeddings = np.load('embeddings_sample.npy') # (N, 1536) # Auto-tuning: encontra melhor (n_components, bits) para seu dataset best_config = autotune( embeddings=train_embeddings, target_similarity=0.975, # mínimo aceitável max_compression=30, # fator máximo desejado ) print(f"Config recomendada: {best_config}") # Ex: {'n_components': 128, 'bits': 3, 'compression_factor': 27.1} # Fit do PCA-Matryoshka pca = PCAMatryoshka( n_components=best_config['n_components'], # 128 matryoshka_dims=[32, 64, 128], # nested — pode buscar em 32d primeiro ) pca.fit(train_embeddings) # Calibração do TurboQuant quantizer from turboquant import TurboQuantScalar quantizer = TurboQuantScalar(bits=best_config['bits']) # 3 bits projected = pca.transform(train_embeddings) quantizer.calibrate(projected) # estima thresholds ótimos pela distribuição real # Salvar compressor import pickle with open('compressor.pkl', 'wb') as f: pickle.dump({'pca': pca, 'quantizer': quantizer}, f) print(f"Compressão: {1536 * 4} bytes → {128 * 3 // 8} bytes por vetor") # Compressão: 6144 bytes → 48 bytes por vetor (128x teórico, 27x prático) # ───────────────────────────────────────────── # 2. COMPRESSÃO EM BATCH (inserção de novos docs) # ───────────────────────────────────────────── def compress_batch(raw_embeddings: np.ndarray) -> bytes: """Comprime batch de embeddings para armazenamento.""" projected = pca.transform(raw_embeddings) compressed = quantizer.encode(projected) # ndarray de uint8 return compressed # Exemplo: 10K embeddings new_embeddings = np.random.randn(10_000, 1536).astype(np.float32) compressed = compress_batch(new_embeddings) print(f"10K vetores: {new_embeddings.nbytes / 1e6:.1f} MB → {compressed.nbytes / 1e3:.0f} KB") # 10K vetores: 61.4 MB → 480 KB # ───────────────────────────────────────────── # 3. INTEGRAÇÃO COM PGVECTOR # ───────────────────────────────────────────── import psycopg2 conn = psycopg2.connect("postgresql://user:pass@localhost/mydb") # TurboQuantPGVector gerencia schema, índice e codec automaticamente tqpg = TurboQuantPGVector( conn=conn, table_name='documents', pca=pca, quantizer=quantizer, original_dim=1536, ) tqpg.setup() # cria tabela com coluna vector(128), instala extensão pgvector # Inserção em batch — comprime antes de inserir docs = [ {"id": i, "text": f"documento {i}", "embedding": new_embeddings[i]} for i in range(1000) ] tqpg.upsert(docs) # comprime e insere # Busca semântica — query é comprimida automaticamente query_raw = np.random.randn(1536).astype(np.float32) results = tqpg.similarity_search( query_embedding=query_raw, k=10, threshold=0.7, ) for r in results: print(f" score={r['score']:.3f} | id={r['id']}") # ───────────────────────────────────────────── # 4. FAISS EM MEMÓRIA # ───────────────────────────────────────────── tqfaiss = TurboQuantFAISS( pca=pca, quantizer=quantizer, index_type='IVFFlat', # ou 'HNSW' para grafos nlist=100, ) tqfaiss.build(new_embeddings) # indexa 10K vetores comprimidos tqfaiss.save('index.turbo') # serializa índice + codec juntos # Busca D, I = tqfaiss.search(query_raw, k=5) print(f"Top-5 IDs: {I[0]}, distâncias: {D[0]}") # ───────────────────────────────────────────── # 5. KV CACHE COMPRIMIDO PARA LLMS # ───────────────────────────────────────────── from turboquant import TurboQuantKVCache import torch # Integração com HuggingFace transformers — monkey-patch no forward from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3-8B") tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3-8B") # Wrap com KV cache comprimido (3-bit para K e V) tq_cache = TurboQuantKVCache( model=model, kv_bits=3, # 3-bit quantização das matrizes K e V residual_length=128, # últimos N tokens em float16 (precisão local) ) # Geração com cache comprimido — suporta contextos longos com menos VRAM inputs = tokenizer( "Texto longo aqui " * 1000, # ~100K tokens return_tensors='pt', max_length=100_000, truncation=True, ) with torch.no_grad(): output = tq_cache.generate( **inputs, max_new_tokens=256, do_sample=False, ) print(f"KV cache: {tq_cache.memory_used_gb:.2f} GB (vs {tq_cache.baseline_gb:.2f} GB sem compressão)") # KV cache: 3.1 GB vs 15.8 GB sem compressão (5.1x) # ───────────────────────────────────────────── # 6. BENCHMARK RÁPIDO # ───────────────────────────────────────────── from turboquant.benchmark import run_benchmark results = run_benchmark( n_vectors=100_000, dim=1536, n_components=128, bits=3, k=10, ) print(f""" Benchmark TurboQuant Pro (100K vetores, dim=1536): Compressão: {results['compression_factor']:.1f}x Cosine similarity: {results['cosine_similarity']:.4f} Recall@10: {results['recall_at_10']:.3f} Latência insert: {results['insert_ms']:.1f}ms/batch-1000 Latência query: {results['query_ms']:.2f}ms VRAM economizada: {results['vram_saved_gb']:.1f}GB (estimado Llama-3-8B 32K ctx) """)