Blog
Notas sobre infraestructura, fiabilidad, plataformas y liderazgo técnico, de alguien que ha estado a los dos lados de la guardia.
Rendimiento
Exprimiendo vLLM en AMD Strix Halo: 2,3 veces llama.cpp con carga
vLLM en la iGPU de Strix Halo, medido frente a llama.cpp con el mismo modelo de 35B: 2,1 veces más rápido por token con grafos, 2,3 veces el rendimiento con 16 peticiones a la vez, el arranque de 9 minutos a 97 segundos, y el único caso en el que llama.cpp sigue ganando.
Una memoria que se gana su sitio: mnemo, memoria a largo plazo para mis agentes
Métricas para siempre en la mitad de disco: monitorización al estilo Google para mi homelab
