Laboratorio de IA local
Un entorno de IA en casa, sobre hardware de consumo, para correr LLMs, modelos de lenguaje pequeños, modelos de voz y embeddings localmente, y aprender lo que de verdad cuestan estas cargas cuando no hay una API detrás de la cual esconderse.
El hardware
Nodo GPU
Ryzen 7 5700X, RTX 4060, 32 GB
Ollama, Whisper, embeddings
Nodo siempre encendido
Raspberry Pi 5, 8 GB
MQTT, Piper TTS, monitoreo
Preguntas que busca responder
- ¿Qué cabe en 8 GB de VRAM y cuánto cuesta en latencia?
- ¿Cuándo un modelo pequeño es suficiente para la tarea?
- ¿Qué debe hacer el sistema cuando el equipo con GPU está apagado?