LLM en local

[Carlos14]

Os dejo aquí un github que te dice de un par de centenares de modelos cuál puedes correr en tu máquina en local.

GitHub - AlexsJones/llmfit: 206 models. 30 providers. One command to find what runs on your hardware.

206 models. 30 providers. One command to find what runs on your hardware. - AlexsJones/llmfit

github.com

Lo he visto bastante interesante para los que trabajamos diariamente con la IA.

Un saludo!

 

[OscarRo]

Os dejo aquí un github que te dice de un par de centenares de modelos cuál puedes correr en tu máquina en local.

GitHub - AlexsJones/llmfit: 206 models. 30 providers. One command to find what runs on your hardware.

206 models. 30 providers. One command to find what runs on your hardware. - AlexsJones/llmfit

github.com

Lo he visto bastante interesante para los que trabajamos diariamente con la IA.

Un saludo!

Hola.

Os comento. Para trabajar con LLM en local se necesita un pepino de ordenador, si quereis que respondan en el día, jajajajajaj.
Con mucha GPU, que es lo que utilizan para el procesamiento.
Normalmente esto lo suelen usar las empresas que necesitan tener muy controlado sus datos.

Esto es lo basico:

- GPU (Gráfica): Es el componente más importante para la velocidad. Se recomienda una NVIDIA con al menos 6GB-8GB de VRAM (ej. RTX 3060/Ryzeno superior) para modelos pequeños (7B-8B parámetros).

- Memoria RAM: Mínimo 16 GB, siendo 32 GB o más lo ideal para evitar lentitud, especialmente si no tienes una GPU dedicada potente.

- Procesador (CPU): Un procesador moderno (Intel Core i5/i7 o AMD Ryzen 5/7) con soporte para instrucciones AVX2.

- Almacenamiento: Un SSD (NVMe preferiblemente) con al menos 50-100 GB libres para guardar los modelos (que suelen pesar entre 4GB y 20GB+ cada uno).

- Sistema Operativo: Windows 10/11, macOS (Apple Silicon M1/M2/M3), o Linux.

 

[Carlos14]

Hola.

Os comento. Para trabajar con LLM en local se necesita un pepino de ordenador, si quereis que respondan en el día, jajajajajaj.
Con mucha GPU, que es lo que utilizan para el procesamiento.
Normalmente esto lo suelen usar las empresas que necesitan tener muy controlado sus datos.

Esto es lo basico:

- GPU (Gráfica): Es el componente más importante para la velocidad. Se recomienda una NVIDIA con al menos 6GB-8GB de VRAM (ej. RTX 3060/Ryzeno superior) para modelos pequeños (7B-8B parámetros).

- Memoria RAM: Mínimo 16 GB, siendo 32 GB o más lo ideal para evitar lentitud, especialmente si no tienes una GPU dedicada potente.

- Procesador (CPU): Un procesador moderno (Intel Core i5/i7 o AMD Ryzen 5/7) con soporte para instrucciones AVX2.

- Almacenamiento: Un SSD (NVMe preferiblemente) con al menos 50-100 GB libres para guardar los modelos (que suelen pesar entre 4GB y 20GB+ cada uno).

- Sistema Operativo: Windows 10/11, macOS (Apple Silicon M1/M2/M3), o Linux.

Eso es, por eso adjunté la imagen, ahí se puede ver que con 7-8B de parámetros lo que se necesita, pero me parece interesante que también lo divida en si es multimodal para code o otras cosas.
Yo por ejemplo trabajo todo con mi pc y tengo una 5090 y 128 de ram y una herramienta así me pareció muy interesante, por eso la compartí.
Un saludo!

 

[OscarRo]

Eso es, por eso adjunté la imagen, ahí se puede ver que con 7-8B de parámetros lo que se necesita, pero me parece interesante que también lo divida en si es multimodal para code o otras cosas.
Yo por ejemplo trabajo todo con mi pc y tengo una 5090 y 128 de ram y una herramienta así me pareció muy interesante, por eso la compartí.
Un saludo!

Ya no tienes mala maquina. Compartir siempre ayuda. Gracias