MLX es un framework de código abierto de Apple para hacer machine learning en Apple Silicon, los chips de las Mac desde el M1. Trabaja con arrays, con una API parecida a la de NumPy, y aprovecha que la CPU y la GPU comparten la memoria. Sirve para correr, entrenar y ajustar modelos desde Python.
Una pregunta de la app. Elige una respuesta.
Un tutorial para Mac usa MLX. ¿Qué es MLX?
Los chips son Apple Silicon (M1, M2 y siguientes). MLX es el software que los aprovecha para machine learning.
Ollama ya funciona en Mac. MLX es otra cosa: un framework para programar, más parecido a PyTorch que a una app.
Sirve para entrenar y correr modelos en Apple Silicon, donde CPU y GPU comparten la memoria. Es código, no una app de chat.
MLX es código: una biblioteca que usas desde Python (también tiene versiones para C++, C y Swift). Lo publica el equipo de investigación en machine learning de Apple, con licencia MIT. Se parece más a PyTorch que a una app: con él se arman, se entrenan y se corren redes neuronales.
No es el chip: los chips son Apple Silicon (M1, M2 y siguientes) y MLX es el software que los aprovecha. Tampoco es una app de chat ni la versión de Ollama para Mac, que ya funciona en Mac por su cuenta.
En una PC con placa de video, la GPU tiene su propia memoria y los datos se copian de un lado al otro. En Apple Silicon, la CPU y la GPU usan la misma memoria. MLX está pensado para eso: los arrays viven en esa memoria compartida y cada operación puede correr en la CPU o en la GPU sin copiarlos.
Para un modelo local, lo que manda sigue siendo cuánta memoria tiene tu Mac: el modelo tiene que entrar ahí, con lugar para tus otras apps.
mlx-lm es un paquete aparte, hecho con MLX, para usar LLM en una Mac: generar texto desde la terminal o desde Python, ajustar un modelo con tus datos (incluso con LoRA, que entrena unas matrices chicas agregadas y deja fijos los pesos originales) y cuantizarlo para que ocupe menos.
Los modelos los toma de Hugging Face. Allí la comunidad mlx-community publica muchos ya convertidos a MLX y cuantizados, listos para descargar.
Nació para Apple Silicon y ese sigue siendo su fuerte. Según su documentación, hoy también se puede instalar en Linux, con soporte para placas NVIDIA (CUDA) o sólo con CPU. Si conviene más que otra herramienta depende del modelo, la tarea y tu equipo: pruébalo con lo tuyo.