MLX é um framework de código aberto da Apple para fazer machine learning em Apple Silicon, os chips dos Macs desde o M1. Trabalha com arrays, com uma API parecida com a do NumPy, e aproveita que a CPU e a GPU compartilham a memória. Serve para rodar, treinar e ajustar modelos em Python.
Uma pergunta do app. Escolha uma resposta.
Um tutorial para Mac usa MLX. O que é MLX?
Os chips são Apple Silicon (M1, M2 e seguintes). MLX é o software que os aproveita para machine learning.
O Ollama já funciona no Mac. MLX é outra coisa: um framework para programar, mais parecido com PyTorch que com um app.
Serve para treinar e rodar modelos em Apple Silicon, onde CPU e GPU compartilham a memória. É código, não um app de chat.
MLX é código: uma biblioteca que você usa em Python (também tem versões para C++, C e Swift). Quem publica é a equipe de pesquisa em machine learning da Apple, com licença MIT. Parece mais com PyTorch do que com um app: com ele se montam, treinam e rodam redes neurais.
Não é o chip: os chips são Apple Silicon (M1, M2 e seguintes) e MLX é o software que os aproveita. Também não é um app de chat nem a versão do Ollama para Mac, que já funciona no Mac por conta própria.
Num PC com placa de vídeo, a GPU tem a sua própria memória e os dados são copiados de um lado para o outro. Em Apple Silicon, a CPU e a GPU usam a mesma memória. O MLX é pensado para isso: os arrays ficam nessa memória compartilhada e cada operação pode rodar na CPU ou na GPU sem copiá-los.
Para um modelo local, o que manda continua sendo quanta memória o seu Mac tem: o modelo precisa caber ali, com espaço para os seus outros apps.
mlx-lm é um pacote à parte, feito com MLX, para usar LLMs num Mac: gerar texto pelo terminal ou em Python, ajustar um modelo com seus dados (inclusive com LoRA, que treina pequenas matrizes adicionadas e mantém fixos os pesos originais) e quantizá-lo para ocupar menos.
Os modelos vêm do Hugging Face. Lá a comunidade mlx-community publica muitos já convertidos para MLX e quantizados, prontos para baixar.
Nasceu para Apple Silicon e esse continua sendo o forte dele. Segundo a documentação, hoje também dá para instalar no Linux, com suporte a placas NVIDIA (CUDA) ou só com CPU. Se compensa mais que outra ferramenta depende do modelo, da tarefa e do seu equipamento: teste com o seu trabalho.