Como criar um assistente inteligente e privado usando Ollama

Se privacidade é muito importante para você..
Se sua internet as vezes te deixa na mão..
Se você quer experimentar um grande volume de dados com IA..

Ou se você é simplesmente curioso e quer aprender algo novo: este post é para você.

Se você preferir, este post também está em formato em vídeo 🎥:

O que você precisa | hardware

Para rodar modelos de inteligência na sua máquina sem depender de uma conexão com a internet você vai precisar de um computador médio / bom.

Ideal:
uma placa de vídeo NVIDIA com 12gb ou + de VRAM

Ok:
processador tipo Ryzen série 5 para mais ou intel i5 13ª geração
+ 32gb ou mais de RAM

—

Por praticamente 1 ano eu rodei modelos de 4.7gb em um desktop com:
– AMD Ryzen 5 5600X 6-Core Processor | 3.7ghz
– 32 gb de RAM

Não é a maior velocidade do mundo, mas funciona.

Passo-a-passo

1. Entre no site ollama.com > acesse “downloads” > baixe a versão para seu sistema operacional > instale o arquivo baixado
2. Volte para o site do ollama, clique em “models” e escolha um modelo para começar | sugiro começar pelo llama3.1:8b ou pelo llama3.2:3b | ambos são da Meta (facebook) ou até pelo deepseek-r1:1.5b
   
   Selecione o tamanho do modelo e copie o comando para instalação. Como por exemplo: ollama run deepseek-r1:1.5b
3. Se estiver usando Windows: aperte Windows + R no teclado
   – digite “CMD” dentro da caixinha e dê ok
   
4. No terminal, você vai colar o comando de instação que você copiou no passo 2 e dar enter. E pronto!
   
5. Agora basta usar como se fosse seu “chatGPT” particular, 100% privado e que não precisa da internet para funcionar.
   

Se você quiser sair / parar, basta fechar a janela ou apertar CTRL + D.

---

chatGPT gratuito é melhor, então por que eu usaria?

🔌Indisponibilidade

Assim como qualquer solução na internet, indisponibilidades acontecem. Em jan/2025, chatGPT ficou fora do ar por ~6-10 horas e muita gente ficou na mão.

🔒Privacidade

“Se você não paga por algo, você é produto.”
E nem é segredo isso, se você lê a politica de privacidade ou os termos de uso, já vai ficar claro que os provedores usam os dados para treinamento.

Na maior parte dos casos, isso não tem impacto, mas se você vai usar dados super sensíveis, modelos locais são ótimas indicações.

💸Alto volume

Se você tem um Script que usa alguma LLM para funcionar, você sabe que a brincadeira pode ficar bem cara rápido.

Ter uma LLM rodando localmente pode ser um enorme aliado para rodar rotinas com um alto volume sem gastar muito.

---