Tag: Jarvis

  • Construindo Seu Próprio J.A.R.V.I.S — Parte 2: Os Sentidos

    Construindo Seu Próprio J.A.R.V.I.S — Parte 2: Os Sentidos

    Na Parte 1, construímos o cérebro — um assistente que ouve, pensa e responde. Mas um assistente verdadeiramente inteligente precisa de mais do que um microfone. Ele precisa de sentidos. Visão para saber quem entrou no cômodo. Audição distribuída para ouvir comandos de qualquer lugar da casa. Sensores de presença que detectam não apenas movimento — mas presença humana — distinguindo uma pessoa parada lendo um livro de um ventilador oscilante. Esta é a Parte 2: conectando os nervos periféricos ao cérebro central, transformando sua casa numa entidade que percebe e responde ao ambiente.

    Visão Computacional: Quando o Assistente Te Vê

    O componente mais transformador de um assistente com sentidos é a visão. Não basta uma câmera IP — você precisa de um sistema que processe o feed de vídeo localmente e extraia informação semanticamente relevante: “tem uma pessoa na sala”, “é o João”, “o gato derrubou algo na cozinha”. O Frigate NVR é a ferramenta definitiva para isso. Ele combina detecção de objetos em tempo real usando TensorFlow Lite (acelerado por Google Coral TPU ou OpenVINO) com gravação inteligente que só armazena eventos relevantes. Um Coral USB de US$60 processa 100+ FPS de detecção — suficiente para 5-8 câmeras simultâneas. O Frigate identifica pessoas, carros, animais, malas, bicicletas e dezenas de outras classes, tudo localmente. A integração com o Home Assistant é nativa: cada detecção vira uma entidade que aciona automações — “se a câmera da porta detectar uma pessoa entre 22h e 06h, acenda todas as luzes e anuncie ‘visitante noturno detectado’ pelo Piper TTS”.

    Para ir além da detecção de objetos genéricos e chegar ao reconhecimento facial, o Frigate suporta um sub-sistema de reconhecimento via Double Take e CompreFace. O fluxo: a câmera captura o rosto → Frigate detecta uma pessoa → CompreFace compara com um banco de faces conhecidas → Home Assistant sabe quem entrou e pode personalizar a resposta. “Bem-vindo de volta, Maria. A temperatura da sala está em 23 graus. Quer que eu prepare o modo cinema?” — tudo 100% local, nenhuma imagem saindo de casa.

    Microfones Distribuídos: ESP32 + I2S MEMS em Cada Cômodo

    Um único microfone no escritório não basta — o assistente precisa ouvir você na cozinha, no quarto, na garagem. A solução: ESPHome com microfones digitais I2S MEMS (como o INMP441, precisão de 24 bits, SNR de 61 dBA) espalhados pela casa. Cada nó custa menos de R$50: um ESP32 DevKit, o microfone INMP441 e uma fonte de 5V — tudo conectado via Wi-Fi ao Home Assistant. O ESPHome expõe o áudio como um stream que o Assist do Home Assistant consome diretamente. O Home Assistant Voice Preview Edition é uma versão integrada desse conceito — um hardware pronto que combina ESP32-S3, microfone, alto-falante e botão físico num formato elegante. Mas você pode construir seus próprios nós por 1/5 do preço com a mesma funcionalidade básica.

    Sensores de Presença mmWave: O Fim do PIR Burro

    Sensores de movimento PIR (infravermelho passivo) são o padrão da automação residencial há décadas — e são terríveis. Eles só detectam mudança de calor, então uma pessoa parada lendo no sofá é invisível depois de 30 segundos. Sensores mmWave como o LD2410 mudam completamente o jogo. Eles emitem ondas de rádio de 24 GHz e medem o reflexo — detectando tanto movimento grosso (“alguém andando”) quanto presença estática (“alguém respirando”). O módulo custa R$45 e é integrado ao ESPHome com configuração mínima de YAML. O resultado: o assistente sabe se tem gente no cômodo mesmo se ninguém se mexer. Luzes nunca mais apagam em cima de você durante uma maratona de séries.

    A integração MQTT é o que costura todos esses sensores. Cada nó (microfone, sensor de presença, câmera) publica suas leituras num broker MQTT local (Mosquitto), e o Home Assistant consome essas mensagens para atualizar seu grafo de estado em tempo real. O barramento MQTT é o sistema circulatório da casa inteligente — e como roda localmente, a latência é de milissegundos, não de segundos como seria com uma API na nuvem.

    Projeto Prático: O Espelho Inteligente Completo

    Um espelho mágico (MagicMirror²) com display atrás de vidro semi-espelhado é o projeto-síntese de tudo que cobrimos nesta série. O hardware: um monitor IPS de 24 polegadas desmontado (ou um laptop velho com tela funcional), vidro espelhado bidirecional cortado sob medida, Raspberry Pi 5, câmera USB com sensor Sony IMX, microfone I2S MEMS e alto-falantes estéreo. O software: MagicMirror² como framework de dashboard (mostrando clima, calendário, notícias, indicadores de saúde via sensores), CompreFace para reconhecimento facial, Frigate para detecção de presença, Whisper + Ollama + Piper para o assistente de voz. Quando você se aproxima, a câmera detecta seu rosto, o CompreFace identifica você, e o espelho carrega seu perfil personalizado — sua agenda, seus sensores de saúde, suas preferências de iluminação. Você pergunta “como está meu sono hoje?” e o Ollama consulta os dados dos sensores da sua cama (com um sensor de pressão DIY ou um Withings Sleep Analyzer integrado) e responde com um resumo. O espelho de Branca de Neve nunca foi tão útil — e nunca rodou num Linux.

    A Casa Como Organismo Cibernético

    No universo de Ghost in the Shell, a linha entre humano, máquina e ambiente se dissolve — corpos têm Wi-Fi, casas têm consciência, a cidade inteira é um organismo cibernético. O projeto de construir um assistente com sentidos não é sobre automação — é sobre aumento. Sua casa que te vê, te ouve e responde não é uma casa mais preguiçosa — é uma casa mais presente. E o fato de que isso é possível com hardware de consumo, software open-source e um fim de semana de solda e YAML é, em si, uma declaração sobre o estado da tecnologia em 2026. O futuro não está num data center distante — está no espelho do seu banheiro, rodando num Pi 5, esperando você dizer bom dia.


    Fontes e Referências

  • Construindo Seu Próprio J.A.R.V.I.S — Parte 1: O Cérebro

    Construindo Seu Próprio J.A.R.V.I.S — Parte 1: O Cérebro

    Tony Stark conversa com J.A.R.V.I.S como se fosse uma extensão natural do próprio pensamento — um diálogo fluido entre humano e máquina onde a interface desaparece. O que torna J.A.R.V.I.S fascinante não é a potência computacional (que, sejamos francos, é puro roteiro de cinema), mas a arquitetura conceitual: um sistema que ouve, compreende, raciocina e responde — tudo localmente, tudo em tempo real, tudo sob controle do seu criador. Em 2026, essa arquitetura não é mais ficção. Você pode construí-la num mini-PC de R$2.000 com software 100% open-source. E o melhor: ela nunca vai te interromper pra vender assinatura premium.

    A Arquitetura do Cérebro: Quatro Componentes, Uma Consciência

    Um assistente pessoal inteligente precisa de quatro capacidades fundamentais: ouvir (reconhecimento de fala — speech-to-text), pensar (um modelo de linguagem que processa a intenção do comando e decide a ação), falar (síntese de voz — text-to-speech), e agir (integração com o mundo físico via automação residencial). Cada uma dessas capacidades tem uma solução open-source madura em 2026. Juntas, elas formam uma stack que roda num Raspberry Pi 5 ou num mini-PC Intel N100 de forma perfeitamente usável.

    O ouvido é o OpenAI Whisper — um modelo de reconhecimento de fala treinado em 680 mil horas de áudio multilíngue. O modelo small (1.4 GB) roda em CPU com latência aceitável (2-3 segundos por frase) e acurácia impressionante para português brasileiro. O modelo medium (3 GB) melhora a acurácia em ambientes ruidosos. Ambos rodam 100% offline. O cérebro é o Ollama com um modelo de linguagem local — Llama 3.2 (3B) ou Mistral 7B são as melhores opções para hardware modesto. O Ollama expõe uma API REST compatível com OpenAI, então qualquer ferramenta que fale com ChatGPT pode falar com seu modelo local. A boca é o Piper TTS — um sintetizador de voz neural rápido, leve (menos de 50 MB por voz) e com qualidade surpreendente. Suporta português brasileiro com vozes treinadas pela comunidade. E o corpo — o sistema nervoso central que conecta tudo — é o Home Assistant, a plataforma de automação residencial open-source mais ativa do planeta.

    Tutorial: Instalando a Stack Completa

    O hardware recomendado é um mini-PC com processador Intel N100, 16 GB de RAM e SSD NVMe de 512 GB (aproximadamente R$2.000 no AliExpress ou R$2.500 no Brasil). Um Raspberry Pi 5 com 8 GB também funciona, mas o tempo de inferência do LLM será mais lento (5-10 segundos por resposta). O sistema operacional: Ubuntu Server 24.04 LTS. Instale o Ollama com curl -fsSL https://ollama.com/install.sh | sh e baixe o modelo com ollama pull llama3.2. Instale o Whisper via Python com pip install openai-whisper. O Piper TTS tem binários pré-compilados para ARM e x86 disponíveis no GitHub do projeto. Para o Home Assistant, use o script de instalação supervisionada em Docker. A detecção de wake word (“Hey Jarvis” ou o que você preferir) fica por conta do OpenWakeWord, que roda eficientemente em CPU e suporta múltiplas palavras de ativação simultâneas.

    A orquestração pode ser feita via Rhasspy 3 — um assistente de voz completo e modular — ou com scripts Python personalizados usando as APIs REST do Ollama e do Whisper. O fluxo básico: microfone captura áudio → OpenWakeWord detecta comando → Whisper transcreve fala para texto → texto é enviado ao Ollama com um prompt de sistema que define a personalidade do assistente → resposta do LLM é convertida em fala pelo Piper TTS → automações são disparadas via Home Assistant API. Um sistema completo de intents (intenções) mapeia comandos de voz para ações concretas: “acenda a luz da sala” → light.turn_on, “qual a temperatura lá fora?” → consulta ao sensor de temperatura, “toque Miles Davis” → media_player.play.

    A Camada de Orquestração: Transformando Comandos em Ações

    O segredo para um assistente que não parece um robô desajeitado está no sistema de intenções. Cada comando de voz transcrito pelo Whisper passa por um classificador de intents que decide se é uma pergunta de conhecimento geral (“quem foi Alan Turing?”), uma automação residencial (“acenda a luz da cozinha”), ou uma ação complexa (“me acorde amanhã às 7 com um resumo do clima e as notícias”). O Home Assistant tem um sistema nativo de conversação que lida com automações — mas a mágica acontece quando você conecta o Ollama como fallback de conversação. Comandos que o Home Assistant não entende são encaminhados ao LLM local, que decide se responde diretamente ou se gera uma chamada de API para o Home Assistant. É o mesmo padrão de function calling do ChatGPT, rodando no seu porão, sem internet.

    Por Que Isso Importa: A Privacidade Como Arquitetura

    Alexa, Google Assistant e Siri processam sua voz em servidores remotos. Cada “bom dia” que você diz para uma smart speaker é armazenado, transcrito, analisado e — em muitos casos — revisado por humanos. O assistente local inverte essa equação: o microfone capta sua voz, o Whisper transcreve no seu hardware, o Ollama processa no seu processador, a resposta é sintetizada no seu alto-falante. Nenhum pacote de rede sai da sua casa. É o equivalente digital de fechar a porta: não é paranoia, é arquitetura. E num futuro próximo onde assistentes de IA serão a interface primária para tudo — compras, saúde, finanças — ter um que roda localmente não é luxo de entusiasta. É higiene digital.


    Fontes e Referências