Pular para o conteúdo
~/rafael-ferreira

fulltalk dev para Android

Um microfone flutuante que dita em qualquer app, transcrito no próprio celular

  • Kotlin
  • Jetpack Compose
  • Android
  • sherpa-onnx
  • NVIDIA Parakeet
Capa do projeto fulltalk dev para Android

Uma bolinha flutuante para o celular. Toque nela, fale, e o texto aparece no campo em que você está digitando, em qualquer app. A fala é transcrita no próprio aparelho: nada sai dele. É o companheiro Android do fulltalk dev, o app de ditado para desktop: mesma ideia, mesmo modelo e mesmas regras, reconstruídos para uma tela de toque.

Três passos: toque na bolinha, fale, e o texto é colado no campo em que você está digitando

Como funciona

  • Toque: começa a gravar. Toque de novo para parar e transcrever.
  • Segure: grava enquanto o dedo está na tela e transcreve quando você solta.
  • Toque duplo: abre o app (configuração, ajustes e transcrições recentes).
  • Arraste: move a bolinha, que lembra onde você a deixou.

A bolinha fica cinza em repouso, violeta enquanto ouve ou transcreve e âmbar quando algo dá errado. A transcrição sempre vai para a área de transferência e, se houver um campo com foco, é colada nele, no cursor.

Sua voz não sai do celular: o microfone alimenta um modelo rodando na CPU do aparelho

Privacidade

O reconhecimento roda na CPU do celular com o NVIDIA Parakeet TDT 0.6B v3 via sherpa-onnx. Não há conta, chave de API nem servidor. A internet é usada uma única vez, para baixar o modelo (670 MB), com download retomável e cada arquivo verificado por tamanho e SHA-256. O serviço de acessibilidade é usado só para duas coisas: manter a janela da bolinha sobre os outros apps e saber qual campo de texto tem foco. Ele não lê, não guarda e não envia nada do que está na tela.

Arquitetura

  • core/: Kotlin puro, sem Android. Máquina de estados da sessão, reconhecimento de gestos da bolinha, histórico, limpeza de texto, detecção de silêncio, política de colar ou copiar e instalador verificado do modelo, com 60 testes unitários rodando numa JVM comum.
  • app/: serviço de acessibilidade com a bolinha, captura com AudioRecord, transcritor sherpa-onnx, download do modelo e tela em Compose.

Decisões que valem destaque

  • Uma máquina de estados pura, portada da versão em Rust: cada regra, como "soltar o dedo não para uma gravação que um toque iniciou", é um teste unitário.
  • Um dedo, quatro significados: BubbleGesture distingue toque, toque duplo, segurar e arrastar sem que o toque simples espere um timeout.
  • Overlay de acessibilidade em vez de "sobrepor a outros apps": a janela é do tipo TYPE_ACCESSIBILITY_OVERLAY, o que poupa uma segunda permissão e nunca rouba o foco do teclado.
  • Downloads fixados: modelo e biblioteca vêm de revisões fixadas e são conferidos contra somas SHA-256 que vivem no código.

Requer Android 8.0 ou superior em um celular ARM de 64 bits. O APK (40 MB) está na página de releases do GitHub.

Galeria

Outros projetos

Capa do projeto Markmedi
markmedi.com · privado ★ destaque

Markmedi

Meu projeto principal: agenda, prontuário, telemedicina, financeiro, CRM e marketing para clínicas, num monólito modular em Laravel e Vue com filas, tempo real e criptografia por clínica.

  • Laravel
  • Vue 3
  • Inertia.js
  • TypeScript
  • Tailwind CSS
Capa do projeto Plataforma B2B para venda de ingressos e cursos
plataforma-b2b-ingressos-e-cursos · privado ★ destaque

Plataforma B2B para venda de ingressos e cursos

Plataforma B2B que vende ingressos e cursos, valida a entrada em eventos com QR assinado e check-in offline e deixa a empresa comprar licenças e acompanhar o progresso de cada colaborador.

  • Laravel
  • Vue 3
  • Inertia.js
  • TypeScript
  • Tailwind CSS