Biometria Brasil

SENTIMASK SDK - RECONHECIMENTO DE FACE

O SentiMask é projetado para o desenvolvimento de aplicativos de realidade aumentada, que usam tecnologias de rastreamento de faces 3D em tempo real para captura de movimento e controle de expressões faciais de caracteres digitais 3D ou mapeamento de avatares animados na face do usuário. A tecnologia funciona com câmeras regulares de PCs comuns ou smartphones.

Disponível como um kit de desenvolvimento de software que fornece o desenvolvimento de sistemas de rastreamento de face 3D para Microsoft Windows, Android e Linux.

 

CARACTERÍSTICAS E CAPACIDADES

  • Detecção e rastreamento de face em tempo real.
  • Postura facial, marcos, estimativa de forma e expressão.
  • Geração de malha facial 3D.
  • Funciona com webcams regulares e câmeras de smartphone.
  • Integração fácil com outros softwares como software de modelagem em 3D ou motores de jogos.
  • Preços razoáveis, licenciamento flexível e suporte ao cliente gratuito.

Confira o vídeo demonstrativo:

O SentiMask fornece rastreamento de faces em 3D em tempo real e estimativa de expressão facial usando vídeo de uma webcam comum ou câmera de smartphone. As possíveis aplicações da tecnologia SentiMask incluem:

  • Captura de movimento para animação facial de personagens 3D em aplicações de entretenimento, como jogos de computador, aplicativos de comunicação, etc.
  • Aplicações de realidade aumentada, como maquiagem virtual, avaliação de mudanças de aparência, etc.
  • Análise de expressão facial para aplicações interativas.

A tecnologia SentiMask possui esses recursos para aplicações de rastreamento de faces 3D:

  • Desempenho em tempo real. A tecnologia SentiMask realiza detecção e rastreamento de características faciais a partir de vídeos ao vivo em tempo real. A tecnologia fornece um desempenho rápido em um PC normal ou smartphone.
  • Estimativa das características faciais. O algoritmo SentiMask é capaz de reconhecer pose facial, marcos, forma e expressão de um vídeo.
  • Geração de malha facial 3D. O algoritmo reconstrói uma malha facial 3D (modelo wireframe) a partir de uma imagem facial. Uma textura personalizada pode ser aplicada à malha, ou os pontos de malha podem ser usados como uma referência para mudar a aparência de um personagem animado.
  • É necessária uma câmera comum. Um vídeo para a reconstrução do modelo de face 3D pode ser capturado com uma câmera comum ou um smartphone. Não são necessários sensores de profundidade ou outro hardware avançado. As recomendações e especificações contêm informações mais detalhadas sobre a configuração da câmera.
  • Integração fácil com outros softwares. SentiMask gera uma nuvem de pontos 3D, ângulos de rotação facial (roll, pitch, yaw) e estimativas da expressão facial. Estes dados podem ser usados em um aplicativo personalizado ou passados facilmente para um software de modelagem em 3D, como o Blender, bem como os mecanismos de jogo.

CONTÉUDO DO SDK

O SentiMask SDK destina-se a desenvolvedores que desejam usar o rastreamento de faces 3D para captura de movimento e controle de personagem ou avatar digital em suas aplicações ou projetos. O SDK permite o rápido desenvolvimento de aplicativos de realidade aumentada usando funções da biblioteca SentiMask para plataformas Microsoft Windows, Android e Linux. Os desenvolvedores fornecem transmissões de vídeo de câmeras como entrada de dados e têm controle completo sobre os dados de saída; portanto, as funções SentiMask SDK podem ser usadas com qualquer interface de usuário ou software de terceiros, como pacotes de modelagem em 3D ou mecanismos de jogos.

O pacote de distribuição SentiMask SDK contém esses componentes:

  • Licença de instalação SentiMask para PC (1 licença de computador único)
  • Licença de instalação SentiMask para Android (1 licença de computador único)
  • Biblioteca do gerenciador de dispositivos
  • Amostras de programação C ++ para plataformas Microsoft Windows e Linux
  • Amostras de programação Java para plataforma Android
  • Documentação SentiMask SDK

 

REQUISITOS DE SISTEMA

Existem requisitos específicos para cada plataforma que executará aplicativos baseados em SentiMask.

Conteúdo da página:

  • Plataforma Microsoft Windows
  • Plataforma Android
  • Plataforma Linux x86 / x86-64

 

REQUISITOS DA PLATAFORMA MICROSOFT WINDOWS

  • Microsoft Windows 7/8/10, 32 bits ou 64 bits.
  • PC ou laptop com processadores compatíveis com x86 (32 bits) ou x86-64 (64 bits).
    • É necessário processador de pelo menos 2 GHz. A CPU de 3 GHz ou mais rápida é recomendada para executar rastreamento de face em tempo real em aplicativos, que também requerem muitos recursos de CPU (ou seja, jogos de computador).
    • É necessário um suporte SSE2. Os processadores que não suportam SSE2 não podem executar o algoritmo SentiMask. Verifique se seu modelo de processador específico suporta o conjunto de instruções SSE2.
  • Pelo menos 256 MB de RAM livre devem estar disponíveis para um aplicativo baseado em SentiMask.
  • Espaço livre na unidade de disco rígido (HDD):
    • pelo menos 1 GB requerido para o desenvolvimento.
    • 100 MB necessários para a implantação de componentes SentiMask.
  • Qualquer webcam ou câmera, acessível usando a interface DirectShow, é suportada pelo SentiMask na plataforma Microsoft Windows.
  • Microsoft .NET framework 4.5 ou posterior (para o uso de componentes .NET).
  • Microsoft Visual Studio 2012 ou posterior (para desenvolvimento de aplicativos em C / C ++, C #, Visual Basic .Net)

 

REQUISITOS DE PLATAFORMA DE ANDROID

  • Um smartphone ou tablet que esteja executando o Android 4.4 (API nível 19) OS ou mais recente.
    • O nível 22 da API é o recomendado para a compilação do código.
    • Se você tiver um dispositivo personalizado baseado em Android ou placa de desenvolvimento, entre em contato conosco para descobrir se ele é suportado.
  • Processador ARG baseado em 1,5 GHz recomendado para o processamento de face em tempo real. Processadores mais lentos também podem ser usados, mas o processamento da face demorará mais tempo.
  • Pelo menos 20 MB de RAM livre devem estar disponíveis para o aplicativo.
  • Pelo menos 30 MB de espaço de armazenamento livre (built-in flash ou cartão de memória externo) necessários para a implantação do componente SentiMask para cada aplicativo separado.
  • Câmera incorporada de qualquer smartphone ou tablet, suportada pelo sistema operacional Android. A câmera deve ter uma resolução de pelo menos 0,3 MegaPixel (640 x 480 pixels).
  • Requisitos do ambiente de desenvolvimento para PC:
    • Java SE JDK 7 (ou superior)
    • Eclipse Oxygen (1a) IDE
    • Ambiente de desenvolvimento Android (pelo menos o nível API 19 requerido)
    • Gradle 4.3.1 ou mais recente
    • Conexão de internet para ativar licenças de componente SentiMask

 

REQUISITOS DE PLATAFORMA LINUX X86 / X86-64

  • O kernel Linux 2.6 ou posterior (32 bits ou 64 bits) é necessário. O kernel do Linux 3.0 ou posterior é recomendado.
  • PC ou laptop com processadores compatíveis com x86 (32 bits) ou x86-64 (64 bits).
    • É necessário processador de pelo menos 2 GHz. A CPU de 3 GHz ou mais rápida é recomendada para executar rastreamento de face em tempo real em aplicativos, que também requerem muitos recursos de CPU (ou seja, jogos de computador).
    • É necessário um suporte SSE2. Os processadores que não suportam SSE2 não podem executar o algoritmo SentiMask. Verifique se seu modelo de processador específico suporta o conjunto de instruções SSE2.
  • Pelo menos 256 MB de RAM livre devem estar disponíveis para um aplicativo baseado em SentiMask.
  • Espaço livre na unidade de disco rígido (HDD):
    • pelo menos 1 GB requerido para o desenvolvimento.
    • 100 MB necessários para a implantação de componentes SentiMask.
  • Qualquer webcam ou câmera acessível usando a interface GStreamer, é suportada pelo SentiMask na plataforma Linux.
  • glibc 2.11.3 ou mais recente
  • GStreamer 1.2.2 ou posterior com gst-plugin-base e gst-plugin-good é necessário para captura de face usando câmera / webcam. GStreamer 1.4.x ou mais recente é recomendado.
  • Requisitos específicos para desenvolvimento de aplicativos:
    • wxWidgets 3.0.0 ou mais recentes libs e pacotes de dev (para criar e executar amostras de SDK e aplicativos com base neles)
    • Qt 4.8 ou mais recentes libs, dev e qmake pacotes (para criar e executar amostras SDK e aplicativos com base neles)
    • GCC-4.4.x ou mais recente
    • GNU Make 3.81 ou mais recente
    •  

ESPECIFICAÇÕES E RECOMENDAÇÕES DE USO

  • Apenas uma face em um frame é processada. Se houver mais de uma face em um quadro, o maior é processado.
  • 32 pixels é a distância mínima recomendada entre os olhos para uma face na imagem ou transmissão de vídeo para executar a detecção de face de forma confiável. 64 pixels ou mais recomendados para melhores resultados de detecção de face. Observe que essa distância deve ser nativa, não conseguida redimensionando uma imagem.
  • O motor SentiMask tem certa tolerância para enfrentar a postura:
    • head roll (Inclinação Lateral)  - ± 180 graus;
    • head pitch (Inclinação Frontal) - ± 25 graus da posição frontal;
    • head yaw (Giro Lateral) - ± 35 graus da posição frontal.
  • Detecção de face e estimativa de características faciais em um frame de vídeo é realizada em 8 milissegundos em um PC com o processador Intel Core i7-4790 a uma velocidade de clock de 3.6 GHz.
  •  

Nome Descrição Data Tamanho (KB)
SENTIMASK SDK RASTREAMENTO DE FACE 3D PARA APLICATIVOS DE REALIDADE APPS E CONTROLE DE CARACTERES DIGITAIS 01/03/2018 555.694