Como o Waizer calcula as métricas conversacionais
O Waizer produz dois tipos de métricas: estáticas (calculadas a partir de metadados estruturados) e inferidas por IA (geradas por modelos de linguagem que analisam o conteúdo textual).
| Tipo | Como é produzido | Pode ser corrigido via dados? |
|---|---|---|
| Estático | Campos obrigatórios ou metadados estruturados. | Sim, corrigindo a fonte de dados. |
| Inferido por IA | Modelo de linguagem baseado no conteúdo das mensagens. | Parcialmente, via reimportação/reprocessamento. |
Catálogo de métricas
Total de Contatos
Tipo: Estático.
Conta usuários únicos (externalId) com pelo menos uma mensagem no período selecionado. É o denominador base das taxas percentuais do dashboard.
Taxa de Erro
Tipo: Híbrido (metadado estruturado + inferência de IA).
Taxa de erro = contatos com erro (estático OU IA) ÷ total de contatos
O denominador é o total de contatos do período, não apenas os analisados. Conversas com erro estático e erro de IA são contadas uma única vez.
- Erro estático: falhas técnicas explícitas capturadas nos metadados (ex:
MESSAGE_NOT_DELIVEREDno CSV,item.reason.descriptionna Blip). - Erro por IA: problemas de fluxo detectados no diálogo. Exemplos:
- Bot repetiu a mesma pergunta sem avançar
- Validação rejeitou entrada válida do usuário
- Usuário ficou preso em loop sem opção de saída
- Bot interpretou incorretamente a intenção do usuário
- Opções oferecidas não cobriam a necessidade do usuário
- Bot forneceu informação incorreta ou desatualizada
- Usuário precisou repetir informações já fornecidas
- Resposta genérica onde o usuário precisava de ajuda específica
Erros de IA geram uma descrição em até 50 palavras, visível em Problemas e Falhas no dashboard.
Índice de Resolução
Tipo: Inferido por IA.
Percentual de contatos em que o serviço entregou uma resposta direta ao pedido do usuário, concluiu a ação solicitada ou comunicou uma posição final.
Este índice mede a efetividade do serviço, não a satisfação do usuário.
Taxa de Transbordo
Tipo: Estático.
Detectada pela presença do campo humanAssigneeId nos metadados da mensagem. O Waizer registra o primeiro ID encontrado na conversa e ignora inferências textuais.
- Blip: mensagens de atendentes humanos já carregam esse campo nativamente.
- API & CSV: exige o envio explícito do campo
humanAssigneeIdna mensagem correspondente.
"threadId","type","direction","content","agentId","timestamp","metadata"
"5511999990001","text/plain","SENT","Olá, vou te transferir para um especialista.","bot-principal","2025-03-10T10:15:00Z",
"5511999990001","text/plain","SENT","Aqui é a Ana, do time de suporte. Como posso ajudar?","bot-principal","2025-03-10T10:17:00Z","{""humanAssigneeId"": ""ana.souza@empresa.com""}"
Nem todo transbordo é negativo. Em fluxos de vendas consultivas ou suporte de segundo nível, o transbordo pode ser o resultado esperado. Interprete a taxa no contexto do objetivo do seu fluxo.
Score de Performance
Tipo: Inferido por IA.
Avalia a qualidade da condução da conversa pelo bot, em uma escala de 0–10 armazenada internamente e exibida como 0–100 no dashboard.
Uma conversa pode terminar sem resolução por razões externas ao bot e ainda assim ter score alto se o bot conduziu o fluxo corretamente. Isso o diferencia do Índice de Resolução: resolução mede o resultado para o usuário; score mede a execução técnica do bot.
Sentimento do Usuário
Tipo: Inferido por IA.
A IA atribui duas notas de sentimento para cada conversa, em uma escala de 0 a 10:
- Sentimento inicial: emoção do usuário no começo da conversa.
- Sentimento final: emoção do usuário ao término da conversa.
O gráfico de sentimento exibe um ponto por conversa, com o sentimento inicial no eixo X e o sentimento final no eixo Y. Pontos acima da diagonal indicam conversas em que o bot melhorou o estado emocional do usuário.
O indicador Sentimento Predominante categoriza a média geral:
- Positivo: média final ≥ 6
- Neutro: média final entre 4 e 6
- Negativo: média final ≤ 4
Problemas e Falhas
Tipo: Híbrido (agrupamento por IA + erro estático).
Agrupa automaticamente os erros detectados nas conversas (veja Taxa de Erro, acima) em categorias recorrentes, usando IA para identificar padrões. Em vez de analisar cada conversa individualmente, a seção mostra os problemas que mais se repetem, com descrição, impacto e sugestão de solução.
Cada problema é classificado por impacto (Alto, Médio ou Baixo) pela própria IA, com base na frequência e na gravidade dos erros identificados.
Ao clicar em um problema, você vê as subcategorias identificadas, a solução sugerida e os contatos afetados.
Erros técnicos reportados diretamente pelo canal (como falhas de entrega) aparecem separadamente como Erro de processamento, sempre classificados como impacto Alto.
Tópicos Mais Discutidos
Tipo: Inferido por IA.
Principal objetivo ou assunto identificado em cada conversa (ex: "Cancelamento de contrato", "Rastrear entrega"). Para cada tópico, o dashboard exibe volume, taxa de transbordo, índice de resolução e taxa de erro associados.
Insights
Tipo: Inferido por IA.
Sugestões e oportunidades de melhoria geradas automaticamente a partir dos padrões identificados nas conversas. Cada insight inclui problema identificado, solução proposta e resultados esperados.
Nuvem de Palavras
Tipo: Estático (amostragem).
Palavras mais frequentes nas mensagens dos usuários, extraídas de uma amostra de até 20.000 conversas do período. Considera apenas mensagens recebidas (direction = RECEIVED).
Guia de diagnóstico
| Métrica | Sintoma | Causa provável | Ação corretiva |
|---|---|---|---|
| Transbordo | Taxa zerada com transbordo real ocorrendo. | humanAssigneeId ausente nos dados. | Validar o pipeline de dados ou a configuração do atendimento humano na Blip. |
| Transbordo | Taxa muito alta sem transferências reais. | humanAssigneeId mapeado em mensagens automáticas por engano. | Corrigir a lógica de geração do campo na fonte. |
| Erro | Erros estáticos altos sem falhas reais. | metadata.error populado incorretamente em mensagens normais. | Limpar o campo nas mensagens normais e reimportar. |
| Erro | Erros estáticos não aparecem. | metadata.error não está sendo populado. | Verificar o pipeline de exportação ou os parâmetros da integração. |
| Resolução | Taxa não bate com a impressão do time. | A leitura da IA difere da avaliação humana. | Explorar os diálogos reais na Visualização de Conversas. |
| Score | Score baixo com resolução alta. | IA detectou problemas de experiência (loops, respostas genéricas, repetições). | Revisar as árvores de decisão do bot. |
Como atualizar e reprocessar
Métricas estáticas
Corrija a fonte de dados e dispare uma nova importação:
- Blip: corrija o fluxo ou a configuração na Blip e dispare uma Importação Manual em Configurações → Importação manual selecionando o período afetado.
- API: reenvie o payload das mensagens corrigidas com o mesmo
externalIdda conversa. - CSV: o Waizer deduplica por
threadId + timestamp + content. Alterar apenas os metadados faz o sistema descartar a linha como duplicata. Para corrigir um CSV já importado, solicite ao suporte a exclusão dos registros antes de subir o arquivo corrigido.
Métricas de IA
Não há botão para reanalisar métricas de IA isoladamente. O pipeline de análise é executado durante a entrada do dado.
Para forçar o reprocessamento de um período:
- Corrija os dados na fonte.
- Dispare uma nova importação do intervalo em Configurações → Importação manual.
- O Waizer reprocessa as conversas do período, incluindo as análises de IA.
Para reimportar um CSV com correções de metadados, solicite ao suporte a remoção dos registros originais antes do novo upload. Sem esse passo, as mensagens corrigidas são descartadas silenciosamente como duplicatas.
Antes de importar históricos longos, suba uma amostra de uma semana para validar se as tags de erro, resolução e transbordo estão sendo computadas como esperado.