O NPS do simpósio caiu: onde procurar a causa
O NPS é um número agregado, e agregar significa somar coisas de naturezas diferentes. Logística, programação, o que aconteceu no palco e a expectativa que o participante trouxe entram na mesma nota. Ele avisa que caiu e guarda a localização da queda. A logística é a primeira suspeita porque é a mais visível de todas e a mais barata de corrigir. O conteúdo do palco entra na conta e quase nunca é investigado.
A logística é a primeira suspeita porque é a que todo mundo viu.
O café atrasou, a fila do credenciamento dobrou o corredor, o ar-condicionado congelou a sala 2, o microfone de mão falhou na abertura da mesa-redonda. Toda a organização testemunhou, cada item tem fornecedor com nome, linha de orçamento e prazo de correção. A investigação para ali porque ali ela é possível.
Há uma segunda razão, e ela é de escopo. A agência de evento responde pelo que o contrato dela mede: montagem, credenciamento, fluxo, alimentação, sinalização, cronograma. O relatório pós-evento devolve com precisão esse escopo, e o escopo é bom. O que foi dito no palco e o quanto disso sobreviveu à semana seguinte vive fora daquele contrato, então chega ao Medical Director sem dono e sem instrumento.
O efeito se repete a cada edição: a organização corrige o que enxerga, a queda volta no ano seguinte, e a hipótese sobre o palco continua sem teste. A parte cara do simpósio, o tempo de fala dos convidados e o conteúdo científico que eles carregam, atravessa a investigação inteira intocada.
Existe fonte pública para uma parte disso. Auditamos as matrizes das 20 primeiras faculdades de medicina do Ranking Universitário Folha de 2024, e nenhuma tem disciplina obrigatória de oratória, expressão oral, retórica ou fala em público. O estudo completo, com a tabela por universidade, está aberto aqui. A sala inteira do seu simpósio, palco e plateia, aprendeu a apresentar por imitação.
A pergunta útil deixa de ser "o que deu errado" e passa a ser "quais partes entraram nesta nota, e qual delas foi comparada com a edição anterior".
Quatro naturezas entram na mesma nota.
Logística
Credenciamento, sala, som, alimentação, sinalização. É a única das quatro com fornecedor contratado, relatório próprio e correção com prazo. Move a nota com força e costuma ser a primeira citada no texto livre.
Visível, contratada, corrigívelProgramação
Grade, horários, duração das sessões, ordem dos temas, concorrência entre salas. Pertence ao comitê científico e ao time de eventos. Move a nota de quem perdeu a sessão que queria ver, e esse participante raramente escreve o motivo.
Decidida meses antesO palco
O que foi dito, como foi estruturado e quanto sobreviveu à semana seguinte. É a parte mais cara do evento em tempo de gente titulada e a que menos aparece no relatório, porque nenhum contrato da operação a mede.
Cara, central, sem instrumentoExpectativa
O evento do ano anterior, o convite que descreveu a edição, o congresso concorrente que a pessoa frequentou em março. A nota compara a experiência com essa referência interna, que muda de participante para participante.
Trazida de casaUma nota agregada se move quando qualquer uma das quatro se move, e o relatório entrega a soma. Por isso "o NPS caiu 12 pontos" descreve o sintoma com precisão e localiza a causa com zero. A investigação recomeça quando as quatro voltam a ser lidas separadas, cada uma contra a edição anterior. A natureza 3 é a mais fácil de ignorar e a mais barata de testar, porque ela se prepara antes, com as pessoas que já estão no seu convite. Os quatro sinais de dispersão na sala mostram como ela se manifesta ao vivo, minuto a minuto.
Cada padrão de queda tem uma pergunta que o separa.
A tabela abaixo é o roteiro que usamos com times de medical affairs para transformar queda de nota em hipótese verificável. Vale como observação de prática, e cada linha pede um dado que a sua operação já tem guardado.
| O que o relatório mostra | A leitura apressada | A pergunta que separa |
|---|---|---|
| Nota caiu e os comentários citam fila, café e temperatura | Foi a logística | Algum comentário cita sessão ou palestrante pelo nome? Conteúdo que marcou costuma aparecer citado, e o silêncio sobre o palco é dado |
| Mesma agência, mesma sala e mesmo formato do ano passado | Alguma coisa da operação piorou | Qual foi a rotatividade do elenco de palco entre as duas edições? Compare as duas listas de nomes lado a lado |
| Satisfação alta com recomendação baixa | Erro de amostra | O participante conseguiria contar a um colega o que ouviu? Recomendar exige uma frase transportável, e humor bom sobrevive sem ela |
| Nota caiu e a última sessão esvaziou | Horário ruim | Quantos ficaram até o fim nas duas edições, e qual sessão segurou a sala em cada uma? |
| Nota estável e patrocinador insatisfeito | Expectativa desalinhada do patrocinador | O produto que o patrocinador comprou aconteceu, e quantas vezes? Reunião, demonstração e contato qualificado se contam um a um |
O escopo desta tabela. Ela organiza observação de prática em preparação de porta-vozes e em projetos de evento corporativo, e vale como observação. Serve para levantar hipótese sobre o seu simpósio, e a verificação é sempre nos registros daquelas duas edições.
No IT Forum, o número que respondia era outro.
O IT Forum, da IT Mídia, é um evento em que a reunião é o produto. O patrocinador compra o encontro com o convidado, e cada compromisso agendado que deixa de acontecer é o produto pago desaparecendo da conta. O mercado tratava aquela falta como natureza do público técnico, uma característica de quem tem agenda imprevisível.
O que muda a leitura é a natureza do número. Compromisso perdido mede comportamento, e a pesquisa de satisfação mede humor. Humor se declara no fim do dia, sob o efeito do café e do encerramento. Comportamento acontece durante, deixa rastro na agenda e aponta para o momento exato em que a decisão foi tomada.
Em evento científico existem equivalentes, e todos se contam sem instrumento novo. Quantos permaneceram na última sessão. Quantas perguntas o bloco final recebeu. Quantas pessoas cercaram o palestrante no encerramento, aquilo que a Storytellers chama de efeito formigueiro, a plateia que cerca o palestrante no fim. Quantos compromissos com patrocinador aconteceram. Na BeiGene, no HemoSummit de fevereiro de 2024, a interatividade da keynote rodou por Mentimeter, e resposta de plateia em tempo real também é comportamento registrado.
Esses números entram ao lado do NPS e devolvem a localização que a nota agregada guarda. Com dois deles no relatório do ano que vem, a frase "o NPS caiu" passa a vir acompanhada da sessão, do horário e do minuto em que a sala decidiu. A comparação entre duas performances do mesmo palestrante usa a mesma disciplina, aplicada a uma pessoa em vez de a um evento.
Do número agregado ao que se mede um a um.
O que costumam perguntar quando a nota cai.
Por que o NPS do simpósio caiu?
O NPS é uma nota agregada: ele soma logística, programação, o que aconteceu no palco e a expectativa que o participante trouxe de casa. Qualquer uma das quatro se movendo move o número, e o relatório devolve a soma. A investigação começa separando as quatro e comparando cada uma com a edição anterior, item a item, em vez de procurar uma causa única.
Foi a logística?
A logística entra na conta e costuma ser a primeira suspeita, porque é a parte que todo mundo da organização viu acontecer, tem fornecedor com nome e tem linha de orçamento. O teste barato é ler o campo de texto livre: quando os comentários citam sessão e palestrante pelo nome, a queda tem endereço no palco. O silêncio sobre o conteúdo também é dado, porque conteúdo que marcou costuma aparecer citado.
A agência de evento consegue responder essa pergunta?
Ela responde com precisão pelo que o contrato dela mede: montagem, credenciamento, fluxo, alimentação, sinalização e cronograma. O relatório pós-evento devolve exatamente esse escopo. O que foi dito no palco e o quanto disso sobreviveu à semana seguinte fica fora daquele contrato, então precisa de instrumento próprio e de dono declarado dentro de medical affairs.
NPS e pesquisa de satisfação medem a mesma coisa?
São duas perguntas diferentes. A satisfação mede o humor da sala no fim do dia comparado com a expectativa daquele dia. O NPS mede disposição de recomendar, que projeta o evento para um colega em uma conversa futura. Por isso as duas notas se descolam com frequência, e o par descolado é informação: sala satisfeita com recomendação baixa costuma indicar um evento agradável de assistir e difícil de contar depois.
Existe um número que localize o problema?
Números de comportamento localizam melhor do que números de humor. Quantos ficaram na última sessão, quantas perguntas o bloco final recebeu, quantas pessoas cercaram o palestrante no encerramento, quantos compromissos agendados aconteceram. No projeto do IT Forum, para a IT Mídia, a média histórica era de 2,8 compromissos perdidos por convidado, e em 2017 caiu para 0,6, redução de 78,6%. Ali a reunião é o produto do evento, então a falta media o produto que deixou de acontecer.
Dá para preparar o conteúdo do palco antes do evento?
Dá, e essa é a parte da conta que você controla junto com o palestrante. Na Pfizer, em 2021, o comitê de porta-vozes da vacina de COVID trabalhou com roteiro narrativo. Na BeiGene, no HemoSummit de fevereiro de 2024, a keynote levou histórias de paciente para médicos de doenças terminais, com interatividade por Mentimeter. Os dois formatos existem antes da sala e se combinam na agenda de preparação.
A parte da conta que ninguém ensinou a ninguém.
Vinte matrizes curriculares lidas na fonte oficial de cada universidade, com a metodologia declarada e as datas de coleta por escrito. É o documento por trás da natureza 3.