Como avaliar se um palestrante melhorou
Melhora se prova por comparação, e comparação exige que a mesma coisa seja medida duas vezes. O que muda primeiro em um palestrante que evoluiu aparece antes do palco: a antecedência com que o roteiro fica pronto e o volume de material que ele corta sozinho. Os dois têm data, número e testemunha, e os dois estão no seu e-mail semanas antes de a plateia formar qualquer opinião.
A impressão é subjetiva. O registro é comparável.
A cena é conhecida em medical affairs. O simpósio termina, o Medical Director sai da sala certo de que aquele speaker chegou melhor do que no ano passado, e na reunião de planejamento a frase morre em uma palavra: subjetivo. Sem registro, a impressão vale o mesmo que a impressão contrária, e a decisão sobre quem sobe ao palco volta a ser tomada por relação e por titulação.
A palavra subjetivo descreve a impressão, e a impressão é a última etapa. Antes dela existe uma cadeia de decisões com data, número e testemunha: quando o roteiro ficou pronto, quantos slides a primeira versão tinha, quanto do material o palestrante retirou por conta própria, quantos minutos ele ensaiou em voz alta, quantas perguntas o bloco final recebeu.
Comparar exige três condições, combinadas antes do primeiro evento. As duas performances precisam ser da mesma natureza, com formato e duração parecidos. A lista de itens precisa ser fixada antes da primeira, porque item escolhido depois da segunda descreve o que aconteceu em vez de medir. E o registro precisa ser feito no dia, porque a lembrança de um evento se reescreve com a nota que ele recebeu.
É a disciplina que aplicamos às matrizes das 20 primeiras faculdades de medicina do Ranking Universitário Folha de 2024: universo, fonte oficial e data de coleta declarados, linha a linha. O estudo está aberto aqui, e o método dele serve de molde para comparação interna.
A pergunta sai de "ele está melhor?" e vira "o que mediremos nas duas vezes?".
A pesquisa de satisfação responde bem à pergunta que ela faz.
A pergunta dela é sobre o humor da sala no fim do dia, comparado com a expectativa daquele dia. É informação legítima e chega barata, e por isso ela virou o instrumento padrão de evento científico. O que ela registra se move com a temperatura da sala, o horário na grade, a ordem das sessões e o evento do ano anterior, todos fora do alcance de quem sobe ao palco. O caso mais instrutivo que temos na preparação de porta-vozes começa com uma nota alta.
Nota alta e pedido de acompanhamento individual convivem no mesmo formulário. A média informa que a sala aprovou o que recebeu. Os comentários informam o que ela ainda quer, e ali pediam a única coisa que uma média jamais entrega, a devolutiva sobre a peça de cada um. Um relatório que carrega apenas o 9,4 perde a segunda informação, que é a que diz o que fazer em seguida.
Daí a assimetria que atrapalha quem contrata: a nota alta encerra a conversa e a nota baixa abre a conversa errada, indo direto para logística, sala e horário. Tratamos dessa queda em uma peça própria desta trilha, porque um número agregado avisa que caiu e guarda a localização.
A evolução aparece na preparação antes de aparecer na sala.
Na preparação de porta-vozes, a peça que fecha o trabalho é o Una Hoja, o roteiro de apresentação em uma folha. A data em que ele fica pronto é registrável, e costuma ser o primeiro número da lista a se mover. Em mais de 100 workshops observamos redução de cerca de 80% no tempo que o participante leva para montar uma apresentação, e isso vale como observação de prática.
A tabela abaixo organiza o que enxergamos no intervalo entre o convite e o palco. Cada linha transforma impressão em item registrável, com pergunta de resposta objetiva.
| O sinal observável | Como costuma estar antes | Como fica depois de duas ou três performances preparadas |
|---|---|---|
| Antecedência do roteiro | O roteiro fecha na véspera, às vezes no voo, e o ensaio vira leitura silenciosa | O roteiro fecha dias antes, e a última semana passa a ser de ensaio em voz alta |
| O que ele corta | Corta quando alguém pede, e negocia slide a slide para manter o material inteiro | Corta sozinho, e chega com menos material do que o tempo permitiria |
| A primeira pergunta dele | "Quantos minutos eu tenho e quantos slides eu levo" | "Quem está na sala, e o que essa pessoa faz com isto na segunda-feira" |
| O ensaio | Revisão do arquivo na tela, sem cronômetro | Fala em voz alta e cronometrada, com a abertura ensaiada mais de uma vez |
| O que ele pergunta depois | Se foi bem, e como a sala reagiu | O que a sala reteve, e qual trecho ficou de pé na conversa de corredor |
O escopo desta tabela. Ela organiza observação de prática em preparação de porta-vozes médicos e executivos, e vale como observação. Serve para escolher os itens da sua própria comparação, e a verificação é sempre no material específico daquele palestrante, naquelas duas ocasiões.
Cinco passos para responder à pergunta com registro.
- Escolha o par comparável. Simpósio satélite compara com simpósio satélite, aula de update compara com aula de update. Formato, duração e natureza de plateia parecidos, porque a diferença entre os dois precisa estar no palestrante.
- Fixe a lista de itens antes da primeira. Cinco bastam, e os cinco precisam existir antes de a primeira performance acontecer. Item escolhido depois da segunda descreve o resultado em vez de medi-lo.
- Registre a antecedência do roteiro. Quantos dias antes o material ficou pronto, nas duas vezes. É o item mais fácil de auditar, porque vive no e-mail e no calendário de quem coordena.
- Conte os cortes que ele fez sozinho. Compare a primeira versão com a que subiu ao palco, nas duas ocasiões, e anote quantos slides e quantos minutos o próprio palestrante retirou sem pedido de ninguém. Esse número descreve autonomia, que é o que torna o resultado repetível sem você na sala.
- Leia a nota ao lado dos comentários nominais. A média e o texto livre no mesmo slide, nas duas vezes. O 9,4 da Lilly convivendo com dois pedidos de devolutiva individual mostra o tamanho do que a média sozinha esconde.
Dois eventos sustentam a primeira leitura e o terceiro mostra se o movimento virou tendência. A série protege quem contrata do evento atípico: na Yamaha foram 24 turmas em 8 anos, de 2016 a 2024, e ao longo dessa série o método virou oficial na casa do mecenas, o cliente que investe em storytelling.
No fim dos cinco passos, a pergunta subjetiva virou uma linha de relatório com data. A frase "ele melhorou" passa a ter atrás dela três registros com número, nas duas ocasiões: a antecedência com que o roteiro ficou pronto, os slides que o próprio palestrante cortou sem alguém pedir e o tamanho do bloco de perguntas. A régua completa está no hub desta trilha.
A régua de quem contrata, em quatro leituras.
O que costumam perguntar sobre medir evolução.
Como saber se um palestrante melhorou de verdade?
Por comparação entre duas performances comparáveis, com a mesma lista de itens registrada nas duas. Comparável quer dizer mesmo formato, duração parecida e plateia da mesma natureza. A lista se fixa antes da primeira, porque item escolhido depois da segunda descreve o que aconteceu em vez de medir. Os dois itens que se movem mais cedo são a antecedência com que o roteiro fica pronto e o volume de material que o palestrante corta sozinho.
Avaliar apresentação é subjetivo?
A impressão de quem assiste é subjetiva. O registro é comparável. Data em que o roteiro ficou pronto, número de slides na primeira versão e na versão final, minutos cronometrados em ensaio de voz alta, permanência da sala na última sessão e perguntas recebidas no bloco final: são cinco itens com número e data, e os cinco existem antes de qualquer opinião sobre estilo.
A nota da pesquisa de satisfação serve para medir evolução?
Ela mede bem a pergunta que faz, que é o humor da sala no fim do dia. Num evento da Eli Lilly em 2017, a palestra registrou 9,4, a maior média entre os oito itens avaliados, acima de local e de programação. No mesmo formulário, os dois comentários nominais pediam feedback individual sobre a peça que cada participante produziu. Nota alta e pedido de acompanhamento convivem, e um relatório que carrega apenas a média perde a segunda informação, que é a que diz o que fazer em seguida.
Em quanto tempo aparece mudança em um speaker?
A primeira coisa que se move é o tempo de preparo. Em mais de 100 workshops, observamos redução de cerca de 80% no tempo que o participante leva para montar uma apresentação, e isso vale como observação de prática. O sinal é útil justamente por chegar antes do palco: ele aparece na agenda de quem coordena, semanas antes de a plateia ter qualquer opinião.
Quantos eventos são necessários para a comparação?
Dois comparáveis sustentam a primeira leitura, e o terceiro mostra se o movimento é tendência. Séries longas existem: na Yamaha foram 24 turmas em 8 anos, de 2016 a 2024, e o método virou oficial na casa do mecenas, o cliente que investe em storytelling. A leitura em série protege você do evento atípico, aquele com sala ruim, horário ruim ou concorrência na sala ao lado.
A comparação começa com um universo declarado.
Vinte matrizes curriculares lidas na fonte oficial de cada universidade, com a metodologia declarada e as datas de coleta por escrito. É o mesmo rigor que uma comparação interna pede.