Como a comunicação gerada por IA e as mensagens motivacionais impactam a força de vendas? Será que conseguimos mensurar seus efeitos? Este artigo traz as respostas para essas questões.

Sobre o Grupo Magalu

A Magalu é uma das maiores redes varejistas do país. Com mais de 1000 lojas espalhadas pelo Brasil, é reconhecida por sua atuação omnichannel, um amplo portfólio de produtos e um e-commerce robusto. Sua forte presença digital, aliada ao bom atendimento, faz da Magalu uma referência na transformação do varejo brasileiro.

Desafios da Black Friday

Os dias 29 e 30 de novembro de 2024 foram intensos e empolgantes para o time Looqbox. Nossos clientes de varejo, seja no setor alimentar, moda, beleza ou eletrônicos, se preparam meses antes para a data. E não é por acaso: qualquer pequena falha pode se transformar em um grande prejuízo. Se algum sistema crítico ficar indisponível na Black Friday, minutos podem significar milhões em vendas perdidas para grandes contas. Por outro lado, grandes acertos podem gerar resultados igualmente expressivos. Neste artigo, vamos focar no segundo caso: duas experiências positivas que trouxeram impactos significativos em vendas.

Para uma boa Black Friday, ter os números e o alinhamento do time em mãos é fundamental para atingir as metas. Aqui no Looqbox, todo ano temos o plantão da Black Friday com 48 horas de trabalho direto, monitorando todos os sistemas e acompanhando de perto os resultados dos nossos clientes. Neste ano, tivemos a oportunidade de testar nossa última novidade: o Feed Looqbox e a aplicação do conceito de “Communicalitycs” (gosto de neologismos, vide GPTear).

Feed Looqbox

Para quem não conhece, o Feed Looqbox é uma nova funcionalidade que facilita a comunicação com os usuários, combinando uma abordagem moderna e baseada em dados. Ele se inspira em redes sociais populares, como TikTok e Instagram, para criar uma experiência interativa. Ele é dividido em dois formatos  de comunicação: Individual e Geral.

Feed para comunicação Geral

Na comunicação geral, o Feed é um espaço para os gestores motivarem o time, compartilharem materiais de treinamento e apresentarem resultados gerais da companhia. É uma forma direta de traduzir a estratégia para a operação. O Feed suporta áudio, vídeo e texto, podendo ser direcionado a grupos específicos (gerentes, vendedores, regionais) ou a todos os usuários, conforme a hierarquia definida pela empresa.

Feed para comunicação Individual (AI Generativa)

Considere uma operação com 10 mil colaboradores na força de vendas. Com o uso de IA, conseguimos gerar recomendações personalizadas em larga escala, ajudando cada vendedora ou vendedor a melhorar sua performance. Por exemplo, imagine um vendedor que está com dificuldade na venda de serviço, e outro que não está vendendo um produto que tem muita saída na sua loja. Com o Feed, conseguimos gerar mensagens individualizadas, dando dicas de vendas específicas para cada vendedor.

E o Communicalitycs?

Com mais de 11 anos de experiência com dados, adoramos medir tudo o que fazemos – e com o Feed não foi diferente. Times de marketing já estão acostumados a utilizar técnicas para medir o resultado de campanhas externas, mas será que conseguimos medir o impacto da comunicação interna de forma rigorosa na nossa força de vendas? Que tipo de linguagem gera mais engajamento? Qual traz melhores resultados? Como preparar testes A/B efetivos? Qual o retorno de uma comunicação bem planejada? Esse é o conceito de Communicalitycs: a combinação de comunicação com analytics, utilizando dados para testar e mensurar o poder da palavra. A seguir apresento dois casos de medição de resultados.

Caso 1: O impacto dos insights personalizados com uso de Gen AI

Com o acompanhamento direto de Caio Gomes, CDO da Magalu, físico e entusiasta de estudos causais, realizamos um experimento no início de novembro, antes da Black Friday. Dividimos de forma aleatória aproximadamente 2.000 vendedores em dois grupos: 1.000 receberam notificações personalizadas geradas com AI Generativa, enquanto os outros 1.000 não. O objetivo era entender o impacto dessas mensagens. Em casos como esses, existe sempre o desafio estatístico de separar o sinal do ruído, mesmo quando o efeito está presente, pode ser difícil percebê-lo a depender do tamanho do impacto. Importante ressaltar que ambos os grupos já estavam recebendo notificações no Feed Looqbox, a diferença é que o grupo teste recebeu mensagens geradas com AI Generativa, enquanto o grupo controle recebeu mensagens sem AI Generativa.

Nosso teste foi bem-sucedido. Como mostrado no gráfico abaixo, o grupo de teste apresentou um aumento significativo, superando o grupo de controle em 3,9% na semana em que recebeu as notificações geradas por IA do Looqbox.

Após essa análise inicial, filtramos uma categoria de vendedores que já utilizavam o Looqbox há mais tempo para entender se o impacto era mais forte. Observamos que o efeito foi 84% mais pronunciado: entre esses 500 vendedores de cada grupo, o impacto foi de 7,2% a favor do grupo que recebeu notificações geradas por Gen AI, conforme gráfico abaixo.

Para os estatísticos de plantão, o p-value apresentou, para ambos os grupos, resultado inferior a 5% na semana de realização do teste.

Caso 2: O impacto da comunicação geral

Esse foi o caso que mais me surpreendeu. Durante uma reunião presencial de planejamento com o time da Magalu, meu sócio Daniel Murta perguntou ao Diretor de Operações da Magalu, Douglas Matricardi, se ele poderia gravar alguns áudios motivacionais para a equipe. Douglas foi receptivo à ideia e se dispôs a fazer a gravação para distribuição via Looqbox nos dias da Black. Apesar da intensa agenda, Douglas gravou oito áudios direcionados à força de vendas.

Para aumentar o suspense, apesar de estar usando um equipamento super moderno para gravação, a qualidade ficou comprometida, mas nada que um toque de AI não pudesse nos ajudar, e recuperamos o áudio (obrigado Gabi) e tudo ficou pronto para a operação.

Áudios gravados, recuperados e Looqbox a postos, disparamos o conteúdo, novamente separando em grupo de teste e controle, desta vez com 4.200 vendedores envolvidos, 2.100 em cada grupo. Para ser sincero, eu estava bem cético em conseguir obter quaisquer resultados, minha hipótese era de que na Black a demanda está fornecida pelo marketing da data, e dificilmente conseguiríamos impactar os vendedores com o uso do Feed. Essa é a beleza desse tipo de experimento: não era a minha hipótese que determinaria se haveria ou não impacto, mas sim os números. E para a minha surpresa, eles me surpreenderam mais uma vez.

Sim, conseguimos medir o poder da palavra, para o  grupo de vendedores que receberam a mensagem do Matricardi, obtivemos um aumento de 3,2% entre os grupos, totalizando um impacto de R$ 3,8 milhões em vendas. Não sei se o Douglas esperava acumular mais essa função, mas acho que vamos precisar de mais gravações.

Conclusão

Foram mais de 250 mil mensagens de insights distribuídas em dois dias de Black Friday e mais de meio milhão de perguntas realizadas no Looqbox pelo time de vendas da Magalu. Aplicando nossa estratégia de Communicalitycs, com grupos de teste e controle tanto antes quanto durante a Black Friday, conseguimos mensurar um impacto do uso do Feed personalizado (com uso de AI Generativa) entre 3,9% e 7,2%, e de 3,2% com o Feed Geral utilizando a comunicação com áudios da alta gestão. Agradecemos ao time Magalu pelo apoio na realização deste estudo, confiando no nosso trabalho, e nos permitindo operar em conjunto em uma das datas mais importantes do ano.

Agradecimentos

Caio Gomes – CDO – Pela confiança em nosso trabalho e pelas trocas sobre a matemática da causalidade.
Douglas Matricardi – Diretor de Operações – Pela abertura para os testes e participação ativa no Feed.
Ricardo Oshikawa – Gerente de Planejamento – Pelo suporte direto e de seu time no projeto.
Jéssica Santos – Gerente de Loja – Pela atenção na operação durante nossos testes em loja.
Daniel Pedrosa – Vendedor Especial – Pela paciência e receptividade sempre tão positiva em sua loja.
Vera Bamberg – CSM Looqbox – Representando o time Looqbox, que foi incansável nesses 4 meses de trabalho para a realização dos testes.