Por dentro do BidMatrix: DeepThink e ApexAd

Personalização no Limite da Latência

O RTB é um ambiente implacável para aprendizado de máquina: as distribuições se alteram a cada hora, os orçamentos de latência penalizam a complexidade e recursos esparsos e de alta cardinalidade dominam. A maioria das arquiteturas de aprendizado de máquina faz concessões — ou simplifica o modelo para atender aos critérios do p99 ou cria recursos em excesso para sustentar os aprendizes com recursos limitados.

A BidMatrix rejeita essa troca. O DeepThink transforma sinais esparsos em estruturas aprendíveis em grande escala, e o ApexAd executa preditores neurais compactos dentro das janelas de latência do RTB. O elo entre eles é nossa base de dados (perfis e rótulos) que mantém a personalização ancorada em cenários de negócios reais.

1) DeepThink: Treinamento e Inferência em Escala RTB

O que é? DeepThink é nossa plataforma de aprendizado de máquina própria para ingestão, construção de recursos, treinamento distribuído, exportação de modelos e disponibilização em tempo real.

Ingestão e funcionalidades. Unificamos sinais de múltiplas fontes em tensores esparsos/densos:

• Histórico do usuário: impressões, tempo de permanência, cliques, conversões, frequência/recência

• Anúncio/criativo: formato, estilo, marca, vertical, histórico da campanha

• Contexto: dispositivo/SO, rede, localização geográfica, horário/dia da semana, dinâmica do mercado

Os armazenamentos de recursos são otimizados para hashing de alta cardinalidade , limitação de frequência e agrupamento temporal , preservando o sinal de cauda longa sem sobrecarregar a memória.

Modos de treinamento.

• Máquina única para ablações e arquiteturas candidatas

• Escalabilidade distribuída (servidor de parâmetros + conjuntos de dados fragmentados) para amostras da classe petabytes e magnitudes efetivas de características de 10⁸–10¹⁰.

• Aprendizagem incremental (diária ou mais frequente) para acompanhar a deriva conceitual.

Modelagem. Aprendizados ajustáveis por cenário: linhas de base LR ; FM para recuperação de interação; DNN leve para estrutura não linear sob latência estrita. O conjunto de produção é compacto para proteger p99 .

Servindo. Os modelos são exportados para ONNX e executados no ONNX Runtime em um cluster com escalonamento automático, com posicionamento otimizado para cache e coalescência de solicitações, resultando em previsões de CVR/CTR de baixa latência e alta taxa de consultas por segundo (QPS).

Fundamentos de dados para treinamento

O DeepThink utiliza uma base de dados unificada : sinais online, offline e de terceiros selecionados são integrados em perfis de usuário com rótulos de cenário de negócios (atributos, comportamentos, interesses, localização geográfica). Essa estrutura melhora a qualidade dos recursos, estabiliza namespaces esparsos e acelera a convergência para o treinamento de redes neurais profundas leves (DNN) com base em regressão logística/força de amostragem (LR/FM) .

2) ApexAd: Sistema de Recursos, Evolução de Modelos e Entrega

Sistema de características trimodais.

1. Histórico do usuário (visualizações • cliques • compras)

2. Contexto em tempo real (dispositivo • SO • rede • localização geográfica • hora)

3. Características do anúncio (tipo de letra • atributos estilísticos • indicações verticais)

   

Evolução do modelo. LR → FM → DNN leve.

• A regressão logística fornece linhas de base calibradas e inferência de baixo custo.

• FM recupera interações-chave entre pares em domínios esparsos.

• Uma DNN compacta captura variedades não lineares sem violar a latência RTB.

Atualizações incrementais. Os parâmetros são atualizados diariamente (ou com mais frequência), acompanhando a migração de interesses e as mudanças nos regimes de tráfego .

Estratégia de inicialização a frio. A aprendizagem por transferência em coortes próximas e incorporações de nível setorial fornecem informações prévias não nulas para novos usuários/campanhas; o desempenho então converge rapidamente à medida que os dados reais são acumulados.

Base de dados para entrega

A ApexAd ativa os mesmos perfis e rótulos no momento da veiculação, possibilitando a criação de públicos-alvo precisos , públicos semelhantes e personalização em tempo real . O resultado é a pré-conquista de usuários de alto valor e uma alocação mais estável em cenários de volatilidade.

3) Evidências de desempenho

• Offline: a mudança de arquitetura para DNN leve resultou em um AUC de +8 pontos percentuais em comparação com linhas de base robustas de LR/FM.

• Produção: a fidelização antecipada de usuários de alto valor resultou em um aumento de receita de aproximadamente 30% com gastos estáveis.

• Disciplina de latência: operações vetorizadas, localidade de cache e kernels de tempo de execução ONNX mantêm o p99 dentro do orçamento.

4) Histórico de versões

• 2024-04 — DeepThink Alpha (LR de máquina única)

• 2024-06 — Lançamento geral do DeepThink (treinamento distribuído + serviço; +8pp AUC em comparação com a linha de base)

• 2024-07 — S1: Primeiro modelo de conversão LR online

• 2024-08 — Plataforma de distribuição inteligente ApexAd

• 2024-09 — Modelo de conversão profunda S3 (CVR +15%+)

• 2024-10 — Modelo profundo S7 (com perda aprimorada) (CR/CVR +15%; normalização do tamanho do lote; latência de evento de 1 dia)

• 2024-11 — Data Foundation GA (perfis e rótulos) — compatível com DeepThink e ApexAd

• 2025-01 — Funcionalidades do lado do usuário integradas ao S1/S3/S7 (entrega de anúncios personalizados)

• 2025-01 — Atualização S1: LR → FM (AUC +9,0; conversão online +30%)

• 2025-02 — Otimização do desempenho de inferência (estruturas enxutas; aceleração de 5 a 6 vezes )

• 2025-03 — S3/S7 adicionam recursos de etiqueta de anúncio internos (AUC +1,5; maioria das dimensões +30%↑; 3 dimensões CR ×2)

• 2025-07 — Atualização S1: FM → Rede Neural Profunda (AUC +4; modelos profundos em toda a plataforma)

• 2025-08 — Otimização do desempenho do servidor (correção de gargalo de E/S; inferência 10 vezes mais rápida)

Por que funciona: um design que respeita a realidade.

1. Alavancagem estatística em grande escala. Amostras da ordem de petabytes e sinais de superfície de esparsidade com bilhões de características que o mercado ainda não precificou.

2. Ciclo de serviço rigoroso. As previsões devem ser concluídas antes do tempo limite do licitante; o serviço baseado em ONNX foi projetado para atingir esse limite.

3. Adaptação cadenciada. Atualizações incrementais previnem o viés de longo prazo à medida que os interesses migram.

4. Base de dados orientada por cenários. Perfis e rótulos são criados para nutrir o aprendizado e impulsionar a ativação , não para enfeitar painéis.

Análise Detalhada do Sistema (para Profissionais)

• Hashing de recursos e colisões: regimes controlados mantêm a memória limitada, preservando a separabilidade para namespaces de alto valor.

• Características temporais: as codificações de recência/sazonalidade capturam a periodicidade além do alcance linear.

• Regularização e calibração: L2 + dropout para o cabeçalho da DNN; a calibração pós-hoc garante curvas de licitação monotônicas.

• Testes A/B: divisões em múltiplas células isolam os efeitos do modelo versus alocação; rastreamos a receita incremental por mil impressões (iRPM) , não a taxa de cliques (CTR) por vaidade.

Segurança, Privacidade e Governança

• Minimização de dados: apenas as características com ganho mensurável são promovidas.

• Pseudonimização e controle de acesso: escopo rigoroso para junções de identidade.

• Superfícies de explicabilidade: resumos de contribuição por funcionalidade para auditoria e resolução de problemas.

• Conformidade: alinhada com os regimes de privacidade vigentes e as obrigações dos parceiros.

Roteiro

• Incorporações criativas: codificadores de visão compactos para sinais em nível de quadro com latência rigorosa.

• Modelagem de efeito causal: estimadores de efeito de tratamento para reduzir o viés em ciclos de feedback observacionais.

• Cadência de atualização adaptativa: frequência de incremento ajustada automaticamente de acordo com a deriva do segmento.

• Fortalecimento de grafos entre dispositivos: junções probabilísticas com limiares conservadores para proteger a precisão.

O BidMatrix foi desenvolvido para o mundo real do RTB: orçamentos de latência rigorosos, distribuições variáveis e sinais esparsos. O DeepThink escala o aprendizado e o ApexAd entrega resultados — silenciosamente e incansavelmente — no limite da latência . Resultado: identificamos valor mais cedo, alocamos recursos de forma mais consistente em mercados voláteis e potencializamos o desempenho conforme as condições mudam. Como isso se traduz na aquisição de mais — e melhores — usuários e na geração de mais receita para os anunciantes?