Dell e a IA on-prem: escolhas reais para gestoras de TI

Quando li que a Dell quer diminuir a dependência da nuvem para execução de IA, lembrei de uma reunião no meu time em que discutíamos exatamente isso. O preço dos tokens subiu, o consumo de memória explodiu e a conta de energia do data center já aparecia no relatório do trimestre. Eu precisava decidir se mantínhamos tudo no provedor atual ou trazíamos parte dos workloads para hardware próprio.

No meu time na UNODATA, três engenheiras e dois engenheiros avaliaram a proposta. Nenhum deles pediu slide bonito. Pediram números de latência, custo por inferência e tempo de deploy. A conversa durou duas horas e terminou com uma lista de requisitos técnicos que eu levei para a diretoria.

Eu apostei que o caminho não era nem nuvem total nem on-prem total. Era entender onde cada workload realmente precisava ficar.

Custos de energia e memória que ninguém mostra no pitch

A Dell trouxe dados sobre consumo energético de servidores otimizados para IA. No meu time, rodamos o mesmo teste com uma carga de inferência de modelo de linguagem médio. O resultado mostrou diferença de quase 40% no consumo quando comparamos instância em nuvem com servidor local configurado para o mesmo throughput.

O problema não é só a conta de luz. É o tempo que o time gasta otimizando queries para caber dentro do limite de token que o provedor impõe. Uma das engenheiras do time passou três semanas ajustando prompt e batch size só para não estourar o orçamento mensal. Quando trouxemos dois servidores com GPU local, esse tempo caiu para menos de uma semana.

A decisão de infraestrutura para IA não é técnica só. É de gestão de tempo e de orçamento visível.

Como avaliamos hardware sem cair em viés de gênero

Em reuniões com fornecedores, ainda escuto perguntas que não fariam para um homem na mesma posição. “Você entende de GPU?” ou “Qual o seu background técnico?”. Eu respondi uma vez com o número exato de inferências por segundo que nosso modelo atual entregava. Depois disso, a conversa mudou.

No processo de decisão, seguimos três passos claros:

1. Definir métricas objetivas antes de ouvir qualquer vendedor.
2. Pedir benchmark com workload real do nosso ambiente, não com dados de marketing.
3. Incluir uma engenheira júnior na reunião para observar se o fornecedor explica da mesma forma para todos.

Esses passos reduziram o tempo de negociação em quase um mês e evitaram que aceitássemos SLA que não atendia nossa latência de 150 ms.

Liderando o time durante a transição

Quando decidimos trazer parte da inferência para on-prem, o time precisou aprender a gerenciar atualizações de firmware e monitorar temperatura dos racks. Eu não pedi que todos virassem especialistas em hardware. Separei duas pessoas para cuidar da operação e mantive as outras focadas em otimização de modelo.

A comunicação foi direta. Expliquei que o objetivo era reduzir custo variável e ganhar previsibilidade. Mostrei a planilha com projeção de OPEX para os próximos quatro trimestres. O time entendeu o porquê e parou de questionar cada compra de cabo ou ventilador extra.

Perguntas frequentes

Qual o principal risco de trazer IA para servidores on-prem?

O principal risco é subestimar o consumo de energia e refrigeração. Antes de comprar, peça medição real de watts por GPU em carga máxima e compare com o que o data center consegue entregar.

Como justificar o investimento para a diretoria?

Apresente o custo total de propriedade em 24 meses, incluindo energia, suporte e tempo de engenharia. Inclua cenário de aumento de preço de token na nuvem para mostrar o pior caso.

O time precisa de novas habilidades?

Sim, mas não de todos. Escolha duas pessoas para se aprofundar em operação de hardware e deixe o restante focado em modelo e dados. A curva de aprendizado fica mais curta.

Como lidar com viés em reunião com fornecedor?

Defina métricas antes da reunião e peça que o fornecedor responda só a elas. Se a pergunta for direcionada só para você como mulher, responda com dado técnico e continue. O tom muda rápido.