Esta ferramenta estima quanta eletricidade suas mensagens de chatbot consomem

Você já se perguntou quanta eletricidade você está usando quando solicita ou agradece um modelo de IA? Abraçando o engenheiro de rosto Julien Delavande, então ele construiu uma ferramenta para ajudar a chegar à resposta.

Os modelos de IA consomem energia cada vez que são executados. Eles são executados em GPUs e chips especializados que precisam de muito poder para realizar as cargas de trabalho computacionais associadas em escala. Não é fácil definir o consumo de energia do modelo, mas é amplamente esperado que o uso crescente de tecnologias de IA impulsione as necessidades de eletricidade a novos patamares nos próximos dois anos.

A demanda por mais energia para alimentar a IA levou algumas empresas a buscar estratégias ambientalmente hostis. Ferramentas como o objetivo de Delavande de chamar a atenção para isso e talvez dêem a alguns usuários da IA.

“Mesmo pequenas economias de energia podem aumentar em milhões de consultas – a escolha do modelo ou o comprimento da saída pode levar ao grande impacto ambiental”, escreveram Delavande e os outros criadores da ferramenta em comunicado.

A ferramenta de Delavande foi projetada para funcionar com a interface do usuário de bate-papo, um front-end de código aberto para modelos como o Llama 3.3 70B do Meta e o Gemma 3 do Google. A ferramenta estima o consumo de energia de mensagens enviadas para e para um modelo em tempo real, relatando consumo em watt-hora ou joules. Ele também compara o uso de energia do modelo com o de eletrodomésticos comuns, como microondas e LEDs.

De acordo com a ferramenta, pedindo à LLAMA 3.3 70B para escrever um email típico, usa aproximadamente 0,1841 watts-hora-equivalente à execução de um microondas por 0,12 segundos ou usando uma torradeira por 0,02 segundos.

Vale lembrar que as estimativas da ferramenta são apenas isso – estimativas. Delavande não afirma que eles são incrivelmente precisos. Ainda assim, eles servem como um lembrete de que tudo – incluindo os chatbots – tem um custo.

“Com projetos como a pontuação energética da IA ​​e pesquisas mais amplas sobre a pegada energética da IA, estamos pressionando por transparência na comunidade de código aberto. Um dia, o uso de energia pode ser tão visível quanto os rótulos nutricionais da comida!” Delavande e seus co-criadores escreveram.

Veja também