Questão 1
Não respondida
~/questoes/inteligencia-artificial
Quando você executa modelos de linguagem em um computador com recursos limitados, é essencial configurar parâmetros como batch size e context window para controlar quanto de memória o programa usa. Esses ajustes previnem travamentos e permitem rodar modelos sofisticados mesmo com pouca RAM disponível.
A alternativa correta reconhece que batch size, context window e outros parâmetros são ferramentas de otimização que devem ser configurados de forma inteligente. Aumentar esses valores ajuda o desempenho, mas deve ser feito considerando a memória disponível. Diminuir ou ajustar esses parâmetros é justamente como você evita travamentos em máquinas limitadas.
Aumentar indefinidamente o batch size e context window vai consumir mais memória, não menos. Em máquinas com 8GB, isso causa exatamente o oposto do desejado: travamentos e lentidão. O termo 'indefinidamente' já indica falta de controle.
Esta é a estratégia correta. Configurar batch size (quantidade de dados processados por vez), context window (tamanho do histórico considerado) e outros parâmetros permite otimizar o uso de memória RAM. Você ajusta esses valores conforme o hardware para evitar travamentos.
Desativar completamente o processador não é uma solução viável nem faz sentido técnico. O processador é essencial para executar o modelo. O objetivo é otimizar seu uso, não eliminar ele.
Aumentar a precisão em ponto flutuante (como usar float64 em vez de float32) consome *mais* memória, não menos. Para máquinas limitadas, a prática é usar quantização (reduzir a precisão) para economizar memória, o oposto do descrito.