A luz do LED continua acesa (mais fraca) mesmo após apagada?
Verifique se os fios do interruptor não estão se tocando ou próximos demais um do outro e se for o caso, remova um deles e instale-o virado ao contrário, para ficar mais afastado um polo do outro.
Isso também pode estar acontecendo porque devido ao seu baixo consumo a energia armazenada no seu capacitor funcione como uma pequena bateria. Outra questão é que este tipo de lâmpada pode ser muito sensível às correntes residuais, que são pequenas correntes elétricas que continuam fluindo no circuito..