pesos=[]
for mat in red.parameters():
   pesos.append(mat.detach().numpy().ravel())
todos=numpy.hstack(pesos)
numpy.count_nonzero(abs(todos)>0.001)
len(todos)