O museu precisa ser capitalizado?

A resposta é Não .

"Museu" é um substantivo comum e só precisa ser maiúsculo quando faz parte de um nome próprio, como Museu Britânico ou Museu do Louvre. Em geral, porém, “museu” deve ser escrito em letras minúsculas.