相対式2面2線の無人駅。駅舎から駅前の集落までたいへんな高低差があります。民家も少なく、山深い風景には幽玄な雰囲気が漂います。
山の中腹にある駅ですが、かつてはしっかりとした木造駅舎が建っていました。 ちなみに銀山駅の旧駅舎は 『男はつらいよ』第5作・望郷篇に映像として出てきます。