単式1面1線のホームをもつ無人駅で、海沿いの秘境駅です。待合室内はやや広めの造りで、ありがたいことにトイレまで付いています。驫木駅は2002年春の「青春18きっぷ」のポスターでも使用されたこともあり、知名度の高い駅です。また映画「男はつらいよ」第7作にも登場します。風光明媚な駅です。