在神佛習合時代原本是木山寺的木山宮

木山神社是在日本弘仁7年 (西元816年) 建立的神社, 寺內供奉的神靈為素盞鳴尊與木山牛頭天王。
本寺作為掌管牛馬、五穀豐收、生意興榮的神明受到民眾廣泛信仰, 同時也是一個神與佛共存的特殊場所。
木山神社與木山寺被人們一起稱呼為「木山大人」, 這裡的本殿是風格美麗的入母屋造平入銅葺建築, 在隨神門旁設置了門客人神立像, 這兩者都已經被指定為岡山縣的重要文化財產。(註釋：隨神門是進入神域的入口, 為防止汙穢之物入侵而有門神守護)