이 서원은 조선시대의 성리학자인 회재(晦齋) 이언적(李彦迪)을 제향하고 후진(後進)을 교육하기 위해1572년(선조 5)에 설립되었으며, 그 이듬해에 임금이 서원이름을 내렸다. 

이 서원은 조선 후기 대원군의 서원 철폐령에 제외된 47개의 서원 중 하나로, 각 건물들의 건축적 의미는 크지 않지만 공간적 배치방법이 돋보인다. 

옥산서원에서 북쪽으로 700m 떨어진 곳에 회재의 별장이자 서재(書齋)였던 독락당(獨樂堂)이 있다.