괴헌고택은 1779년(正祖 3) 덕산공 괴헌 김영(德山公 槐軒 金瑩)의 가옥이다. 1871년(고종(高宗 8) 선생의 손 김복연(金福淵)이 일부 중수하였다고 하는데 이때 사랑부분이 현재와 같이 확장된 것이 아닌가 추측된다. 경사진 대지에 서남향으로 자리하고 있는데 1972년 수해를 당하여 현 ㅁ자 정침의 앞쪽 왼쪽에 있던 월은정(月隱亭)(정면 3칸, 측면 2칸)과 오른쪽에 있던 행랑채가 완전 붕괴되어 버렸고 현판만 사랑 처마 밑에 달려있다.

정침은 정면 6칸, 측면 2칸에 겹집형이나 부엌과 안방 뒤쪽으로 2칸이 더붙어 좌측으로는 3겹집이 되었다. 안방과 대청앞쪽으로 퇴칸을 두고 대청 우측으로 상방과 상방웃방을 배치하고 상방 앞쪽으로 1칸을 내어 부엌을 들였다. 그리고 대청 좌측으로 2칸 안방과 4칸 부엌을 두고 좌익사와 연결시켰다.그러나 안방 뒤쪽의 찬방과 부엌 1칸은 후설된 듯하며, 부엌상부 2칸과 안방상부 2칸에 걸쳐 유산고와 피난처가 마련되어 있다. 안방 상부의 피난처는 유산고를 통하여 출입할 수 있도록 조그마한 문이 설치되었다.
또한 좌익사 부분은 부엌 앞쪽으로 장고방, 고방, 모방, 모마루방 등 순로 배열되어 있고 중문칸채는 모마루방의 우측에서 고방, 마구간, 중문간, 사랑방, 부엌 순으로 배열되어 있다. 중문칸은 이중문을 설치하여 외부에서 직접 정침이 보이지 않도록 배려함이 이색적이다. 사랑부분은 중문칸채의 우측에 연접하여 `ㄱ`형으로 배치되었는데 정면 3칸, 측면 4칸 반 규모이다. 정면3칸 중 사랑 부엌에 연하여 사랑방 2칸이 놓이고 우측단에 사랑마루방이 1칸을 차지하였는데 이 마루방은 뒤쪽으로 2칸이다. 그리고 사랑방 전면에 퇴칸을 설치하고 앞쪽에 헌함을 돌리고 이중으로 기단을 설치함으로 해서 건물을 높여 격을 갖추려 하였다.
사랑 마루방 뒤쪽으로는 작은 사랑방과 감실을 차례로 1칸씩 설치하였으며 감실과 안채 상방부엌 사이에 차벽을 설치하여 안마당을 폐쇄하였고, 감실 뒤쪽에도 일각문을 세워서 사당으로 이르는 마당과 안채의 옆마당을 구획하고 있다. 사당은 정면 3칸, 측면 1칸반의 규모로 퇴칸에 마루를 시설하였으나 후설한 듯하다.

이 집에는 용도에 따라 장고방, 고방, 광 등의 수납공간이 설치되었고, 안방의 피난다락과 사랑방 다락 뒷벽에 은신처가 마련되어 있는 것은 특기할 만하다. 당시의 재난에 대비한 건축적 배려를 보여주는 것으로 보인다. 영주 시내에서 이산방면으로 4km 가면 이산리가 나오는데 이산리 위가 두월리이다.