충주에서 제천방면으로 가다 청풍 문화재단지와 청풍대교를 건너 계속 제천 쪽으로 달리면 성내리 무암사 입구가 나온다. 무암사를 향해 들어가다 보면 주차장이 나타나는데, 여기에서부터 적성산행이 시작된다. 또는 포전마을에서 곧바로 오르는 방법이 있다.
성내에는 건물터로 보이는 3개의 축대가 있으며 그곳에서는 기와조각들을 다수 발견할 수 있다. 까치산성을 상대하여 단양 쪽으로 봉우리에는 가은암 산성이 있고, 북쪽 산기슭에는 견지산성이 붕괴된 채 축대만 남아 있다. 이들 두 산성도 역시 봉우리를 연결한 포곡식으로 모두 삼국시대의 것으로 추정하고 있으며 현재도 오래된 기와조각들이 발견되고 있다.
삼국시대 신라의 토기 조각과 고려시대의 토기, 도기와 와편 등이 발견되었다. 까치산의 정상에서는 북쪽 마당재산 너머로 제천 시내와 용두산이 보이고, 동쪽으로는 단양군 적성면 상·하원곡리가 평원처럼 펼쳐지고 멀리로는 소백산의 연봉들이 하늘과 맞닿아 있다. 까치산성을 지나 작성산의 정상에 오른 후 다시 새목재를 거쳐 동산(896m)을 오르는 등산로가 있으나 산행거리가 길어 충분한 시간을 확보해야만 한다.
아주 먼 옛날에 임금이 신하들을 데리고 이 산에 들어와 궁궐을 짓고 살았는데 어느 날 아침 신하들에게 ‘동쪽 바위봉을 가르키며 저 위에 까치가 앉을 것이다. 그러면 무조건 활을 쏘아 까치를 죽이라’고 하였다. 어느 날 신하들이 바위봉에 앉은 까치를 쏘아 죽이고 보니 그 까치가 바로 일본 왕이었다는 이야기가 전해져 내려오고 있다. 이와 관련하여 구한말 제천 의병활동을 주도했던 의병대장 이강년 장군에 대한 이야기도 전해진다. 1880년 무과에 급제한 장군이 1885년 고종황재를 배알하고 난 뒤 제천지역을 중심으로 격렬한 의병활동을 전개하며 용맹을 떨치던 중 까치산으로 들어왔다. 장군은 자신이 사용하던 큰칼을 바위 아래 숨겼다고 하는데 실제로 그 곳에는 높이 5m, 길이 15m의 동굴이 있다. 이강년 장군은 1908년 7월 2일 까치성전투에서 적탄에 발목을 맞고 사로잡혀 그해 10월 13일, 51세를 일기로 서대문형무소에서 교수형으로 순국했다.