2000년 11월 1일 제주도기념물 제55호로 지정되었다. 서귀진(西歸鎭)은 조선시대 제주 방어 유적인 3성(三城), 9진(九鎭)의 하나로 산남(山南), 그것도 정의현(旌義縣)과 대정현(大靜縣)의 경계에 있었기 때문에 방어하기가 수월하지 않았다. 그래서 1590년(선조 23) 목사 이옥(李沃)이 해변의 홍로천 위에 있던 서귀성(西歸城)을 옮겨와 축성했다.

전체적인 모양은 서귀진을 중심으로 하여 동서로 긴 직사각형이고, 둘레 약 2,500m, 높이 약 3.6m이며, 동문과 서문이 있었다. 성 안에는 진사(鎭舍)·객사·진졸청·병기고·창고 등이 있었고, 성 북쪽의 구서귀(舊西歸) 지역에는 말들을 사육할 때 쓰였던 것으로 보이는 잣성(목마장과 목마장을 구획하는 경계에 쌓았던 담장)이 있다. 성문 밖의 북서쪽에는 활 쏘는 연습장이 있다. 1695년 목사 이익태가 제작한 《탐라십경도》 중 서귀진을 보면 병기고만 기와지붕이고, 나머지는 모두 띠(새)로 지붕을 이었다.

제주목사 이원조의 《탐라지초본(耽羅誌草本)》에는 조방장(助防將) 1명, 치총(雉摠) 1명, 방군(防軍) 70명과 사후선(伺候船:물자나 병력을 수송하던 5인승의 초소형 군함) 1척이 있었다고 기록되어 있다. 또한 서귀진 아래에 있는 포구 수전포(水戰浦)는 항구가 매우 넓어 절벽을 의지하면 수백 척의 선박을 감춰둘 수 있었으며, 서귀진 주변에는 사람들이 살 수 있도록 하기 위해 이 곳으로 이주하는 사람들에게 사용하지 않는 진(鎭) 아래의 목장을 나눠주고, 조 8섬지기 분량에 대하여는 세금을 감면하였으며, 성 동쪽에서부터 수로를 파서 물을 이끌어와 논을 만들었다고 한다.

국권피탈 후 일제강점기 초기까지도 이 곳에서 행정을 보았으며, 환곡을 나눠주기도 하였다. 1906년(고종 43) 서귀진이 일본에 의해 폐지되면서 서귀순사분파소(파출소)로 사용되었다. 보호면적은 7,835㎡이며, 서귀포시에서 소유 및 관리하고 있다. 제주도지방기념물 제55호로 지정 보호되고 있다.