先祖は元弘の乱で尊良親王が土佐に流された際に供奉したが海に落ちてしまう。しかし亀の背に乗ることで助かり、そのまま幡多郡立石村に漂着して立石姓を名乗ったという。他にも諸説あり定かではない。
立石某--(略)--┳摂津守━右京進 ┃ ┗正賀