大樹とは、将軍または為政者の雅称。中国は後漢の将軍･馮異が、諸将の功を論ずるとき、席を退いて大樹の下に座ったという故事によるが、大樹寺の縁起に、城主の菩提寺というのも頷ける。
豊臣秀吉が鳥取城を攻略したのは、ときに天正八年(1580)である。このとき秀吉は、若桜城を陥して守りの要とした。大樹寺が焼失したのも、恐らくこの時期であろう。