築城されたのは、１３６６（貞治５）年、吉良治家・頼治の頃と言われ、吉良氏はその後、小田原の北条家傘下に入り、北条家滅亡と共に、この城も廃城となった。なお、吉良氏自体は足利家庶流のため、 徳川家によって「高家」に列せられ、格調高い行事の担当となる。
　　世田谷は江戸時代、徳川家譜代・彦根藩井伊家の所有となり、代官屋敷が設けられ（現在も残る）、また世田谷城の領域大半は、井伊家菩提寺「豪徳寺」となった。豪徳寺は、桜田門外の変で殺された、大老・井伊直弼の墓、１６７７年建立の仏殿、明治に建てられた庫裏などがある他、招き猫発祥の地と言われ、招き猫が沢山鎮座している。

　現在、開発を免れた一角が、世田谷城址公園として存在。土塁、空堀が残る。