回向院是由德川第四代将军家纲所建的净土宗寺院，用于安葬于1657年发生的江户历史上最严重的灾害明历大火（振袖大火）的 10 万多名遇难者。该寺院以“无论是否有亲缘关系，向众生宣扬佛祖慈悲”为理念，被命名为“诸宗山无缘寺回向院”，之后此地也埋葬和祭奠着在安政大地震、关东大地震及东京大空袭等天灾人祸中的受害者、海难溺亡者、妓女、夭折早逝的孩子、被处决者以及各种动物等各种生命。

另一方面，该寺院还曾作为日本知名寺社的开龛公开秘藏佛像的场所而闻名，并在直至明治末期的76年间一直作为相扑比赛的固定会场，即所谓的“回向院相扑”时代，这在日本相扑史上留下了浓墨重彩的一笔。其中，在由相扑协会修建、新学徒们至今仍在这里祈求力量的“力冢”，如果幸运的话还会在此偶遇相扑选手。
此外，此地还有许多如被视为义贼的鼠小僧、歌舞伎之父中村勘三郎以及浮世绘师山东京传鸟居清长等被列入文化遗产和历史遗迹的知名景点。