失业人员的管理由劳动保障行政部门负责。具体来说：
国务院劳动保障行政部门：
负责全国失业保险工作的总体指导和政策制定。
县级以上地方各级人民政府劳动保障行政部门：
主管本区域内的失业保险工作，确保政策的顺利实施和失业保险基金的正确运作。
社会保险经办机构：
在劳动保障行政部门的指导下，具体承办失业保险的相关工作，如失业人员的登记、调查、统计，失业保险金的管理和发放等。
财政部门与审计部门：
对失业保险基金的收支和管理情况进行法律监督。
地方税务机关：
负责失业保险费的征收工作。
街道办事处或镇人民政府：
在失业人员领取失业保险金期间，配合社会保险经办机构进行管理。