根据《中华人民共和国社区矫正法》第四十六条的规定， 人民法院是撤销缓刑、假释的机关。具体而言，对于在考验期限内犯新罪或者发现判决宣告以前还有其他罪没有判决的，应当由审理该案件的人民法院撤销缓刑、假释，并书面通知原审人民法院和执行地社区矫正机构。
此外，根据《中央社会治安综合治理委员会办公室 最高人民法院 最高人民检察院 公安部 司法部 关于加强和规范监外执行工作的意见》，执行地公安机关在特定情况下也可以提出撤销缓刑、假释的建议，例如罪犯未按时报到、未经批准擅自离开监管区域、不遵守执行机关规定等，但这些建议最终需要由人民法院作出裁定。
综上所述， 人民法院是负责撤销缓刑、假释的机关，执行地公安机关可以提出建议，但最终决定权在法院。