村民陈某、吴某因拒绝缴纳所在乡政府摊派款，被通知参加乡政府举办的“学习班”。学习期间，不准回家，不准亲友探视，不准与外界通信或电话联系。十天后，陈、吴答应缴纳摊派款，才准许学习结业回家。陈、吴如果要求行政赔偿，应向哪个机关提出？如被拒绝，还有何救济途径？