根据《湖南省综合评标专家库和评标专家管理办法》，省财政部门负责湖南省综合评标专家库的建设和管理。