买家"A”买了一个书架，由于尺寸不合适要求退货，退货时询问商家"B"，退货后发票的税点由谁来承担，这时该怎么处理？