张某在某公立高校从事非全日制清洁工作，双方口头约定以下内容：张某每天工作5小时，每周工作5天，按天计酬，试用期1个月，李某不得在其他单位兼职，劳资双方协商一致方能终止用工。双方能否以口头约定的方式建立非全日制劳动关系？请简要说明理由。