За свою тренерскую карьеру, которую Шерф начал рано, он стал десятикратным чемпионом Израиля, шестикратным обладателем Кубка Израиля. С тель-авивским "Маккаби" Шерф выигрывал Кубок Европы сезона 1992-93, был победителем Кубка европейских чемпионов сезона 1980-81 и дважды выходил в финал Кубка чемпионов (1986-87 и 1988-89). В качестве тренера ПАОК Цви Шерф выигрывал серебряные медали в чемпионате Греции в 1997-98 гг., а в сезоне 1992-1993 с "Арисом" стал победителем Кубка Сапорта. В 1985–1986 и 1987–1997 гг. Шерф занимал пост главного тренера сборной Израиля, с которой занял 7 место на чемпионате мира 1986г. В 2005-м снова был назначен главным тренером сборной и руководил командой на прошедшем в сентябре этого года чемпионате Европы. В 2003-2004 гг. возглавлял мужскую команду БК "Динамо" Москва.
В 2008-м Шерф работал в "Маккаби" (Тель-Авив) и вывел его в финал Евролиги, в котором победителем стал ЦСКА.