A pesar de las constantes ausencias que resultaban de su trabajo en el regimiento y los infortunios sufridos en escenas de combate, tales como la batalla de Dettingen de 1743, Isaac Herschel formó familia junto a Anna Isle Moritzen (Neustadt am Rübenberge, Hannover, Baja Sajonia, diciembre de 1712 o enero de 1713-Hannover, 19 de noviembre de 1789), con quien contrajo nupcias en Hanover el 12 de octubre de 1732. De este lazo matrimonial cuatro hijos —Johann Heinrich (Hanover, 25 de abril de 1736-Hanover, 26 de noviembre de 1743), Anna Christina (Hanover, 12 o 13 de julio de 1741-Hanover, 22 de julio de 1748), María Dorothea (Hanover, 8 de junio de 1748-Hanover, 21 de abril de 1749) y Frantz Johann Herschel (Hanover, 13 de mayo de 1752-Hanover, 26 de marzo de 1754)—, perdieron la vida en sus primeros años, alcanzando solo seis hijos la adultez, a saber:

1. Sophia Elizabeth Herschel (Sophia) (Hanover, 12 de abril de 1733-Hanover, 30 de marzo de 1803), quien fuera esposa desde 1755 de Joachim Heinrich Griesbach (1730-1773), músico y miembro de la banda musical de la guardia hanoveriana. En palabras de su sobrina nieta Constance Anne Herschel, fue quizás la única de los hermanos Herschel que no heredó la afición por la música, pero eso no detuvo a cinco de sus hijos —George Ludolph Jacob (1757-1824), Carl Friedrich Ludwig (1760-1835), Justus Heinrich Christian (1762-1833), Johann Friedrich Alexander (1769-1825) y Johann Wilhelm Griesbach (1772-1825)—, de formar el núcleo de la banda del castillo de Windsor de Carlota de Mecklemburgo-Strelitz, reina consorte de Jorge III, en el Reino Unido.

2. Heinrich Anton Jacob Herschel (Jacob) (Hanover, 20 de noviembre de 1734-Hanover, 23 de junio de 1792), músico y miembro, primero, de la banda de la guardia y luego de la orquesta de la Corte de Hanover. Falleció estrangulado. No dejó descendencia.