Tatsächlich ist der Ursprung der Paumgartner, die im Laufe des Spätmittelalters und der beginnenden Frühen Neuzeit zu Wohlstand und Ansehen kamen, mit unbelegten Herkunftsgeschichten umrankt. Es scheint lediglich nahezuliegen, dass das Geschlecht der Paumgartner in Oberdeutschland bereits seit dem 14. Jahrhundert vertreten war. Denn einer der in den Familiendokumenten genannten Stammväter, Konrad Paumgartner (ca. 1380–1464), wurde 1396 ins Nürnberger Patriziat aufgenommen, was darauf schließen lässt, dass er und seine Vorfahren bereits einige Zeit in Nürnberg lebten und bereits zu Ansehen und Wohlstand kamen. Er selbst heiratete 1402 Anna Kress, eine Tochter des Fritz Kress, welcher schon seit einigen Jahrzehnten in einer Handelsgesellschaft tätig war.