潘氏系明代上海第一世家，被时人称为“同杯兄弟四轩冕，一家父子三进士。”此即是指潘恩、潘惠、潘忠、潘恕四兄弟皆相继出仕，潘恩、潘允哲、潘允端父子都曾登进士的事迹。而明代上海累官做到尚书的只有二人，一是徐光启，再一就是潘恩。
潘氏是什么世家的后代
潘氏先人是在元代因避兵乱而迁到上海定居下来的。潘恩生于明弘治九年（1496年）三月二十六日。潘恩六岁时父亲即“教以四声，不过两日，高下抑扬，过耳便能辨悉。”28岁考中进士，是年十月，是任祁州知州。潘恩在嘉靖朝前后为官计四十年后，告老引退，回到上海，住进了城隍庙东北角的祖宅。