小说形象潘仁美的原型来自北宋名将潘美，《宋史》有传，小说把他写成心肠歹毒的奸佞，专害杨门一家，此渊源自元杂剧。
......
赵匡胤夺取皇位后初次进入皇宫，见到宫中嫔妃抱着一个小孩子，问是谁，回答说：“这是周世宗的儿子。”当时范质、赵普、潘美等人随侍赵匡胤左右，赵匡胤回头询问对赵普，赵普等人说：“除掉他。”潘美与另一名元帅在赵匡胤身后不说话，赵匡胤招呼潘美询问，潘美不敢回答，赵匡胤说：“我即位于周世宗，如果杀了他的儿子，不忍心这么做。”
潘美说：“臣与陛下曾都是周世宗的臣子，劝说陛下杀掉这个孩子，则辜负了周世宗，劝说陛下不杀，陛下必定对我生疑。”
赵匡胤说：“送给你做侄子。周世宗的儿子不可以做你的儿子。”潘美于是带着这个孩子回家。之后赵匡胤也不问这个孩子的情况，潘美也不说。
这个孩子就是潘惟吉，后来做到了刺史。
潘美本来没有兄弟，潘惟吉只称潘美为父亲却不说祖父。
这个版本出自王巩的记载，他声称听说自潘惟吉的后裔。
另一个略有不同的版本出自王铚的记载：赵匡胤陈桥兵变后进入皇宫，后宫嫔妃迎接跪拜，宫人还抱着两个小孩子来参拜，赵匡胤询问得知这是周世宗的两个儿子纪王和蕲王。
赵匡胤回头对部将说：“这还留着干什么？”左右就将两个孩子提走，只有潘美在赵匡胤身后用手掐着宫殿的柱子，低头不说话。
赵匡胤说：“你认为不可以这样吗？”潘美回答说：“臣怎么敢认为不可以，但是这在道理上不安心。”
赵匡胤即刻命令将两人追回，以其中一人赐予潘美，潘美将他收养为儿子，赵匡胤此后也不再过问。
备考：周世宗七子，宜哥与其二皆为汉诛，纪王熙谨964年卒，柴宗训973年卒，曹王熙让宋时世居河北省沧州，蕲王熙诲宋臣卢璇收养名卢璇。
故潘美收养的既不是潘惟正（约1005年卒），也非潘惟吉（1010年卒）。
守土尽责:
据《后山谈丛》记载：“代北界天池，止荒远巡候不至。潘美节度河东，新庙舍，作脊记，岁遣府倅祀之。”
后来，辽国“来争地界”，企图多占宋朝国土。由于有碑文记载，辽国才没有得逞。
......
《宋史》：潘美素厚太祖，信任于得位之初，遂受征讨之托。刘鋹遣使乞降，观美所喻，辞义严正，得奉辞伐罪之体；则其威名之重，岂待平岭表、定江南、征太原、镇北门而后见哉？二人（潘美、曹彬）皆谥武惠，皆与配飨，两家子孙，皆能树立，享富贵。而光献、章怀皆称贤后，非偶然也。君子谓仁恕清慎，能保功名，守法度，唯彬为宋良将第一，岂无意哉。
“潘美嘛，也是不错的，不过被黑的也是有些惨了！”
王晨心中暗道，不过这也是一位非常不错的人才，好好培养还是有希望的。
......
《宋史·卷二百五十八·列传第十七》
关于潘美故里《封丘县志》载：清顺治本《封丘县志》上写着的：“县东二十里潘店，世传宋枢密使潘仁美之里。”但是康熙本《封丘县志》上又说：“考之，宋只有潘美，无潘仁美也。美字仲询，大名府人，谥武惠，宋之有传，与封丘全无干涉……”
