汉书外戚传这边记载，妾皆称夫人，然后中间还有具体的称号位份。说明这边的夫人是个泛称，并不是特定的具体某个位份。
《汉书·外戚传》
汉兴，因秦之称号，帝母称皇太后，祖母称太皇太后，【適称皇后，妾皆称夫人。】又有美人、良人、八子、七子、长使、少使之号焉。至武帝制婕妤、濩娥、傛华、充依，各有爵位，而元帝加昭仪之号，凡十四等云。昭仪位视丞相，爵比诸侯王。婕妤视上卿，比列侯。濩娥视中二千石，比关内侯。傛华视真二千石，比大上造。美人视二千石，比少上造。八子视千石，比中更。充依视千石，比左更。七子视八百石，比右庶长。良人视八百石，比左庶长。长使视六百石，比五大夫。少使视四百石，比公乘。五官视三百石。顺常视二百石。无涓、共和、娱灵、保林、良使、夜者皆视百石。上家人子、中家人子视有秩斗食云。五官以下，葬司马门外。

然而史记孝文本纪这边，记载的刘恒遗诏中有写刘恒放嫔妃出宫，写的是“归夫人以下至少使。”这边的夫人，又像是个具体的位份。因为这个语境中，夫人和少使都是指的具体位份。
《史记·孝文本纪》
后七年六月己亥，帝崩於未央宫。遗诏曰：“朕闻盖天下万物之萌生，靡不有死。死者天地之理，物之自然者，奚可甚哀。当今之时，世咸嘉生而恶死，厚葬以破业，重服以伤生，吾甚不取。且朕既不德，无以佐百姓；今崩，又使重服久临，以离寒暑之数，哀人之父子，伤长幼之志，损其饮食，绝鬼神之祭祀，以重吾不德也，谓天下何！朕获保宗庙，以眇眇之身讬于天下君王之上，二十有馀年矣。赖天地之灵，社稷之福，方内安宁，靡有兵革。朕既不敏，常畏过行，以羞先帝之遗德；维年之久长，惧于不终。今乃幸以天年，得复供养于高庙。朕之不明与嘉之，其奚哀悲之有！其令天下吏民，令到出临三日，皆释服。毋禁取妇嫁女祠祀饮酒食肉者。自当给丧事服临者，皆无践。绖带无过三寸，毋布车及兵器，毋发民男女哭临宫殿。宫殿中当临者，皆以旦夕各十五举声，礼毕罢。非旦夕临时，禁毋得擅哭。已下，服大红十五日，小红十四日，纤七日，释服。佗不在令中者，皆以此令比率从事。布告天下，使明知朕意。霸陵山川因其故，毋有所改。【归夫人以下至少使。】”令中尉亚夫为车骑将军，属国悍为将屯将军，郎中令武为复土将军，发近县见卒万六千人，发内史卒万五千人，藏郭穿复土属将军武。

真的很迷？所以夫人到底是不是具体的位份，还是泛称阿？班固毕竟是东汉人，有可能他真的搞不清？而且后宫确实是在武帝时期位份改革了一下，武帝晚期开始那些嫔妃都是按照位份具体称呼了，不是统称姬，夫人什么的。

卫青绑架这边，写的刘彻事后对卫家补偿中，有记载卫子夫因为这件事情被封为夫人。这个是正式将她纳为后妃编制，还是封了个具体的位份？
《史记·卫将军骠骑列传》
青壮，为侯家骑，从平阳主。建元二年春，青姊子夫得入宫幸上。皇后，堂邑大长公主女也，无子，妒。大长公主闻卫子夫幸，有身，妒之，乃使人捕青。青时给事建章，未知名。大长公主执囚青，欲杀之。其友骑郎公孙敖与壮士往篡取之，以故得不死。上闻，乃召青为建章监，侍中，及同母昆弟贵，赏赐数日间累千金。孺为太仆公孙贺妻。少儿故与陈掌通，上召贵掌。公孙敖由此益贵。【子夫为夫人】。青为大中大夫。

整理一下武帝及之前的夫人在别的地方出现具体位份的事迹吧。
王娡，当皇后前史书记载是夫人，但在有的地方记载是王美人。
《汉书·外戚传》
景帝长男荣，其母栗姬。栗姬，齐人也。立荣为太子。长公嫖有女，欲予为妃。栗姬妒，而景帝诸美人皆因长公主见景帝，得贵幸，皆过栗姬，栗姬日怨怒，谢长公主，不许。长公主欲予王夫人，王夫人许之。长公主怒，而日谗栗姬短于景帝曰：“栗姬与诸贵人幸姬会，常使侍者祝唾其背，挟邪媚道。”景帝以故望之。景帝尝体不安，心不乐，属诸子为王者于栗姬，曰：“百岁后，善视之。”栗姬怒，不肯应，言不逊。景帝恚，心嗛之而未发也。长公主日誉王夫人男之美，景帝亦贤之，又有曩者所梦日符，计未有所定。王夫人知帝望栗姬，因怒未解，阴使人趣大臣立栗姬为皇后。大行奏事毕，曰：“‘子以母贵，母以子贵’，今太子母无号，宜立为皇后。”景帝怒曰：“是而所宜言邪！”遂案诛大行，而废太子为临江王。栗姬愈恚根，不得见，以忧死。卒立王夫人为皇后，其男为太子，封皇后兄信为盖侯。
《汉书·武帝纪》
孝武皇帝，景帝中子也，母曰王美人。年四岁立为胶东王。七岁为皇太子，母为皇后。十六岁，后三年正月，景帝崩。甲子，太子即皇帝位，尊皇太后窦氏曰太皇太后，皇后曰皇太后。三月，封皇太后同母弟田蚡、胜皆为列侯。

汉武帝的尹夫人和邢夫人，史书中都有记载她们具体的位份，尹夫人的位份的婕妤，邢夫人的位份是娙娥
《史记·外戚世家》
武帝时，幸夫人尹婕妤。邢夫人号娙娥，众人谓之“娙何”。娙何秩比中二千石，容华秩比二千石，婕妤秩比列侯。常从婕妤迁为皇后。
尹夫人与邢夫人同时并幸，有诏不得相见。尹夫人自请武帝，愿望见邢夫人，帝许之。即令他夫人饰，从御者数十人，为邢夫人来前。尹夫人前见之，曰：“此非邢夫人身也。”帝曰：“何以言之？”对曰：“视其身貌形状，不足以当人主矣。”于是帝乃诏使邢夫人衣故衣，独身来前。尹夫人望见之，曰：“此真是也。”于是乃低头俛而泣，自痛其不如也。谚曰：“美女入室，恶女之仇。”

汉武帝的钩弋夫人，史书中也有记载她的具体位份，一开始应该位份不高，后面进为婕妤。
《汉书·外戚传》
孝武钩弋赵婕妤，昭帝母也，家在河间。武帝巡狩过河间，望气者言此有奇女，天子亟使使召之。既至，女两手皆拳，上自披之，手即时伸。由是得幸，号曰拳夫人。先是，其父坐法宫刑，为中黄门，死长安，葬雍门。
拳夫人进为婕妤，居钩弋宫。大有宠，太始三年生昭帝，号钩弋子。

看王娡和尹、邢、钩弋夫人之类的事例，应该可以确定至少景帝武帝时期夫人应该是泛称，因为她们四人都在史书中有明确记载的位份。
而文帝及其之前夫人是不是具体位份，不好确定。也有可能中间有过改革。

上官皇后在史记补·建元以来侯者年表中，在她还是婕妤的时候也被称呼为上官夫人。
ps：上官皇后进宫后是先当了一个月的婕妤，然后才封后的。
这边是不是也能看出至少在武帝昭帝时期夫人应该是泛称而不是具体位份的意思？
（上官安）以父桀為將軍故貴，侍中，事昭帝。安女為昭帝夫人，立為皇后故侯，三千戶。（史记补·建元以来侯者年表）

太平御览中对夫人这个位份也有解释，并且整理了夫人的例子