上蔡有文字记载的历史始于西周初年，距今约3000年。

上蔡为古代蔡国地，周武王封其弟叔度于此。后叔度叛，为周公放逐，复封其子胡于蔡，曰蔡仲。后屡受楚国侵犯，一再迁都，初平侯迁至新蔡，后昭侯迁至州来(今安徽凤台)，改州来为下蔡，故称前都为上蔡。秦于此置上蔡县。南朝宋移治是动城，故址在今汝南。北魏神龟二年(519)改置临汝县，北齐废;隋开皇六年(586)又置武津县;大业间复置上蔡，临汝、武津先后省入，至此上蔡之名遂不变。隋属汝南郡，唐属蔡州，元至明清均属蔡州。民国初。属汝阳道。建国后，属信阳专区，1965年改属驻马店专区，至今不变。

上蔡，商代即以"蔡"为名。上蔡的"蔡"是从县城东蔡岗上的蓍草得名的。上古时期，盛行占卜，用蓍草占卜叫"筮"，"蔡"字由"草"、"祭"组成，就是用蓍草祭神占卜的意思。《续河南通志·舆地志》说:"宓羲氏因蓍草生蔡地，画卦于此，遂名其地曰蔡。"汉置上蔡县。因蔡平侯徙新蔡，遂称此为上蔡。