砀山东周春秋时期，属宋国，宋国国都商丘，战国，改属齐国、后归属魏国，秦始皇二十二年，灭魏国，置砀郡，为三十六郡之一，在县境设下邑县。而砀郡即今商丘睢阳区，因东有芒砀山而得名。后来砀山曾属永州（永城）、单州（单县）、济州（济宁）等。明洪武四年，砀山县改属徐州。