804 wurde das Bistum Halberstadt durch Kaiser Karl den Großen errichtet. Erster Vorsteher des neu errichteten Bistums wurde Bischof Hildegrim von Châlons.
Die Ausdehnung der Diözese Halberstadt entsprach in etwa der Größe des heutigen Bundeslandes Sachsen-Anhalt. Das Bistum Halberstadt war das östlichste des karolingischen Reiches. Die Halberstädter Bischöfe nahmen deshalb schon sehr früh eine herausragende
Stellung unter dem hohen Klerus des Reiches ein. So gelang es beispielsweise Bischof Bernhard (923 – 968) zu seinen Lebzeiten, die von Otto dem Großen beabsichtigte Gründung des Erzbistums Magdeburg zu verhindern, da diese mit Halberstädter Gebietsabtretungen verbunden und deshalb an die Zustimmung Bernhards gebunden war.
Nach seinem Tod 968 wurde das Bistum geteilt und das Bistum Magdeburg und Merseburg gebildet.