Wegen des Kulturkampfs verzögerte sich die Umsetzung der preußischen Verwaltungsreform der 1870er Jahre, sodass die Ordnung in der Rheinprovinz erst in einer besonderen Fassung vom 1.6.1887 eingeführt wurde.

Durch die Dotationsgesetze von 1873 und 1875 erhielten die 1871 geschaffenen Provinzialverwaltungen vom Staat eigene Einnahmen zugewiesen, um den übertragenen Selbstverwaltungsaufgaben auf den Gebieten der Sozial- und Krankenfürsorge, des Straßenbaus und der Kulturpflege nachkommen zu können. Seit 1875 leitete ein hauptberuflicher Beamter, der Landesdirektor (seit 1897 unter der Bezeichnung Landeshauptmann), den rheinischen Provinzialverband, der als Spitzenkörperschaft der kommunalen Selbstverwaltung neben die staatliche Verwaltung trat. Vorläufer des 1953 neu gegründeten Landschaftsverbandes Rheinland (LVR).

Es stand unter der Leitung von Joseph Joachim (1831-1907) und Julius Tausch (1827-1895).