Rolf Brem entstammt einer Handwerkerfamilie und wächst in Luzern auf. Nach sechs Gymnasialjahren besucht er von 1945 bis 1948 die Bildhauerklasse an der Kunstgewerbeschule Luzern. Von 1948 bis 1957 arbeitet er im Zürcher Atelier von Karl Geiser, unterbrochen von Weiterbildungen und Studienreisen. Geiser, ein sozial engagierter Plastiker, beeinflusst Brem stark. Von 1951 bis 1953 studiert Brem an der Académie de la Grande Chaumière in Paris und 1954 bis 1955 am Istituto Svizzero in Rom. Zwischen 1946 und 1952 arbeitet er in einem Abbruchhaus im Maihof und bis 1957 in der alten Brauerei an der Zürichstrasse in Luzern. Ab 1957, nach Geisers Tod, richtet er sein großes Atelier in der ehemaligen Orangerie von St. Charles-Hall in Meggen ein und 1972 ein weiteres Atelier in einem alten Gehöft in Morbio Superiore im Mendrisiotto, um in der Nähe der Bronzegiesserei von Mendrisio zu sein. Die Italianità und die Bildhauertradition des Südtessins bereichern ihn ebenfalls.
Brem erhält 1951, 1952 und 1954 das Eidgenössische Stipendium, 1954 und 1957 das Kiefer-Hablitzel-Stipendium, 1957 den Aufmunterungspreis der Stadt Luzern, 1975 den Prix International de la Médaille in Krakau und 1977 den Kunstpreis der Stadt Luzern.
Im Zentrum von Brems Schaffen steht der Mensch. Seit den 1950er-Jahren modelliert er sinnende, spielende Mädchen, arbeitende Männer und Frauen, Heiligenfiguren und Tiere als Einzelfiguren oder Gruppen. Dabei überschreitet er nie die Grenzen einer behutsamen Stilisierung, beeinflusst von Karl Geiser und Auguste Rodin. Sein allgemein verständlicher Modellierstil macht ihn populär und vielbeschäftigt. Seit 1956 führt er zahlreiche Denkmäler, Brunnenfiguren und öffentliche Aufträge aus. Werke wie „Atelier“ (1970), „Frau vor dem Spiegel“ (1971, beide im Aargauer Kunsthaus, Aarau), „Die Telefonkabine“ und „Die Giesserei“ zeigen seine Vorliebe für genreartig-narrative Raum- und Interieurschilderungen. Seine zahlreichen Porträts erreichen große Meisterschaft; 132 davon werden 1992 von Harald Szeemann an der Weltausstellung in Sevilla zu einer Installation zusammengeführt.
Seine Werke sind u.a. in Aarau (Aargauer Kunsthaus), Bad Säckingen (Neue Rheinbrücke Fridolin, 1979, Bronze), Luzern (Schule Hubelmatt, Fadenspiel, 1957, Bronze; Gewerbeschule, Georg der Drachentöter, 1959, Bronze; Stadttheater, Schäfergruppe, 1985, Bronze; Neues Postzentrum, Der Pöstler, 1985, Bronze; AHV-Verwaltungsgebäude Würzenbach, Menschen, 1986, Bronze), Stans (Rathausplatz, Der Tod und das Mädchen, 1976, Stein und Bronze, Brunnenanlage), Willisau (Figur zu Paulusbrunnen, 1965, Bronze) und Zug (Altstadt, Gret-Schell-Brunnen, 1977, Bronze) vertreten.