Die Menschen hatten schon immer den intensiven Drang, die verschiedenartigsten Dinge zu sammeln. So konnte es nicht ausbleiben, dass sich schon bald nach Einführung der Briefmarken Sammler in aller Welt auch für diese Sammelobjekte interessierten. 
Sammeln bedarf des Kontaktes mit gleichgesinnten Menschen und deshalb entstanden so wie überall auch in Krems verschiedene lose Verbindungen von Briefmarkensammlern und später auch Sammlervereine, die mit wechselnden Erfolg die Interessenten betreuten. 

Einige Jahre nach dem zweiten Weltkrieg wurde wieder fleißiger gesammelt. Die privaten Vermittler von Rundsendungen und philatelistischen Material genügten nicht mehr. Mit Hilfe von Wiener Verbandsfunktionären gründete deshalb OSR Karl Wöber im Jahre 1957 den Briefmarkensammlerverein Krems. Am 16. November 1957 wurde in der ersten Hauptversammlung von den zwanzig Gründungsmitgliedern OSR Wöber als Obmann und Frau Anna Reiter als Stellvertreter gewählt.
In den folgenden Jahren setzte eine rege Vereinstätigkeit und stete Aufwärtsentwicklung ein. Im Jahr 1967 wurde mit 158 Mitgliedern der bisherige Höchststand erreicht. Nach den Jahren der hektischen Preisentwicklung für Briefmarken pendelte sich die Zahl der Mitglieder bei etwa 130 echten Sammlern ein. Im letzten Jahrzehnt konnten die alljährlichen Lücken, die leider durch das Ableben älterer Mitglieder oder durch Übersiedlungen gerissen werden leider nicht mehr aufgefüllt werden und somit ist der Verein auf knapp unter 100 Mitglieder geschrumpft. 

Nach 18 Jahren hervorragender Leitung musste OSR Wöber aus Gesundheitsgründen die Obmannstelle zurücklegen. Von 1975 bis 1985 führte Herr Richard Malota mit viel Ambition und großem Engagement den BSV Krems. Sein Nachfolger Med. Rat Dr. med. Hans Peter führte den Verein von 1985 bis 1995. Unter seiner Führung richtete der Verein die erste große Rang II-Ausstellung, die ÖVEBRIA '87 (Österreichische Verbandsbriefmarken Ausstellung) aus. Er war auch Initiator und Motor für die Ausstellung "CHREMISIA '95 - 1000 Jahre Krems" im Millenniumsjahr der Stadt Krems, konnte aber die Ausstellung selbst leider nicht mehr miterleben. Seit 2022 ist Herr Dr. Ralph Theuer Obmann des BSV Krems.

Nach einigen ruhigeren Jahren, in denen immer wieder Werbeschauen zu verschiedenen Anlässen ausgerichtet wurden, war der Verein im Jahr 2007 anlässlich seines 50jährigen Bestehens Ausrichter des Philatelistischen Salons im Rang II und III - “KREMSBRIA 2007 - Auf dem Weg zur WIPA 08” (Wiener Internationale Postwertzeichenausstellung). Diese Ausstellung war gleichzeitig ein Novum in Österreich. Unter der Leitung des Organisationskomitees der WIPA richteten erstmals 4 Vereine gemeinsam (BSV Krems, BSV Langenlois, ABSV Herzogenburg und ARGE Postgeschichte Niederösterreich) eine Briefmarkenausstellung aus.

Der BSV Krems ist heute ein fachlich wohlfundierter Verein. Er besitzt eine umfangreiche Vereinsbibliothek, Prüfgeräte und Fachzeitschriften. Bei den monatlichen Tauschzusammenkünften am 1. Sonntag im Monat werden den Mitgliedern Briefmarkenabonnements, philatelistische Belege und Rundsendungen vermittelt. 
Einige Vereinsmitglieder beteiligen sich seit Jahren an in- und ausländischen Großausstellungen und konnten mit ihren Sammlungen Gold-, Vermail- und Silbermedaillen erringen.