En raison d'une allergie professionnelle typique, il est devenu sans emploi et, en 1984, il a pris une retraite anticipée et a utilisé son temps pour assister aux réunions du conseil, aux audiences, aux conférences, aux vernissages d'expositions, aux concerts et à d'autres événements. Du matin au soir, il était sur la route, satisfaisant sa soif d'informations. Comme Ernst Kolb est allé partout, il est devenu partie intégrante de la vie culturelle de sa ville et un «Original» localement connu, en particulier parce que son apparence et le sac en plastique plein de cale qu'il a toujours porté, s'intégraient rarement dans l'ambiance plus haut de gamme du réceptions, conférences et vernissages artistiques auxquels il a assisté. Il parlait un dialecte local et aimait beaucoup les boissons et la nourriture qui étaient proposées. En outre, il était constamment à la recherche de menus, de dépliants, d'invitations ou d'articles de papeterie, dont il pouvait utiliser le dos pour ses dessins. En 1985, par hasard, des artistes ont vu ses dessins, qu'il considérait comme des «gribouillis», et ces gens sont devenus ses tuteurs et ont organisé sa première exposition publique, qui a eu un succès assez extraordinaire. Ernst Kolb n'était plus «l'original» que tout le monde connaissait; il était considéré comme un artiste sérieux et obsédé, dont les œuvres ont été exposées plusieurs fois. L'attention d'autres artistes était concentrée sur lui; ils ont fait des photos de lui et des poètes ont écrit sur lui.
Le succès de sa première exposition, où il vend quelques œuvres, le motive et continue de dessiner. On estime qu'il a réalisé au moins 1000 dessins. Dans les années 1986, 87, 88 et 91, il présente ses œuvres dans des expositions locales. En 1991, il a subi un accident vasculaire cérébral dont il ne s'est pas remis correctement. Il n'a plus été vu en public, vivant dans une maison de retraite, où sa dernière exposition a eu lieu en juin 1993, deux semaines avant sa mort le 1er juillet à l'hôpital d'un cancer de l'estomac. Il a été enterré au cimetière principal de Mannheim, où de nombreuses personnes lui ont rendu hommage. Entre-temps, sa tombe a été dissoute et n'existe plus.

En 2000, «Der Mann mit der Plastiktasche - Erinnerungen an den Bürger Kolb» de Rolf Bergmann (ISBN 3-929242-21-4) a été publié en allemand dans Marsilius Verlag, Speyer. Une publication de ses journaux est en préparation. Après sa mort, Ernst Kolb semblait presque oublié. Heureusement que Rolf Bergmann qui avait connu Kolb est devenu responsable de son domaine et a décidé de proposer ses dessins avec des titres extrêmement bien inventés à vendre sur eBay et a attiré les amateurs d'art et la demande pour les œuvres d'un artiste presque oublié. La "Collection de l'Art Brut" à Lausanne prend connaissance de Kolb et acquiert des dessins. Le magazin de l'art étranger "RAWVISION", a présenté Kolb au numéro 79 en août 2013. En novembre 2013, Rolf Bergmanns a publié sa biographie de l'artiste: "Ernst Kolb, boulanger, citoyen, artiste" dans le Wellhöfer Verlag en tant que n ° 1 de publications dédiées aux personnalités de Mannehimer (ISBN 978-3-95428-142-8). Malheureusement, Bergmann est décédé en 2015 et Kolb a perdu son important promoteur. Helas Bergmann ne pouvait pas voir le résultat de ses efforts et de ses activités en faveur de Kolb, lorsque la Collection de L'Art Brut à Lausanne a organisé une exposition en 2018, qui a attribué à Kolb une place parmi les artistes importants de l'Art Brut.