Vytautas Rimavičius gimė 1942 m. gruodžio 24 d. Lazdijų rajone, Šeštokuose. Baigė Lietuvos konservatorijos Klaipėdos fakultetą – kultūros ir švietimo darbo organizavimą. Yra dirbęs kultūros darbuotoju ir mokytoju įvairiose Lietuvos vietose. Nuo 1967 m. dirbo Gargždų kultūros namuose, ilgus metus jiems vadovavo. Dirbo neskaičiuodamas valandų, nes darbas ir kultūrinis Gargždų miesto gyvenimas buvo jo gyvenimo esmė. Populiarindamas teatrinį meną ne tik sukūrė, bet ir pastatė ne vieną spektaklį Klaipėdos rajono mokyklose, Gargždų kultūros centre ir kitose miesto įstaigose.

Jis buvo žinomas literatas, išleidęs ne vieną savo kūrybos knygą. Jam suteiktas Lietuvos nusipelniusio kultūros darbuotojo vardas, o už Mažosios Lietuvos kultūros puoselėjimą Vytautas Rimavičius 1997 m. tapo Ievos Simonaitytės premijos laureatu.

Begalinė Vytauto Rimavičiaus meilė Klaipėdos kraštui, Gargždams. 1968 m. sukūrė dainą „Gargždai – mano miestas“, kuri tapo neoficialiu miesto himnu. Dar vėliau su įvairiais to meto kompozitoriais sukūrė dar keliasdešimt kitų dainų.

Vytautas ypač brangino turėtus ryšius su Klaipėdos krašto didžiąja metraštininke Ieva Simonaityte. Iki 1967-ųjų, rašytojai dar gyvai esant, buvo tarsi tiltas tarp jos ir prie „Bangos“ laikraščio veikusio literatų būrelio. Išleido devynias dokumentines prisiminimų knygas apie Ievą Simonaitytę. Rašytoja Vytautą Rimavičių buvo įvardijusi savo penktuoju sūnumi, nes vertino jo kūrybą ir talentą.  

Išleido šias knygas: „Negęstanti mano meilė“ (1990), „Ievos Simonaitytės penktojo sūnaus prisiminimai“ (1992), „Gyvenime, būk geras visiems“ (1996) ir dar daugybę kitų. Parašė pjeses „Mes tikime meile“, „Girgždutė“, „Skinija“, „Žvelsa“, periodikoje ir almanachuose paskelbė eilėraščių, apsakymų. Buvo ne vienos literatūrinės – respublikinės ir rajoninės – šventės iniciatorius, įvairių švenčių Klaipėdos rajone sumanytojas bei organizatorius.

Gargždų miesto Garbės piliečio vardas Vytautui Rimavičiui už Lietuvos kultūros puoselėjimą suteiktas 2010 m.