L'etimologia del suo nome è abbastanza controversa: secondo alcuni deriverebbe dal latino ros “rugiada" e maris “mare" vale a dire "rugiada del mare" secondo altri deriverebbe sempre dal latino ma da rosa “rosa" e maris "mare" cioè "rosa del mare" secondo altri dal latino rhus “arbusto" e maris “mare" cioè "arbusto di mare". In ogni modo, qualunque sia la sua origine, è sempre strettamente legata al mare che lo ricordano anche i suoi delicati e deliziosi fiori colore del mare.
Medici illustri del 1° secolo quali Dioscoride (“De ars medica”), Ippocrate e Galeno già conoscevano le proprietà del rosmarino e lo inserivano nelle loro preparazioni.
Un editto di Carlo Magno dell’anno 812, obbligava addirittura i contadini a coltivare negli orti una pianta di rosmarino, il cui profumo, si diceva, contenesse l’anima della terra stessa. Infatti la terra dove era piantato veniva considerata sacra e molte pozioni medicamentose del tempo contenevano, oltre a fiori e foglie della pianta, anche un pizzico di terra grattata dalle sue radici.
Per il suo odore persistente ha una qualità evocativa intensa: suscita il ricordo dell’amore e veniva usato nella magia amorosa per incantare il cuore, tale fu, a quanto pare, l’effetto che ottenne dal rosmarino l’anziana regina d’Ungheria Elisabetta. Una leggenda del XVI secolo racconta infatti che un angelo le diede la ricetta di un distillato a base di rami di rosmarino, lavanda e maggiorana; questo distillato venne chiamato più tardi “Acqua della REGINA D’UNGHERIA”. Con il suo aiuto la settantaduenne Elisabetta, riuscì a conquistare il Re di Polonia che, innamoratissimo, la prese in moglie.
Anche il tronco e le parti legnose del rosmarino ebbero, per lo meno fino al medioevo, primaria importanza nella realizzazione di strumenti musicali quali mandole e viole.