Doubek prý každý rok ořezávali, až dostal podobu kříže. Jiná legenda zase vypráví, že u stromu přepadl neznámý muž dívčinu jménem Marie a chtěl ji oloupit. Děvče se nemohlo ubránit, a tak volalo o pomoc Pannu Marii. Muž se lekl a prchl. Dívka jako poděkování za svou záchranu koupila svatý obrázek a pověsila jej na kmen dubu. Od té doby se místu přezdívá "U obrázku“.
