Tossa de Mar liegt in einer Bucht zwischen steil zum Mittelmeer abfallenden Felsenklippen ca. 90 km nordöstlich von Barcelona und 85 km südwestlich von Portbou an der französischen Grenze. Tossa wird durch den gleichnamigen Tossa-Fluss (Riera de Tossa) durchflossen, der unterhalb der Stadtmauer ins Meer mündet. Die Vegetation ist von Korkeichen-, Pinien- und Kiefern-Wäldern inmitten des zerklüfteten Küstengebirges (Massís de l’Ardenya) geprägt. Zwischen den Kaps liegen kleine Strandbuchten, von denen zwei mit der Blauen Flagge ausgezeichnet wurden. Das größte Naturschutzgebiet weiter im Binnenland ist der Nationalpark in den Gavarres-Bergen, der zu den am 14. Dezember 1992 durch die katalanische Regierung gesetzlich ausgewiesenen Pla d’Espais d’Interès Natural-Arealen zählt.
Drei Sandstrände und eine attraktive Uferpromenade prägen den Badetourismus im Ort. Die nördliche Platja de la Mar Menuda in einer nur 180 m langen Bucht ist grobkörnig-kieselig und wird von Felsen begrenzt. Auf Grund seiner Legende San Ramón de Penyafort ist dieser Strand, der auch ein Paradies für Taucher ist, in ganz Spanien bekannt. Der Stadtstrand – Platja Gran, 400 m lang und 50 m breit – ist ebenfalls grobsandig, jedoch sehr beliebt wegen seiner unmittelbaren Nähe zu Altstadt und Festung und zahlreichen Cafés und Restaurants auf der Flaniermeile zum Touristenhafen, an dem mehrmals täglich Ausflugsboote anlanden. Ein kleiner vom Wind geschützter Strand südlich der Festung (90 m, Platja del Codolar) liegt ruhig unterhalb des historischen Stadtkerns. Darüber hinaus gibt es im Gemeindegebiet von Tossa de Mar elf weitere Strände und Badebuchten.
Die touristische Infrastruktur ist durch kleinere und mittlere Hotels, Pensionen, Ferienappartements und Campingplätze geprägt. Die meisten gastronomischen Betriebe befinden sich an der Promenade, einige jedoch auch in den steilen Gassen der Altstadt und innerhalb der Stadtmauern.
Exkursionen mit Glasboden-Booten sowie Schiffsexkursionen entlang der zerklüfteten Küste nordöstlich nach Sant Feliu de Guíxols und weiter nach Palamós oder südwestlich nach Blanes sind im Angebot.
In Tossa de Mar beginnt auch eine ca. 13 km lange Panoramastraße nordöstlich nach Sant Feliu de Guixols durch eine zerklüftete Felslandschaft inmitten von Steineichen- und Pinienwäldern hoch oberhalb kleiner Sandbuchten mit Ferien-Appartementsiedlungen und Campingplätzen. Die Straße verläuft in Haarnadelkurven dicht am Klippenrand entlang; mehrere Parkbuchten bieten Aussichtspunkte (Miradores) auf die bizarre Landschaft, die Ferran Agulló mutmaßlich im Sinne hatte, als er 1908 dem 220 km langen Mittelmeer-Küstenabschnitt zwischen der französischen Grenze und Barcelona den Namen Costa Brava verlieh. Eine Reihe von kleinen Buchten mit Stränden und kleinen Siedlungen von Ferienhäusern, die zum Gemeindegebiet von Tossa gehören, finden sich an diesem Küstenabschnitt und sind von der Küstenstraße aus erreichbar. Auch südlich der Stadt befinden sich eine Reihe kleiner Strände.