Nazwa miejscowości pochodzi od tego kamienia, któremu pogańscy Prusowie óddawali cześć. Stare legendy mówią, że został on rzucony z mierzei przez olbrzyma. W czasach historycznych kamień ten był granicą Warmii.
Interesujący jest też spacer na zachód, do Kadyn (około 3 km). Kadyny, to osada i duży majątek rolny. W XV wieku majątek należał do wojewody malborskiego Jana Barzyń-skiegó, organizatora Związku Pruskiego. Związek miał za zadanie wywalczyć przyłączenie tych ziem do Polski. W 1605 r. Barzyńscy sprzedali dobra Elblągowi. W czasach późniejszych stanowiły one własność cesarzy niemieckich. Wilhelm II urządził tu w 1898 r. swoją letnią rezydencję i przebudował obszerny pałac, położony w pięknym parku bukowym. Po ostatniej wojnie dobra ziemskie Rząd Polski Ludowej oddał Szkole Głównej Gospodarstwa Wiejskiego w Warszawie, jako majątek doświadczalny. Ostatnio w majątku stworzono specjalnego typu Państwowe Gospodarstwo Rolne. Istnieje tu stadnina, której zadaniem jest wyhodowanie specjalnej rasy konia przystosowanego do pracy na roli w tutejszych warunkach klimatycznych. SGGW ograniczyło swą działalność wyłącznie do lasów, gdzie prowadzi szkółki doświadczalne. Pałac wykorzystywany był dotychczas jako ośrodek szkoleniowy. Obecnie istnieje projekt zorganizowania w nim wczasów.
Przed majątkiem, przy drodze, stoi ciekawy pomnik przyrody Dąb Barzyńskiego. Dąb liczy około tysiąca lat. W jego ogromnym, wydrążonym pniu może się zmieścić kilkadziesiąt osób. Dąb zasadzono za czasów panowania Mieszka I, lub jeszcze wcześniej.
Wyjątkowo piękny jest spacer drogą obok dębu w kierunku Elbląga. Droga biegnie pięknymi serpentynami wśród malowniczych, porośniętych lasami wzgórz Szwajcarii Tolkmicko-Elbląskiej.
W Kadynach można obejrzeć niewielki port rybacki, bro-war, cegielnię.