Szarvaskő Egertől 11 km-re, Szilvásváradtól 17 km távolságra, a Bükk nyugati pereme alatt elterülő völgykatlanban, az Eger patak mentén fekszik. A település kivételes szépségét fekvésének köszönheti.

A falun észak felé áthaladva, a patak, az országút, a vasút és a hegyek egészen közel kerülnek egymáshoz és egy festői sziklaszurdokban haladnak tovább. A sziklaszoros keleti oldalán található a várhegy, a nyugati oldalán pedig a meredek, párnaláva sziklákkal kialakult Keselyű-hegy, amely oly mértékben összeszűkíti a völgyet, hogy az országút és a patak, egy függőlegesen levágott sziklafal alatt, az Eger-Putnoki vasút pedig két hídon és két alagúton tud áttörni észak felé, a Felvidék irányába.