Pöhlde liegt nördlich des Rotenbergs, einem langgestreckten Höhenzug, der parallel zum Südharzrand verläuft und dessen höchster Punkt 317,3 m hoch ist. Das Dorf befindet sich im Urstromtal der Oder unweit südlich des Harzes. Knapp drei Kilometer südlich von Pöhlde liegt am Ortsrand von Rhumspringe die Rhumequelle, eine der größten Karstquellen in Europa. Die Ortschaft liegt etwa 4 km südlich von Herzberg, 5 km südwestlich von Scharzfeld, 7 km östlich von Gieboldehausen und 4 km nördlich von Rhumspringe. Südlich des Ortsrands von Pöhlde befindet sich König Heinrichs Vogelherd, eine ehemalige Burganlage mit Ringwallresten.
