Džamiju je sagradio 1572. godine Ibrahim-paša, sin Skender-bega, Hercegovačkog subaše kasnije paše i Sandžak bega. Džamija je sagradjena za potrebe obavljanja verskih obreda vojne posade čiji je komandant bio Ibrahim-paša.

Posada je obezbedjivala most na Limu i putni pravac iz Prijepolja prema Pljevljima. Sagradili su je inženjeri koji su gradili i održavali most na Limu.

Oko džamije se ubrzo formirala mahala u prvo vreme zvana Ibrahim-pašina mahala, a kasnije Gornji Vakuf.

U blizini džamije a pored kamenog zida je mezar Ibrahim-paše i njegove sestre Kajdafe.

Na prednjem nišanu mezara Ibrahim-paše ima ispisano šehade i uklesana sablja. Završava se tradicionalnim pašinskim kaukom, visok je 1,80 m. Nema drugih natpisa. Do pašinog je izuzetno raskošan mermerni prednji nišan njegove sestre Kajdafe.