Quan Âm Cổ Tự tọa lạc tại số 84/4 đường Rạch Chùa phường 4 thành phố Cà Mau. Chùa do hòa thượng Tô Quang Xuân dựng và khoảng giữa thế kỷ XIX. Lúc bấy giờ, chùa là một am nhỏ để Ngài tu hành và chữa bệnh cho dân. Sau này Ngài về tu tại chùa Kim Chương (Gia Định) và lấy pháp hiệu là Trí Tâm. Năm 1842 vua Thiệu Trị sắc phong Hòa Thượng cho Ngài và sắc tứ cho Chùa Quan Âm.
Kiến trúc ngày nay của chùa do Hòa Thượng Thiện Tường và Thiện Đức xây dựng vào năm 1936. Trong chùa ngoài “Sắc Tứ Quan Âm Cổ Tự” và tháp Hòa Thượng Trí Tâm còn có một số hiện vật như: tượng phật, tượng Bồ Tát, tượng La Hán, các bức hoành phi, câu đối và nhiều đồ thờ phụng khác như những di vật Phật giáo của thời kỳ khẩn hoang. Mặc dầu không phải là một công trình kiến trúc đồ sộ nhưng đây là một nơi gắn liền với đời sống tâm linh của người dân Cà Mau. Đặc biệt, trong thời kỳ chiến tranh, đây là nơi nuôi dấu các chiến sỹ cách mạng và không ít các nhà sư của Quan Âm cổ tự thành liệt sỹ. Sắc Tứ Quan Âm Cổ Tự được Bộ Văn Hóa Thông Tin công nhân là di tích lịch sử, kiến trúc vào năm 2002.