Chuyện kể rằng khi Trưởng giả Tu đạt ( Ngài Cấp Cô Độc ) tìm đất để cất tịnh xá, ông đã nhìn thấy một khu vườn có đất đai bằng phẳng cây cối tươi tốt, và khi hỏi thăm chủ nhân của khu vườn này thì ông biết đó là Lâm viên Kỳ Thọ của Thái tử Kỳ-đà, con vua Ba-tư-nặc. Trưởng giả Tu-đạt muốn mua lại vùng đất này (ước tính khoảng 100 mẫu) để xây dựng Tịnh xá cúng dường Đức Phật và Tăng đoàn. Thái tử ra điều kiện, nếu Tu-đạt có thể đem vàng ròng rải khắp mặt đất Lâm viên thì thái tử sẽ bán cho. Tu-đạt y lời, đem vàng trải khắp Lâm viên khiến cho thái tử Kỳ-đà cảm nhận được thành tâm của ông, nên thái tử đã phát tâm cúng dường toàn bộ cây trong Lâm viên để cả hai người cùng kiến tạo Tịnh xá. Vì lý do này mà Tịnh xá có tên là Kỳ Thọ Cấp Cô Độc Viên.
Đây là nơi Đức Phật lưu trú lâu nhất phần lớn kinh điển Phật Giáo đã được thuyết giảng tại đây, trong đó có kinh A Di Đà một bản Kinh rất phổ biến được truyền tụng ở nhiều quốc gia Phật giáo. Đặc biệt, Đức Thế Tôn đã bảo Ngài Anan qua Bồ Đề Đạo Tràng xin giống cây Bồ Đề để trồng tại tịnh xá Kỳ Viên, là biểu tượng mỗi khi Đức Thế Tôn đi Hoằng Pháp để cho Tứ Chúng đảnh lễ.