Theo người dân trong vùng thì không ai biết chính xác Đá Voi có từ bao giờ. Họ chỉ được nghe tổ tiên từ đời trước truyền lại rằng hai hòn đá này bỗng dưng không còn ở vị trí mà người ta đã từng nhìn thấy trước đây và cho đến bây giờ vẫn chưa có lời giải thích cho sự dịch chuyển kì lạ đó. Theo như lời kể thì đá Voi Mẹ sau nhiều lần dịch chuyển đã tiến về sát chân núi. Còn đá Voi Cha ban đầu ở phía Bắc, hướng mặt ra hồ Lắk nhưng chỉ sau một đêm, người ta đã nhìn thấy nó nằm giữa một cánh đồng lúa mênh mông, cạnh đó vẫn còn hai mương nước dài được cho là đường đi của hòn đá. Người ta tin rằng hai hòn đá này dịch chuyển để tiến lại gần nhau.
Ảnh: daktip.vn.
Người dân trong vùng còn tin rằng hòn đá voi có khả năng chuyển mình từ thể lỏng sang thể rắn. Chuyện kể lại rằng thời xa xưa, lúc mới đầu đá rất mềm, như một bãi bùn được đùn lên từ mặt đất. Mọi người tò mò kéo đến, leo lên thân mình đá chạy nhảy chơi đùa. Sau đó, vào một ngày bỗng dưng đá cứng lại và trong lần chuyển mình từ thể lỏng sang thể rắn đó hòn đá Voi Cha đã cuốn theo một cô gái trẻ đẹp.
Cô gái ấy là con gái một nha phú ông thuộc hàng giàu có trong vùng, vào một ngày hai chị em cô cùng nhau leo lên hòn đá chơi đùa thì đúng lúc hòn đá cứng lại. Hai chân cô chị bị lún sâu vào đá, càng kéo càng bị lún chìm vào, dân làng đã huy động nhiều sức lực đến kéo cô ra nhưng cuối cùng sau 7 ngày đêm thì cô gái 17 tuổi sinh đẹp của làng đã bị nuốt gọn vào đá không để lại dấu vết. Đêm hôm đó người nhà cô đồng loạt chiêm bao thấy cô hiện về báo rằng cô đang sống hạnh phúc cùng với “thần đá Yang Tao”, bảo rằng “thần đá” sẽ phù hộ cho mọi người và mọi người đừng buồn. Từ đó câu chuyện thần Đá Voi bắt vợ cứ mãi huyền ảo gắn với hòn đá Voi Cha và người dân trong vùng từ bao đời nay và người dân tin rằng đá Voi Cha chính là một vị thần bảo vệ cho cuộc sống ấm no, yên lành của dân làng.
