五彩石的位置位于内蒙古巴音戈壁滩，它曾经是一个湖，在 1970 年代和 1980 年代逐渐枯竭。 这时当地牧民也发现，干涸的湖底及周边布满了大大小小的石头。石头形状各异，大小不一，在阳光下五彩斑斓，美得耀眼夺目。 人类非常喜欢美丽的事物，自然而然地被这些“彩石”所吸引。 一个发现这个地方的牧民把捡到的五颜六色的石头拿来与家人和朋友分享。
于是越来越多的当地人知道了这片色彩斑斓的石头土地，人们纷纷来到这里寻找美丽的石头来收集和玩耍。 这时候，人们只会觉得这些石头好看。此外这个原本干涸的湖也被称为仙女湖，因此人们开始猜测，这些散落的石头可能与传说中的仙女有关。 他们认为仙女们下地时被这个湖的景色所吸引，所以忘记了返回天堂的时间。当他们发现为时已晚时，他们惊慌失措地将随身携带的珍贵珠宝丢到了湖底。
虽然传说认为这些五颜六色的石头很有价值，但当地的牧民对这些石头没有具体的了解，他们只是认为它们很漂亮。 直到彩石的故事传到一些珠宝商和珍奇宝石收藏家的耳中，他们直观地告诉他们，这些彩石很可能不是普通的石头，所以他们在几经周折后才找到彩石的位置。刚到戈壁滩，就看到一片面积约六平方公里的地方，铺满了五颜六色的石头，让他们兴奋不已。 当他们拿起其中一块石头仔细观察时，他们的喜悦之情无法掩饰。 原来这些五彩缤纷的石头，其实是玛瑙石，而玛瑙石常用于首饰的制作和收藏，价值不菲。
这也是为什么那么多人争先恐后在湖底翻找的原因，当地的游牧民族怎么知道这片干涸的湖水里的“五彩石”，居然是名贵的玛瑙。 直到他们看到这些商人从湖底随意捡起并大量运来五颜六色的石头，他们才意识到这些石头可能价值更高，于是也加入了寻找玛瑙石的队伍。
