1932年，在我国吉林省的集安县西冈，首先发现了公元3世纪—5世纪时的高句丽古墓群，在其舞蹈奏乐壁画中绘有玄琴图像。1944年，在辽宁省辽阳市西北郊，又发现了东汉后期的安岳古坟，在第三号慕容氏墓(公元357年)壁画的奏乐宴游图中也绘有玄琴。可见其历史之悠久。

公元前37年至公元668年，在我国东北地区南部，有着一个由夫余人建立的东北古国高句丽。其时正值中国西汉末年至唐代初期。玄琴起源于卧箜篌，是高句丽的主要弹弦乐器之一。《隋书·东夷传》高丽条载其乐器有：“乐有五弦琴、筝、筚篥、横吹、箫、鼓之属。”而在唐代杜祐《通典》(卷一四六)“四方乐”条中的高丽乐，则写有卧箜篌(当时也张五弦)。依此说来，五弦琴是最早见于史籍的高句丽特有乐器玄琴。朝鲜半岛《三国史记·乐志》述其起源较详：“玄琴，象中国乐部 琴而为之。……《新罗古记》云：初，晋人以七弦琴送高句丽，丽人虽知其为乐器，而不知其声音及鼓之之法，购国人能识其音而鼓之者，厚赏。时第二相王山岳，存其木样，颇改易法制而造之，兼制一百余曲以奏之，于是玄鹤(黑鹤)来舞，遂名玄鹤琴，后但云玄琴。”文中所述因玄鹤来舞而名玄琴，概为传说所致，而玄琴是依琴改制之说，可能是称呼上的误解，也可能高句丽之时，尚不知有卧箜篌的存在，故出现玄琴源于七弦琴之误。 形制独特的玄琴，外形既似古琴，又像古筝。共鸣箱呈扁长方匣形，全长167厘米。

琴框和底板均用栗木制作，其上蒙以桐木拱形面板而成(图)。琴首一端开有穿弦的弦孔和架弦的岳山，底板上开有三个长方形出音孔。面板上张有六条丝弦，在中间的第三、四、五弦下面，共同支有16个固定不动的琴马(又称棵)，近琴首处的琴马较矮，依次渐高。而在两旁的第一、二、六弦下面，则分别支有一个与筝柱相似的可移动琴柱(又称歧棵)。古墓壁画中所绘之玄琴，四弦，只设有14棵，无歧棵，弹弦拨片可见，当为玄琴之最初形式。