虽然中国和印度都是手相学的起源地，但是从历史的记载来看，印度手相学的历史更早于中国，印度古文书中的手相学遗籍，现在还存在印度婆门教徒上，珍藏于各寺院之中，是印度的国宝之一，全书有百余幅图解，一一解释手纹和手印，由此可见，数千年之前的古印度就已经有了手相术的根苗了。

至于中国的手相学是在周王朝时代就已经萌芽了，不过，初期的手相术是由先期兆占启发而来的，手相是古人预兆自己吉凶的符号之一用手相来占测吉凶的技术，在经验的累积过程中巧妙地进行了哲学思相里，也逐步理论化和修理化，我国现存的第一部医学著作《黄帝内经》里面就有很多关于手相测病的记载，以现有的资料查证，王充《论衡》所记载的内骨骼篇应该是我国最早一篇关于相学的专著，而北宋初年安徽人陈搏集诸家之大成的《麻衣神相》，则是目前中国手相学的源头活水。

手相学从印度传到米索布达米亚，之后又传到中东，当时的以色列国王非常相信手相学，对手相学的也相当有研究，从来又传到埃及，希腊和罗马，到十九世纪时，欧洲已经是手相学的中心地了。日本的手相学则是在平安时代传到日本，但在江户时代末期才正式普通化，并成为许多失业武士闲谈的话题，虽然日本研究手相学的历史不长，但已经有世界水平。