这种行为属于犯罪。

根据《最高人民法院关于对为索取法律不予保护的债务，非法拘禁他人行为如何定罪问题的解释》规定，行为人为索取高利贷、赌债等法律不予保护的债务，非法扣押、拘禁他人的，依照《刑法》非法拘禁罪的规定定罪处罚。

 

根据《中华人民共和国刑法》第238条规定，非法拘禁他人或者以其他方法非法剥夺他人人身自由的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。

 

您虽然没有对孩子进行辱骂，殴打等，但是您为了赌债非法剥夺了孩子的自由，已经犯了非法拘禁罪。希望您能早日让孩子回家，并去有关司法机关自首，争取减刑。