Assalamu 'alaikum wrwb.
Masalah yang sedang anda hadapi ini, bukanlah masalah yang sederhana, tetapi masalah serius yang harus segera diupayakan untuk deiselesaikan, demi kebaikan bagi rumah tangga anda ke depan
Sebenarnya kalau mau dicari sumber kesalahannya, itu ada pada diri anda yang mengizinkan istri dan anak pergi dengan laki-laki yang bukan muhrimnya, namun hal tersebut sudah berlalu untuk kemudian bisa dijadikan pelajaran agar tidak terulang kembali
Yang anda harus segera lakukan adalah bagaimana anda harus berupaya dengan bantuan keluarga atau yang lainnya mencari istri dan anak untuk diajak kembali ke rumah, agar segera bertaubat dari kekeliruannya, dan kembali membangun keluarga yang baik sesuai dengan tuntunan agama Islam. Bangun komunikasi yang baik dengan istri dan anak, belajar kembali bersama tentang ajaran Islam khususnya perihal rumah tangga Islami
Semoga Allah berkenan untuk senantiasa memberikan kemudahan dan ridho-Nya dan membimbing kita semua ke jalan yang diridhoi-Nya
Wassalamu 'alaikum wrwb.