Ыбырайдың атасы Балқожа би Жаңбыршыұлының Қосжан мен Алтынсары атты екі ұлы болған. Ыбырай – Алтынсарының жалғыз баласы, ал оның ағасы Қосжанда үш ұлы болған: Оспан, Омар және Нұғман.                                                                                                                                               Патшалық үкімет Балқожа би Жаңбыршыұлының қызметі үшін оны «Ынталылығы үшін» атты алтын медальмен, бағалы сыйлықтармен, қос ауыз мылтықпен және екі иесі жазулы алтыатармен марапаттаған. Балқожа би Кенесары Қасымұлы бастаған ұлт-азаттық көтерілісін басуына ат салысқан.                                                                                                                                 Балқожа би Кенесары бастаған қозғалысты жақтамаған. Бір жолы Балқожа биге Кенесарының тапсырмасымен хат алып шабарман келген. Хатта Кенесары хан Балқожа биден қосымша күш талап еткен. Балқожаның жауабы ұзақ болмады: «Мен ақ патшаға ант бердім, оны мен бұза алмаймын». Екінші мәрте Кенесары биге хабаршыны осындай сөзбен жіберген: «Балқожа бидің жылқысы Кертандақ менің ер-тоқымыма лайық. Сондай жүйрік атты бүкіл далада таба алмайсың, оны маған берсін». Балқожа би: «Кенесары ханның атасы Абылай тірілседе өз жылқымды бермеймін»,-депті.                                                                                                                  Ыбырайдың шешесі Айман арғын тайпасының Шеген бидің қызы. Ал Ыбырайдың әкесі Алтынсары Балқожаұлы орта жүздің қыпшақ руынан тараған, Ыбырайдың жасы үште болған кезде қаза тапқан.                                                                                                            Алтынсары Балқожаұлы 1844 жылы Кенесары Қасымұлының көтерілісшілерінің қолынан қазақ тапты. 3-жасар Ыбырайды атасының айнымас досы Жетібай Өтемісұлы құтқарып қалды.               1841 жылы 7 маусым күні Орынбор шекаралық комиссия төрағасы, генерал-майор Генске арналған хатта 1825 – 1840 жылдар аралығындағы Сібірлік мекемелік жазалайтын әскери жорық туралы Кенесары мен Құшақ  былай жызған: «Мен Орынбор жаққа көшіп келгенімнің себебі мемлекет патшалығынан қамқорлықпен пана сұрап, сонымен бірге көрген қиыншылықтарымды Орынбор басшылығына жеткізу. Мен Балқожа би Жаңбыршыұлының алтыбаш бөлімшесінің талап тонағанымды жасырмаймын – бұл оның істері үшін менің кек алуым».                                     Қазақтың ұлы ағартушысы Ыбырай Алтынсариннің әкесі Алтынсары қаза болғаннан кейін шешесі әмеңгерлік дәстүр бойынша марқұмның бауырына, Қосжанға тұрмысқа шықты. Ақын Мариям Хакімжанқызы мен ғалым Шабден Балқожаұлы Қосжан мен Ыбырай Алтынсариннің шешесі Айман Шегенқызының ұрпақтары.                                                                                               Ыбырай өзінің атасының, Орта жүзге әйгілі Балқожа би Жаңбыршыұлының үйінде өсіп, тәрбие алған. Оның дәуірлесі, шартты кеңесші Осмоловский И. Я. Балқожа би туралы: «Ешқандай білім алмағанына қарамастан өте ақылды, тапқыш, терең ойлы, қырғыздың салт-дәстүрін өте жақсы білетін адам. Ол Орданың шығыс бөлімінің ең ақылды билерінің бірі болып саналды. Сондықтан оның ықпалы көп, оны қырғыздар үлкен құрмет тұтады. Оның үкіметке шын берілгендігі Орынбор мен Сібір мекемелелірінің арасындағы бітім жасағанынан ғана көрінеді – ол екі жақтың даулары мен келіспеушілікті көріп бірінші болып өзінің жиырма мыңдық талапынан бас тартып, бітімді жылдамдатты».                                                              1844 жылы Орынбор қаласында қазақ балаларынан бітікші мен аудармашы мамандарын дайындайтын арнайы мектеп ашылды. Ыбырай Алтынсарыұлының атасы Балқожа Жаңбыршыұлы (сол уақытта Шекара комиссиясының әскери старшина болып тағайындалды) 1846 жылы 5 наурызда Шекара комиссиясының төрағасы, генерал-майор М. В. Ладыженскийден 9 жасар Ыбырайды сол мектепке орналастыруына көмек сұрап, өтініш хат жіберді. Өтініш қанағаттандырылды.                                                                                                                                  1850 жылы 21-23 шілдеден ерте емес той жасап, ерке немере мен мұрагерге  батасын беріп Балқожа би өзінің айнымас досын Жетібай Өтемісұлының немересіне серік қосып Орынборға жіберді. Ыбыраймен бірге Орынборға тағы да 10 бала барған: Жұмағұл Жанбайұлы, Момын Байдосұлы, Жақып Аманкелдіұлы, Едіге Айтүкеұлы, Жалмұхаммед Байжанұлы, Нұрым Мұңсызбайұлы, Сегізбай Ақсаратұлы, Күлжан Қаржасұлы, Құдабай Көпбергенұлы, Шамұрат Күшербайұлы.                                                                                                                                             Ыбырай жақсы көрген қыздың аты Айман болған. Ол сұлу әрі ақылды қыз еді. Уақыт үйлену тойына жақындағанда Айман Тобыл өзеніне батып кетті. Ыбырайды қайғы басты. Оған Айманның кіші сіңлісі 16 жасар Айғанысты алуға кеңес берген. 27 жасында ол Айғанысты тұрмысқа алады.                                                                                                                                        Орынборда Ыбырай 1859-1861 жылы облыс билігінің аудармашысы, шығыстанушы, миссионер-ағартушысы Н. И. Ильминскиймен танысқан. Ильминский Алтынсариннің көмегімен қазақ тілін дамытып, Казань университетінің профессоры болған кезде Ыбырайдың өзімен және де басқа адресаттарымен өзара жазысқан хат-хабарларды жинап «Ыбырай туралы естеліктер» атты кітабын Казань қаласында 1891 жылы шығарған.                                                                                   Ыбырай жаппай мектеп ашу бастамасын өз қолына алғанда  облыс губернаторы генерал Проценко оны жауапқа тартып сотқа берген. Ыбырайдың жағдайын құтқарған жағдай ол – Проценконың лауазымы өзгергені.                                                                                                           Шығармаларында Ыбырай тәрбиелік мәнге үлкен мән берген. Әйгілі «Қыпшақ Сейітқұл» әңгімесінде Ыбырай қазақтың өміріндегі өзгерістерді мақұлдаған, егін шаруашылықтағы қазақтарды қолдаған. «Таланттың пайдасы» және «Байлық неде?» шығармаларында Ыбырай адамның өмірі мен қазақ елдің жарқын болашағы туралы арманын бейнелеген.                                Өлімінің алдында Ыбырай штаттық кеңесші атағына иеленген. Бұл атақ сол уақыттағы инфантериялық генерал-майор атағына сәйкес келген.                                                                         Ыбырай ауыр жарақаттан дүние салғаннан кейін Троицк гимназиясының оқушысы Ахмедбек Балқожаұлы жазған Н. И. Ильминскийге арналған хатта былай жазылған: «Сізді Торғай облысының қырғыз мектебінің инспекторы Алтынсарин 1889 жылы 17 шілдеде дүние салғанын хабарлаймын. Ол бүкіл жаз бойы ауырған, оның ауруы – жүрек ақауы. Дүние салғанға дейін ол үш күн бойы іс-қимылсыз жатқан. Жанұясы қалды: 2 қызымен екі баласы. Үлкен ұлы – 9 жаста, кішісі – 2 жаста. Мен оның немере інісімін, Троицк гимназиясының үшінші сынып оқушысымын. Гимназияға Ыбырай ағамның көмегімен бардым».                Ыбырай 48 жасында дүниеден өтті. Айғаныс одан 30 жылдан артық өмір сүрді. Мұхтар Әуезов мәліметтеріне сенсек, ол ашаршылықтан бұрын 1921 жылы дүние салды, ал Ыбырайдың немересі Нағимаға сенсек – 1924 жылы деп көрсетілген.                                                                       Ақын Мариям Хакімжанқызы мәліметтері бойынша Ыбырайдың шешесі Аймен Шекті Арғын руынан болған, сонымен қатар ол Абылай хан дәуіріндегі әйгілі Жәнібек батырдың ұрпағы болып келеді.                                                                                                                                                          1952 жылы Жоңғар Алатаудың солтүстік тау бөктеріндегі көшпе мұз  Ыбырайдың атымен аталады. 1950-1952 жылы көшпе мұз Қазақстан Ғылым Академиясының экспедиция секторымен зерттелді.                                                                                                                                                    Ыбырай жасаған мектеп оқулығы жүйесінде басты орынды мұғалімнің тұлғасы мен моральдық тұрпаты алады. Ол мұғалімділік «қызмет емес, Құдайдың берген бейімділігі. Заманның барлық уақыттарында мұғалімдер алба-жұлба жүрген. Өзіне еш нәрсе сұрамай, жарқырап отырған отыңды басқаға беру үшін рухың биік болуы қажет» деген екен.