Il naquit à Osaka, fils aîné de Takahashi Yoshitoki, futur astronome du shogunat. Son nom d'enfance était Sakusuke. Son père était un savant voué à l'élaboration du calendrier selon l'astronomie occidentale, et son frère cadet Kagesuke devint lui aussi astronome comme héritier des Shibukawa. Il grandit entouré d'étoiles et de calculs.
Il rejoignit à Edo son père, appelé comme astronome du shogunat. Auprès de lui, il étudia l'astronomie, le calendrier et l'arpentage, et suivit aussi les études chinoises au Shōheikō, l'académie du shogunat. Parmi les élèves de son père figurait Inō Tadataka, si bien que Kageyasu vit très tôt de près le monde de l'arpentage.
Son père Yoshitoki mourut et, encore adolescent, il lui succéda comme astronome du shogunat (tenmonkata). Jeune et inexpérimenté, il fut placé sous la tutelle de l'astronome Hazama Shigetomi, ami de son père, qui lui enseigna maintes branches de l'astronomie. Il travailla à l'observation des astres, au calendrier et à la traduction d'ouvrages.
Le shogunat lui commanda une carte du monde. Il rassembla des livres hollandais, mais ses connaissances en géographie et en néerlandais étant encore limitées, il fit venir à Edo l'interprète de néerlandais de Nagasaki Baba Sajūrō. En comparant cartes occidentales et livres chinois, il s'efforça de représenter le monde avec exactitude.
En s'appuyant sur des cartes occidentales, des livres chinois et le rapport de Mamiya Rinzō sur son exploration de Sakhaline, il écrivit une étude de la géographie du Nord. Des cartes d'essai réalisées en chemin furent gravées sur cuivre par Aōdō Denzen et seraient les premières cartes sur cuivre du Japon.
Avec l'aide de Hazama Shigetomi et d'autres, il acheva une nouvelle carte du monde. Ajoutant aux meilleures cartes occidentales les résultats de l'exploration de Sakhaline par Mamiya Rinzō, elle était à la pointe de son temps, et sa précision la fit utiliser jusqu'au début de Meiji. Vers la même époque, il traduisit aussi une lettre d'État russe écrite en mandchou.
Il prit la tête du bureau de traduction des livres barbares, créé par le shogunat pour traduire les ouvrages occidentaux, et commença à traduire en japonais une encyclopédie française à partir de sa version hollandaise. Ce bureau, qui réunissait des savants des études hollandaises comme Ōtsuki Gentaku et Baba Sajūrō, devint plus tard le centre des études occidentales du shogunat.
Il devint bibliothécaire du shogunat et chef des astronomes, prenant aussi en charge la bibliothèque shogunale. Il poursuivit l'étude du mandchou et écrivit plusieurs livres. Il prépara en outre la traduction en néerlandais et la publication de documents afin de corriger les erreurs d'un récit sur le Japon paru en Russie.
Comme astronome du shogunat, il avait supervisé et soutenu l'arpentage national d'Inō Tadataka. Après la mort de Tadataka, il garda le décès secret et poursuivit le travail avec ses élèves, achevant la grande carte côtière du Japon, qui traçait fidèlement les côtes de tout le pays, et la remit au shogunat. Il réalisait ainsi le projet de son père et de Tadataka.
Il rencontra le médecin allemand Siebold, venu à Edo avec le chef du comptoir hollandais, et ils se lièrent. Kageyasu désirait de nouveaux livres et cartes de géographie occidentaux et aurait remis en échange à Siebold des cartes du Japon dont la sortie du pays était interdite.
Des cartes du Japon interdites et d'autres objets furent découverts dans les bagages de Siebold, qui s'apprêtait à rentrer, déclenchant l'affaire Siebold. On découvrit que Kageyasu lui avait remis les cartes ; il fut arrêté et emprisonné. Beaucoup d'autres personnes furent aussi interrogées.
Pendant que l'enquête se poursuivait, il tomba malade en prison et mourut vers quarante-cinq ans. Même après sa mort, il fut formellement condamné et durement puni. Fin triste pour un savant qui avait laissé de grandes œuvres, comme la carte du monde et la carte d'Inō. Sa tombe, à Ueno, se trouve à côté de celles de son père Yoshitoki et d'Inō Tadataka.
Inō TadatakaŌtsuki GentakuTakahashi YoshitokiMamiya RinzōPhilipp Franz von Siebold
Mamiya RinzōRai San'yōHirose TansoAizawa SeishisaiNinomiya SontokuŌshio HeihachirōWatanabe KazanTōyama Kagemoto
Personnages de la période Edo ・ Personnages par période
Fondé sur des faits attestés par les manuels et les biographies. Les points incertains sont signalés.