Inuyashát kiközösítették a szellemek és az emberek egyaránt. Sőt, megvetették mássága miatt. Mint minden félszellemnél, őt se fogadták be se az emberek, se a szellemek közé, így nem találhatta meg a helyét. Az emlékeit megismerhetjük az anime által:
Inuyasha labdázni szeretne néhány emberrel, de labdát eldobják előle jó messzire, és kinevetik. Amolyan gúnyos nevetés, le is "korcs"ozzák. A kis Inuyasha nem tudja mit jelent ez a szó, így odamegy az anyukájához a labdával együtt. Megkérdezi, mire édesanyja először életében (legalábbis Inu előtt) elkezd sírni. Szorosan megöleli a fiát.
Inuyasha talán ezért nem bírja az embereket, mindenkiben a rosszat látja.. a szellemekről ugyebár nem is beszélve. Ez lehet az oka annak, hogy össze akarja gyűjteni az ékkő minden darabját, hogy ő legyen a legerősebb félszellem, végül átváltozzon démonná..