Shiba inu jest najprawdopodobniej najstarszą i najbardziej pierwotną rasą wśród sześciu innych, zwanych Nippon- inu.

Spośród nich akita jest największy a shiba najmniejszy.

Podobnie, jak reszta ras japońskich, również shiba był hodowany dla celów łowieckich.

Pochodzenie nazwy rasy do dziś nie jest jasne i może pochodzić od słowa "shiba", które oznacza las pełen krzaków, albo może pochodzić z dialektu nagańskiego i oznaczać "mały" (shibaguri- mały orzech), albo może odnosić się do złotego zabarwienia krzewów i poszycia leśnego.

Mimo niewielkiego wzrostu shiby- nie używano go tylko do polowań na drobną zwierzynę. Jego niezwykłą dzielność, bystrość, odwagę oraz ruchliwość wykorzystywano także do polowań na całkiem grubego zwierza- jak dzik, jeleń, czy niedźwiedź.