Kleinosterhausen wird erstmal im Hersfelder Zehntverzeichnis im Jahr 772 als Ansiedlung erwähnt.Damals auch als Cleynosterhausen oder Kleinen Osterhausen erwähnt.Die Bewohner waren Bauern in Abhängigkeit vom Zisternenser Kloster Sittichenbach und die Bauern mußten die Felder des Klosters bearbeiten.Später wurden die Feldbauern als Kossäthen bezeichnet.Nach der Schlacht am Roten Berg um 1535 wurde das Dorf durch die Mannen des Grafen von Mansfeld fast vollständig zerstört und entvölkert.
Um 1700 erfolgte eine neue Landaufteilung ,bei dieser wurden auch verschiedene Mitglieder der Familie Mögling aus Einsdorf mit Land um Kleinosterhausen und Osterhausen bedacht.(Andreas,Gottfried und Christian).Der Ursprung des Zweiges Kleinosterhausen konnte bis 1640 in Einsdorf zurückverfolgt werden. Seit dieser Zeit entwickelte sich die Familie in Kleinosterhausen.Um 1700 konnte man 3 Windmühlen eine Ziegelei und eine Brauerei finden.Im Jahr 1932 erwarb der Bäckermeister Richard Willi Mögling die Gaststätte ,Bäckerei und Kolonialwarenladen am Platz der heutigen Rothenschirmbacher Str.17.
Heute kann der Ort über die Bundesstrasse 180 und die Landstrasse 223 erreicht werden.Die Entfernung von der Autobahnabfahrt Rothenschirmbach von der BAB 38 beträgt 2,5 km.
Am Rande des Ortes fließt der Rainbach,der bei Osterhausen in den Rohnebach mündet.Die Wässer fließen über die Helme,Unstrut,Saale und Elbe in Hamburg in die Nordsee.
Gegenwärtig wohnen ca.105 Einwohner in ca.27 Häusern.Sandsteintafeln deuten auf das Alter von Gebäuden hin.Im Jahr 1996 erfolgte eine Rekonstruktion des Ortsmittelpunktes.(Teich,Bepflanzungen)