室内でのカビ被害は、結露となる壁面やサッシ周りで顕著に発生します。結露は表面温度が低い部分に過剰な湿気が生じて起こる現象です。自然素材だからカビが生えるのではなく、塩化ビニールのクロスでもカビが生えます。
カビを気にするのであれば、根本的な原因である「室内にある温度差の解消」。すなわち、高断熱高気密を高いレベルでなし得ようと考えるべきです。