Robots.txt wat is het en waarom is het belangrijk?
Robots.txt wat is het en waarom is het belangrijk? Het robots.txt bestand, ondanks dat je er misschien nog nooit van gehoord hebt, bestaat dit fenomeen al sinds 1994. Bedankt door de Nederlander Martijn Koster die het schreef nadat zijn website door een zoekmachine in het kwade daglicht werd gesteld. En dat is ook eigenlijk meteen…