Для того чтобы понять трассу для роботов, достаточно прочитать эту статью.