原来，第一商业搜索引擎的目录，如雅虎和银河，正因为如此，在其索引的网站技术网站（大）不是一个真正的问题，除了审美和网站质量的考虑，。然而，调查网站的“机器人”的能力，与引进的主要早期蜘蛛的搜索属性，如Lycos，AltaVista和Inktomi的，成为一个重要的考虑。俗称蜘蛛，机器人，是由一些搜索引擎使用调查网站的内容，然后介绍他们的研究结果的搜索引擎数据库软件件。搜索结果，然后根据算法，数据库方面的某些优先重视排名，订单的网站在搜索引擎结果页面作为这种效应。

不过，也有许多网站编码方面可能存在的障碍，以搜寻引擎机器人。许多机器人编程左右的前几个搜索引擎的时间，所以他们参考HTML在许多方面停留在中后期的1990年。许多人有困难，采取由站长，如框架集，嵌入式表格，图像链接和地图，和JavaScript / DHTML，授予解析的HTML。尽管一些机器人已经演变，则Googlebot（Google使用的机器人）机器人移动时代的一个明显的例子，有许多还没有真正改变在6年左右的时间，他们已经存在。这意味着，一个SEO公司必须有一个充分了解网站的编码可能会出现怎样错综复杂的搜索引擎机器人的障碍，以及如何网站编码可能出现的机会，以提高网站的排名简单的技术变化。

然而，应当记住该网站编码不应该被滥用，以人为抬高等级，作为再次，这将被视为垃圾邮件搜索引擎，并可能导致网站被处罚或禁止那些搜索引擎。

一个复杂，相当狡猾的欺骗搜索引擎的方式是通过使用通常被称为隐形技术。这项技术涉及承认他们的用户代理（浏览器或机器人的名字），或通过其IP地址的网站的访问者。这使您可以提出专门为特定的搜索引擎优化的网页，这意味着每台发动机可以单独优化。原则上，这听起来像相当不错的主意，但它显然是滥用开放，许多搜索引擎结果已被禁止。例如，谷歌，行，什么蜘蛛索引，必须是您网站的用户将看到。在过去的愚弄，以为他们索引的热门网站，如Hotmail或微软，其实他们索引色情网站的机器人，已用于IP和用户代理交付。这显然​​不是在搜索引擎的利益，并很容易地看到了自己的观点。