blog.weirdx.io
애플, 자체 검색 크롤링 봇을 운영중 - 이상한모임
애플이 자체적인 검색 크롤링 봇인 애플봇(Applebot)의 존재를 처음으로 공개했다. 오늘 공개된 지원 문서에 올라온 애플의 설명에 따르면, 애플봇의 역할은 “시리와 스팟라이트를 지원하기 위한 검색 크롤링 봇으로, robot.txt의 룰과 robot 메타 태그의 기본 사양을 지원합니다"고 명시했다. 애플의 크롤링 봇의 존재는 작년 말에 웹마스터들이 17로 시작하는 IP 주소를 가진 크롤링 봇의 기록이 포착되면서 확인됐다. IP 주소 17 ...