인터넷이 서버 트래픽과 가정 트래픽을 다르게 취급하는 이유

사진: freepik.com - natanaelginting

웹사이트에 도달하는 모든 요청은 반송 주소를 가지고 있습니다. 그 주소, 즉 IP는 수신 서버에 대부분의 사람들이 인식하는 것 이상을 알려줍니다. 그것은 방문자가 버지니아의 기후 조절 시설에 있는 랙 장착 기계에서 브라우징하고 있는지, 아니면 거실 소파에서 브라우징하고 있는지를 드러냅니다.

이 구분은 중요합니다. 웹사이트, 보안 플랫폼 및 콘텐츠 제공자는 이 두 가지 유형의 트래픽을 다르게 취급합니다. 그 이유를 이해하려면 IP 주소가 어떻게 할당되는지, 어떤 신호를 전달하는지, 그리고 온라인 게이트키퍼가 그 정보를 사용하여 순간적인 접근 결정을 내리는 방식을 살펴봐야 합니다.

IP 주소가 출처를 드러내는 방법

모든 IP 주소는 문서 추적을 가지고 있습니다. Comcast나 Deutsche Telekom과 같은 ISP가 가정에 주소를 할당하면, 그 IP는 공공 WHOIS 데이터베이스에서 ISP의 이름으로 등록됩니다. AWS나 Hetzner와 같은 데이터 센터 운영자도 같은 작업을 하지만, 등록은 완전히 다르게 보입니다. 조직 이름, 주소 범위 크기 및 사용 유형은 모두 "상업적 인프라"를 신호하는 반면, "주거용 가입자"는 아닙니다.

웹사이트는 이러한 데이터베이스를 밀리초 안에 쿼리할 수 있습니다. 그리고 그들은 끊임없이 그렇게 합니다. IPRoyal의 데이터 센터 프록시와 주거용 프록시에 대한 기사가 설명하듯이, IP 주소의 출처는 서버가 들어오는 연결에 어떻게 응답하는지에 직접적인 역할을 합니다. 주거용 IP는 의심의 여지를 가지며, 데이터 센터 IP는 조사를 받습니다.

이 분류는 인터넷의 주소 지정 시스템이 어떻게 작동하는지에 뿌리를 두고 있습니다. 인터넷 할당 번호 관리 기관(IANA)는 주소 공간 블록을 지역 인터넷 등록 기관에 배포하고, 이들은 ISP 및 조직에 범위를 나누어 줍니다. 각 IP 주소는 소유자에 대한 메타데이터를 가지고 있으며, 그 메타데이터는 수신 서버에 그들이 가정 사용자와 서버 농장의 기계 중 어떤 것을 다루고 있는지를 알려줍니다.

주거용 IP와 상업용 IP 간의 신뢰 격차

웹사이트가 이렇게 신경 쓰는 이유는 다음과 같습니다: 2024년 Imperva 보고서에 따르면 나쁜 봇 트래픽은 전 세계 웹 요청의 32%를 차지합니다. 그 악의적인 자동화의 압도적인 대부분은 데이터 센터 IP 범위에서 발생합니다.

따라서 웹사이트가 데이터 센터에서 연결을 감지하면 내부 플래그가 올라갑니다. 논리는 간단합니다. 일반 사람들은 서버 랙에서 인터넷을 탐색하지 않습니다.

이로 인해 불균형한 경쟁 환경이 만들어집니다. 클라우드 서버에서 가격 모니터링, 광고 검증 또는 시장 조사를 수행하는 합법적인 기업은 자격 증명 스터핑 봇과 같은 드래그넷에 걸리게 됩니다. IP의 출처는 의도의 대리인(농담이 아닙니다)이 됩니다.

감지 시스템이 실제로 작동하는 방법

현대의 봇 관리 플랫폼는 단일 신호에 의존하지 않습니다. 그들은 여러 감지 레이어를 쌓습니다: IP 평판 점수, TLS 지문 인식, 행동 분석 및 JavaScript 챌린지. 그러나 IP 분류는 여전히 첫 번째이자 가장 빠른 필터입니다.

과정은 다음과 같습니다. 요청이 도착하고 서버는 소스 IP를 주소 유형에 따라 분류하는 데이터베이스와 대조합니다: 주거용, 데이터 센터, 모바일 또는 호스팅 제공자. IP가 알려진 클라우드 제공자에 속하면, 시스템은 행동 분석이 시작되기 전에 낮은 신뢰 점수를 할당합니다.

일부 플랫폼은 동일한 IP 블록에서 얼마나 많은 세션이 발생하는지를 추적합니다. 주거용 ISP는 수천 명의 고객이 /16 범위를 공유할 수 있으며, 이는 정상으로 보입니다. 그러나 한 시간에 단일 /24 데이터 센터 서브넷에서 50개의 고유 세션이 발생하면? 이는 빠르게 속도 제한을 유발합니다.

이것이 기업과 일반 사용자에게 중요한 이유

결과는 현실적입니다. AWS 인스턴스에서 경쟁 정보를 운영하는 회사는 지속적으로 CAPTCHA에 걸릴 것입니다. DigitalOcean 드롭렛에서 공공 정부 데이터를 스크래핑하는 연구자는 완전히 차단될 수 있습니다. 한편, 가정 연결에서의 동일한 요청은 마찰 없이 통과합니다.

전자상거래 사이트는 이 필터링에 특히 공격적입니다. 그들은 봇이 제한된 재고를 훔치는 것을 원하지 않기 때문에 데이터 센터 트래픽을 유죄로 간주합니다.

개별 사용자에게 VPN 서비스는 또 다른 복잡성을 추가합니다. 많은 상업용 VPN은 데이터 센터 IP를 통해 트래픽을 라우팅하므로, 개인 정보 보호에 민감한 사용자는 자동화된 스크래퍼와 동일한 제한에 직면하게 됩니다. VPN 제공자는 주거용 IP 풀을 확보하여 이를 해결하기 위해 분주하게 움직이고 있습니다.

서버와 가정 간의 경계가 흐려지고 있다

이러한 트래픽 카테고리 간의 경계는 예전처럼 깨끗하지 않습니다. ISP 프록시 서비스는 이제 주거용 제공자에게 등록된 IP를 제공하지만 상업용 인프라에서 호스팅됩니다. 그들은 회색 영역에 위치합니다: 데이터 센터 연결처럼 빠르고 신뢰할 수 있지만, 가정용 브로드밴드의 신뢰 신호를 가지고 있습니다.

클라우드 게임, 원격 데스크톱 도구 및 재택 근무 설정도 상황을 복잡하게 만듭니다. 데이터 센터 릴레이를 통해 사무실 워크스테이션을 스트리밍하는 사람은 합법적인 사용자지만, 그들의 트래픽 패턴은 봇과 동일하게 보입니다.

인터넷의 신뢰 모델은 서버가 콘텐츠를 제공하고 가정이 이를 소비하던 더 단순한 시대를 위해 구축되었습니다. 그 시대는 끝났지만, 웹 보안에 내장된 분류 시스템은 적응하지 않았습니다. 그들이 적응할 때까지, 트래픽의 출처는 그 트래픽이 무엇을 하는지만큼 중요할 것입니다.