시장이 AI 기반 독성 흐름 탐지로 이동하고 있는 이유 — 그리고 아직 완전히 도달하지 못한 이유

업계 행사에서 충분히 많은 브로커와 대화하면 한 주제가 계속 등장합니다: 소수의 계정이 조용히 장부를 빠져나가고 있으며, 좋은 고객을 불편하게 만들지 않으면서 이를 어떻게 멈출지 확실히 알지 못합니다. 업계에서는 이를 “toxic flow”라고 부릅니다: 트레이더의 의도와 관계없이 실행 후 몇 초·몇 분 안에 브로커에게 불리하게 움직이는 주문들입니다. 이는 오래된 문제입니다. 최근에는 이러한 대화에서 “AI”가 답으로 자주 등장한다는 점이 새롭습니다: 실제로는 거의 아무도 생산 환경에서 성숙하고 검증된 도구를 운영하고 있지 않지만 말이죠.

지난 20년 동안 대부분의 경우 기본 답변은 규칙집이었습니다: 일정 규모 이상의 거래를 표시하고, 뉴스 전에는 스프레드를 넓히며, 포지션을 의심스러울 정도로 짧은 시간 동안 보유한 계정의 노출을 제한합니다. 이러한 규칙들은 나쁜 아이디어는 아니며, 대부분의 데스크가 여전히 크게 의존하고 있습니다. 그러나 하나의 약점이 있습니다: 규칙은 자신이 작성된 패턴만 포착하고, 우려할 만한 트레이더들은 보통 그 규칙을 가장 빨리 눈치채고 회피하는 사람들입니다.

정적 임계값이 점점 약화되는 이유

잘 알려진 독성 흐름 패턴들: 지연 차익거래, 스푸핑, 여러 거래소에서 오래된 호가를 잡아내는 행위: 은 업계 전반에 걸쳐 잘 문서화되어 있으며, 트레이더들은 브로커가 읽는 동일한 자료를 읽는 경향이 있습니다. 1초 미만으로 보유된 모든 것을 표시하면 트레이더들은 1.2초로 보유 시간을 늘립니다. 큰 뉴스 30초 전에 스프레드를 넓히면 거래는 45초에 이루어집니다. 규칙은 더 똑똑해지지 않으며, 트레이더가 똑똑해집니다. 주목할 점은 가장 큰 플랫폼 제공업체조차도 AI 영역보다는 여전히 이 공간에서 주로 활동하고 있다는 것입니다: MetaQuotes’ new MT5 matching engine는 매니저 터미널에 내장된 모니터링 대시보드를 제공하여 브로커가 실시간으로 독성 주문 흐름과 A-book/B-book 노출을 확인할 수 있게 합니다: 실제로 유용하지만, 여전히 가시성과 대시보드에 머물러 있으며 예측 모델링은 아닙니다.

또한 더 미묘한 문제가 있습니다: 고정된 임계값은 모든 계정을 동일하게 취급하는데, 이는 실제 위험 관리 방식과는 다릅니다. LiquidityFinder has a good breakdown of how brokers actually think about toxic flow, 그리고 강조할 만한 점은 독성은 비즈니스에 상대적이며, 거래의 고정된 속성이 아니라는 것입니다. 한 브로커의 장부에서는 소수점 오차에 불과한 것이 다른 브로커에게는 헤징 비용, 고객 구성, A-북과 B-북 비중 등에 따라 실제 문제로 떠오를 수 있습니다. 단일 정적 규칙은 동시에 두 가지 다른 “fine” 정의를 담을 수 없습니다. 이것이 업계가 AI에 대해 이야기할 때 계속 지적하는 격차이며: 브로커 자체 실행 데이터를 기반으로 훈련된 모델은 이론적으로 훨씬 더 가까워질 수 있습니다.

여기서 “AI 기반”이 실제로 의미하는 바

이 점에 대해 정확히 짚고 넘어갈 필요가 있습니다: 요즘 “AI”라는 단어가 대시보드가 있는 거의 모든 것에 붙어 있는데, 그 라벨 아래에 마케팅되는 대부분은 여전히 추가 단계가 있는 규칙에 가깝기 때문입니다. 실제로 중요한 버전은 정적 임계값에서 모델로 전환하는 것으로, 마크아웃(거래 종료 직후 순간의 가격 움직임)으로부터 학습합니다: 손으로 합리적으로 인코딩할 수 있는 범위를 훨씬 초과하는 변수들을 활용합니다: 해당 계정의 과거 기록에 비례한 주문 규모, 변동성에 대한 타이밍, 다른 계정 행동과의 상관관계, 그리고 개별적으로는 거의 의미가 없지만 함께 모이면 패턴을 이루는 여러 작은 신호들.

이 방향을 가리키는 초기 연구가 있지만, 얼마나 초기인지 명확히 할 필요가 있습니다: 2023년 논문인 real-time toxicity prediction using Bayesian neural networks은 실시간 FX 거래 데이터를 대상으로 테스트했으며, 순차적으로 훈련된 모델이 로지스틱 회귀, 랜덤 포레스트, 표준 최대우도 추정기보다 거래가 독성으로 변할지를 예측하는 데 더 우수함을 발견했습니다: 원칙적으로는 실시간으로 내부화 또는 외부화 결정을 지원할 만큼 빠릅니다. 이는 학술적 환경에서 의미 있는 결과입니다. 그러나 실시간 흐름에 대해 생산 환경에서 이를 신뢰성 있게 운영하는 브로커와는 완전히 다른 이야기이며, 모든 오탐 조정 및 데이터 파이프라인 구축이 필요합니다: 제가 알기로는 아직 그 단계에 도달한 기업은 매우 적습니다.

왜 이것이 피치덱이 제시하는 것보다 더 어려운가

이러한 점이 핵심적인 긴장을 없애지는 못합니다: 모든 탐지 시스템, 규칙이든 모델이든, 진정으로 독성 흐름을 포착하는 것과 단지 비정상적인 방식으로 거래하는 정상 고객을 표시하는 사이의 경계에 위치해야 합니다. Finance Magnates has a good piece on how brokers identify toxic clients, 그리고 타당한 점을 제시합니다: 너무 공격적으로 표시하면 브로커는 문제였던 적 없는 고객에게 스프레드를 넓히거나 신용을 제한하게 되고, 그 결과 해당 고객들은 머무르지 않게 됩니다.

모델이 그 트레이드오프를 없애는 것은 아니며, 형태만 바꿉니다: 이론적으로는 브로커가 “$X 이상 로트 규모” 혹은 “Y 밀리초 이하 보유”와 같은 단순 기준보다 훨씬 세밀하게 선을 그릴 수 있게 합니다. 그러나 이는 모델이 실제로 잘 튜닝된 경우에만 성립합니다. 이는 많은 중형 브로커가 아직 보유하지 못한 깨끗하고 라벨링된 과거 데이터 양과, 현재 인력이 충분히 배치되지 않은 지속적인 재조정이 필요합니다. 부실하게 훈련된 모델은 구식 규칙만큼 자신 있게 오분류를 할 것이며, 오히려 더 정밀해 보이기 때문에 무조건 신뢰하기엔 더 위험할 수 있습니다.

이것이 향후 나아갈 방향

독성 흐름의 근본 원인: 기관 투자자의 정보 기반 거래, HFT가 가격 격차를 잡아내는 행위, 뉴스 주변의 대규모 공격적 주문: 은 지난 10년간 크게 변하지 않았습니다. 변한 점은 기존 데스크가 현재 보유하고 있는 방대한 과거 실행 데이터 양이며, 이는 모델 기반 탐지가 지금은 진지하게 논의되는 큰 이유 중 하나입니다. 5년 전만 해도 대부분의 브로커는 충분히 깨끗한 데이터를 보유하고 있지 않아 실현 가능성이 낮았습니다.

AI 마케팅의 현재 물결이 시사하는 것보다 채택은 더 느리고 복잡할 것으로 예상합니다. 규칙 기반 시스템은 사라지지 않을 것입니다: 비용이 저렴하고, 컴플라이언스 팀에 설명하기 쉬우며, 여전히 명확한 경우를 잘 포착합니다. 보다 현실적인 경로는 향후 몇 년간 단계적인 설정을 구축하는 것입니다: 명확한 경우에 대한 빠르고 설명 가능한 규칙을 적용하고, 브로커와 공급업체가 신뢰성을 확보하기 위해 실제로 작업을 수행한 뒤에 모델 기반 점수가 그 사이의 훨씬 넓은 회색 영역을 점차 차지하도록 하는 것입니다. Brokerpilot에서 그 회색 영역은 우리가 위험 도구가 다음에 어디로 가야 할지 고민할 때 가장 면밀히 주시하는 부분입니다.