PWIL은 에이전트의 상태·행동 방문을 전문가 시연 쪽으로 수송해 모방 보상을 만든다. 전문가 표본마다 수용량이 정해져 있어, 맞추기 쉬운 표본 하나를 반복 방문해 에피소드 전체 질량을 보낼 수 없다. 수송은 탐욕적이고 보상은 비선형이므로 정확한 전역 Wasserstein 최소화와는 다르다.
경험적 측도
에피소드에서는 \(x_i=(s_i,a_i)\in\mathbb R^d\), \(i=1,\ldots,T\)을, 시연에서는 \(y_j\), \(j=1,\ldots,D\)을 얻는다. 두 경험적 확률측도의 총질량은 1이다.
\[\widehat\rho_\pi=\frac1T\sum_{i=1}^{T}\delta_{x_i},\qquad \widehat\rho_E=\frac1D\sum_{j=1}^{D}\delta_{y_j}.\]방문 빈도는 남지만 시간 순서는 사라진다. 상태·행동 쌍의 다중집합이 같으면 측도도 같으므로, 시간 제약은 환경, 정책, 표현을 통해 들어와야 한다.
수송 결합
거리공간 \((M,d_M)\), \(p\ge1\), 유한한 \(p\)차 적률을 가진 측도에 대해 다음과 같이 정의한다.
\[W_p(\mu,\nu)^p =\inf_{\gamma\in\Pi(\mu,\nu)} \int_{M\times M}d_M(x,y)^p\,d\gamma(x,y).\]결합 \(\Pi(\mu,\nu)\)의 주변측도는 \(\mu\)와 \(\nu\)다. 균등 경험적 측도에서 음수가 아닌 행렬 \(\Gamma\in\mathbb R_+^{T\times D}\)는 다음을 만족한다.
\[\sum_{j=1}^{D}\Gamma_{ij}=\frac1T, \qquad \sum_{i=1}^{T}\Gamma_{ij}=\frac1D.\]이 확률 주변합은 행·열의 합이 각각 1이라는 조건과 다르다. 후자는 \(T\ne D\)일 때 양립할 수 없다. 이산 수송 문제는 다음과 같다.
\[W_p^p(\widehat\rho_\pi,\widehat\rho_E) =\min_{\Gamma\in\Pi}\sum_{i,j}\Gamma_{ij}d_M(x_i,y_j)^p.\]한 점짜리 측도의 항등식 \(W_p(\delta_x,\delta_y)=d_M(x,y)\)로 거듭제곱과 정규화를 확인할 수 있다.
PWIL의 에피소드 목적함수는 다음과 같다.
\[\min_\pi\;\mathbb E_{\tau\sim\pi} \left[W_1(\widehat\rho_\pi(\tau),\widehat\rho_E)\right].\]기댓값과 수송을 자유롭게 교환할 수 없으므로 무한 지평 점유측도 사이의 수송과 같을 필요는 없다. 보상을 구성할 때 정책과 적대적 판별기를 함께 적합하지 않아도 된다(Dadashi 외). 완료된 에피소드의 정확한 최적 결합에서 행 비용을 다음과 같이 두면
\[c_i^*=\sum_j\Gamma^*_{ij}d_M(x_i,y_j).\]\(\sum_i c_i^*=W_1\)가 성립한다. 그러나 미래 상태에 의존하므로 온라인에서는 아직 알 수 없다.
탐욕적 할당
에피소드는 전문가 수용량 \(b_j=1/D\)에서 시작한다. 단계 \(i\)에서 원천 질량 \(1/T\)를 거리가 가까운 가용 표본부터 할당한다.
\[\min_{g\in\mathbb R_+^D}\sum_jg_jd_M(x_i,y_j) \quad\text{subject to}\quad \sum_jg_j=\frac1T,\quad g_j\le b_j.\]거리가 고정되어 있을 때 이 절차는 한 행의 선형계획을 푼다. 나중 행에 더 필요한 목적지를 먼저 소진할 수 있으므로 전역 문제까지 푸는 것은 아니다.
\(T=2,D=3\)이면 단계별 원천 질량은 \(1/2\), 전문가 수용량은 \(1/3\)이다. 첫 단계는 수용량이 온전히 남은 최근접 표본에 \(1/3\), 다음 표본에 \(1/6\)을 보낸다. 남은 수용량 \(0\), \(1/6\), \(1/3\)의 합은 \(1/2\)로, 남은 원천 질량과 같다.
길이가 고정된 에피소드에서는 각 행이 \(1/T\)를 보내고, 수용량은 음수가 되지 않으며, 총질량은 1이다. 가능한 결합이므로 그 비용은 최적값의 상한이다. 조기 종료나 가변 길이에는 별도의 질량 정책이 필요하며, 수용량 초기화만으로는 부족하다.
거리와 보상
전문가 좌표 \(k\)의 양의 스케일 \(\sigma_k\)로 표준화한 유클리드 거리는 다음과 같다.
\[d_M(x,y)=\left(\sum_{k=1}^{d}\frac{(x_k-y_k)^2}{\sigma_k^2}\right)^{1/2}.\]분산이 0인 좌표는 양의 하한을 두거나 제거해야 한다. 스케일은 수치 안정성뿐 아니라 행동의 유사성도 바꾼다. 탐욕적 행 비용 \(c_i^g=\sum_jg_{ij}d_M(x_i,y_j)\)에 대해 PWIL은 다음 보상을 사용한다.
\[r_i=\alpha\exp\left(-\frac{\beta T}{\sqrt d}\,c_i^g\right), \qquad\alpha,\beta>0.\]\(T\)는 질량 \(1/T\)을 보상하는 계수이고, \(\sqrt d\)는 차원에 대한 휴리스틱 정규화다. 여기서 \(d\)는 연속 상태공간의 원소 수가 아니라 상태·행동 좌표 수다. 1차원 예시에서 \(1/T\)의 질량을 거리 \(2\)만큼 보내면 \(c_i^g=2/T\), \(r_i=\alpha e^{-2\beta}\)가 된다. 가중치를 반영하지 않은 최근접 거리에 \(T\)를 곱하면 지평이 상쇄되는 이 성질을 잃는다.
대리목표
각 보상의 단조성이 합의 동등성을 뜻하지는 않는다.
\[\arg\max_\pi\mathbb E\!\left[\sum_i e^{-\lambda c_i}\right] \ne \arg\min_\pi\mathbb E\!\left[\sum_i c_i\right]\]비용 \((0,2)\)와 \((1,1)\)의 합은 같지만 \(\lambda>0\)이면 \(1+e^{-2\lambda}>2e^{-\lambda}\)다. 지수함수는 불균등한 쌍을 선호한다. 이 비선형성, 탐욕적 결합, 할인, 유한한 시연, 정책 최적화가 실제 PWIL과 정확한 수송 최소화를 구분한다.
보상은 남은 수용량에도 의존하므로 \((s_i,a_i)\)만의 함수로 보면 이력 의존적이다. 상태에 수용량을 더하면 마르코프 표현이 되지만, 재현 버퍼는 보통 이미 계산한 보상을 저장한다. 따라서 정규화나 보상 버전을 바꾸려면 일관되게 다시 레이블링하거나 실험 중 버전을 고정해야 한다.
계산과 평가
\(d\)차원에서 거리 \(D\)개를 계산하는 비용은 단계당 \(O(Dd)\)다. 정렬은 \(O(D\log D)\)이고, 양의 수용량을 가진 최근접점을 반복 스캔하면 행당 \(O(D^2)\)가 될 수 있다. 상각 경계는 자료구조와 소진되는 수용량에 달려 있다. 행 질량 \(1/T\), 음수가 아닌 수용량, 초기화, 허용오차, 양의 스케일을 유지해야 가능한 결합과 유한 거리에서 \((0,\alpha]\)인 보상을 보존한다. 작은 문제를 정확한 선형계획 풀이(POT)와 비교하면 학습 수익의 상승만으로 놓치는 오류를 찾을 수 있다.
행동 거리와 환경 수익은 서로 다른 결과를 측정하며, 어느 쪽도 과제에 필요한 시간 순서를 보장하지 않는다. 원 논문의 연속 제어 실험과 상태만 사용한 입력, 정규화, 재현 버퍼 초기화, 수용량 절제 실험은 해당 설정의 결과다. 임의의 로봇이나 현재의 모든 방법에 적용되는 결과는 아니다. 행동 복제 및 다른 모방학습 방법과 비교할 때는 시연, 상호작용, 정규화, 시드, 환경을 맞춰야 한다.