| Dataset | Task | BITR | CCA | CCASMN | CFA | CMCP | HSNN | JGRHML | JRL | LGCFL | ml-CCA | mv-CCA | S2UPG |
| Wikipedia Dataset | Image->All | 0.118 | 0.131 | 0.140 | 0.166 | 0.261 | 0.260 | 0.189 | 0.272 | 0.216 | 0.212 | 0.156 | 0.273 |
| Text->All | 0.113 | 0.127 | 0.127 | 0.332 | 0.530 | 0.525 | 0.429 | 0.569 | 0.539 | 0.497 | 0.216 | 0.563 | |
| XMedia Dataset | Image->All | 0.078 | 0.121 | 0.150 | 0.148 | 0.283 | 0.299 | 0.267 | 0.410 | 0.073 | 0.178 | 0.184 | 0.418 |
| Text->All | 0.083 | 0.088 | 0.089 | 0.301 | 0.447 | 0.620 | 0.410 | 0.699 | 0.513 | 0.519 | 0.503 | 0.730 | |
| Video->All | 0.068 | 0.076 | 0.126 | 0.115 | 0.257 | 0.192 | 0.194 | 0.219 | 0.098 | 0.145 | 0.094 | 0.239 | |
| Audio->All | 0.071 | 0.090 | 0.114 | 0.139 | 0.198 | 0.295 | 0.187 | 0.276 | 0.093 | 0.199 | 0.145 | 0.321 | |
| 3D->All | 0.061 | 0.080 | 0.055 | 0.151 | 0.309 | 0.279 | 0.357 | 0.442 | 0.105 | 0.286 | 0.072 | 0.479 | |
| Average | 0.085 | 0.102 | 0.114 | 0.193 | 0.326 | 0.353 | 0.290 | 0.412 | 0.234 | 0.291 | 0.196 | 0.432 | |