OpenCL/m12000.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _PBKDF2_SHA1_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_hash_constants.h"
  11 #include "inc_vendor.cl"
  12
  13 #define DGST_R0 0
  14 #define DGST_R1 1
  15 #define DGST_R2 2
  16 #define DGST_R3 3
  17
  18 #include "inc_hash_functions.cl"
  19 #include "inc_types.cl"
  20 #include "inc_common.cl"
  21 #include "inc_simd.cl"
  22
  23 #define COMPARE_S "inc_comp_single.cl"
  24 #define COMPARE_M "inc_comp_multi.cl"
  25
  26 void sha1_transform_S (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[5])
  27 {
  28   u32 A = digest[0];
  29   u32 B = digest[1];
  30   u32 C = digest[2];
  31   u32 D = digest[3];
  32   u32 E = digest[4];
  33
  34   u32 w0_t = w0[0];
  35   u32 w1_t = w0[1];
  36   u32 w2_t = w0[2];
  37   u32 w3_t = w0[3];
  38   u32 w4_t = w1[0];
  39   u32 w5_t = w1[1];
  40   u32 w6_t = w1[2];
  41   u32 w7_t = w1[3];
  42   u32 w8_t = w2[0];
  43   u32 w9_t = w2[1];
  44   u32 wa_t = w2[2];
  45   u32 wb_t = w2[3];
  46   u32 wc_t = w3[0];
  47   u32 wd_t = w3[1];
  48   u32 we_t = w3[2];
  49   u32 wf_t = w3[3];
  50
  51   #undef K
  52   #define K SHA1C00
  53
  54   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, w0_t);
  55   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w1_t);
  56   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w2_t);
  57   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w3_t);
  58   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w4_t);
  59   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, w5_t);
  60   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w6_t);
  61   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w7_t);
  62   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w8_t);
  63   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w9_t);
  64   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, wa_t);
  65   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, wb_t);
  66   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, wc_t);
  67   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, wd_t);
  68   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, we_t);
  69   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, wf_t);
  70   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w0_t);
  71   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w1_t);
  72   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w2_t);
  73   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w3_t);
  74
  75   #undef K
  76   #define K SHA1C01
  77
  78   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w4_t);
  79   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w5_t);
  80   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w6_t);
  81   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w7_t);
  82   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w8_t);
  83   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w9_t);
  84   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wa_t);
  85   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, wb_t);
  86   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, wc_t);
  87   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wd_t);
  88   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, we_t);
  89   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wf_t);
  90   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w0_t);
  91   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w1_t);
  92   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w2_t);
  93   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w3_t);
  94   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w4_t);
  95   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w5_t);
  96   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w6_t);
  97   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w7_t);
  98
  99   #undef K
 100   #define K SHA1C02
 101
 102   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w8_t);
 103   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w9_t);
 104   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, wa_t);
 105   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, wb_t);
 106   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, wc_t);
 107   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, wd_t);
 108   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, we_t);
 109   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, wf_t);
 110   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, w0_t);
 111   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, w1_t);
 112   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w2_t);
 113   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w3_t);
 114   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, w4_t);
 115   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, w5_t);
 116   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, w6_t);
 117   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w7_t);
 118   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w8_t);
 119   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, w9_t);
 120   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, wa_t);
 121   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, wb_t);
 122
 123   #undef K
 124   #define K SHA1C03
 125
 126   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, wc_t);
 127   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wd_t);
 128   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, we_t);
 129   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, wf_t);
 130   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w0_t);
 131   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w1_t);
 132   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w2_t);
 133   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w3_t);
 134   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w4_t);
 135   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w5_t);
 136   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w6_t);
 137   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w7_t);
 138   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w8_t);
 139   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w9_t);
 140   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wa_t);
 141   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, wb_t);
 142   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wc_t);
 143   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, wd_t);
 144   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, we_t);
 145   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wf_t);
 146
 147   digest[0] += A;
 148   digest[1] += B;
 149   digest[2] += C;
 150   digest[3] += D;
 151   digest[4] += E;
 152 }
 153
 154 void hmac_sha1_pad_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5])
 155 {
 156   w0[0] = w0[0] ^ 0x36363636;
 157   w0[1] = w0[1] ^ 0x36363636;
 158   w0[2] = w0[2] ^ 0x36363636;
 159   w0[3] = w0[3] ^ 0x36363636;
 160   w1[0] = w1[0] ^ 0x36363636;
 161   w1[1] = w1[1] ^ 0x36363636;
 162   w1[2] = w1[2] ^ 0x36363636;
 163   w1[3] = w1[3] ^ 0x36363636;
 164   w2[0] = w2[0] ^ 0x36363636;
 165   w2[1] = w2[1] ^ 0x36363636;
 166   w2[2] = w2[2] ^ 0x36363636;
 167   w2[3] = w2[3] ^ 0x36363636;
 168   w3[0] = w3[0] ^ 0x36363636;
 169   w3[1] = w3[1] ^ 0x36363636;
 170   w3[2] = w3[2] ^ 0x36363636;
 171   w3[3] = w3[3] ^ 0x36363636;
 172
 173   ipad[0] = SHA1M_A;
 174   ipad[1] = SHA1M_B;
 175   ipad[2] = SHA1M_C;
 176   ipad[3] = SHA1M_D;
 177   ipad[4] = SHA1M_E;
 178
 179   sha1_transform_S (w0, w1, w2, w3, ipad);
 180
 181   w0[0] = w0[0] ^ 0x6a6a6a6a;
 182   w0[1] = w0[1] ^ 0x6a6a6a6a;
 183   w0[2] = w0[2] ^ 0x6a6a6a6a;
 184   w0[3] = w0[3] ^ 0x6a6a6a6a;
 185   w1[0] = w1[0] ^ 0x6a6a6a6a;
 186   w1[1] = w1[1] ^ 0x6a6a6a6a;
 187   w1[2] = w1[2] ^ 0x6a6a6a6a;
 188   w1[3] = w1[3] ^ 0x6a6a6a6a;
 189   w2[0] = w2[0] ^ 0x6a6a6a6a;
 190   w2[1] = w2[1] ^ 0x6a6a6a6a;
 191   w2[2] = w2[2] ^ 0x6a6a6a6a;
 192   w2[3] = w2[3] ^ 0x6a6a6a6a;
 193   w3[0] = w3[0] ^ 0x6a6a6a6a;
 194   w3[1] = w3[1] ^ 0x6a6a6a6a;
 195   w3[2] = w3[2] ^ 0x6a6a6a6a;
 196   w3[3] = w3[3] ^ 0x6a6a6a6a;
 197
 198   opad[0] = SHA1M_A;
 199   opad[1] = SHA1M_B;
 200   opad[2] = SHA1M_C;
 201   opad[3] = SHA1M_D;
 202   opad[4] = SHA1M_E;
 203
 204   sha1_transform_S (w0, w1, w2, w3, opad);
 205 }
 206
 207 void hmac_sha1_run_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5], u32 digest[5])
 208 {
 209   digest[0] = ipad[0];
 210   digest[1] = ipad[1];
 211   digest[2] = ipad[2];
 212   digest[3] = ipad[3];
 213   digest[4] = ipad[4];
 214
 215   sha1_transform_S (w0, w1, w2, w3, digest);
 216
 217   w0[0] = digest[0];
 218   w0[1] = digest[1];
 219   w0[2] = digest[2];
 220   w0[3] = digest[3];
 221   w1[0] = digest[4];
 222   w1[1] = 0x80000000;
 223   w1[2] = 0;
 224   w1[3] = 0;
 225   w2[0] = 0;
 226   w2[1] = 0;
 227   w2[2] = 0;
 228   w2[3] = 0;
 229   w3[0] = 0;
 230   w3[1] = 0;
 231   w3[2] = 0;
 232   w3[3] = (64 + 20) * 8;
 233
 234   digest[0] = opad[0];
 235   digest[1] = opad[1];
 236   digest[2] = opad[2];
 237   digest[3] = opad[3];
 238   digest[4] = opad[4];
 239
 240   sha1_transform_S (w0, w1, w2, w3, digest);
 241 }
 242
 243 void sha1_transform_V (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[5])
 244 {
 245   u32x A = digest[0];
 246   u32x B = digest[1];
 247   u32x C = digest[2];
 248   u32x D = digest[3];
 249   u32x E = digest[4];
 250
 251   u32x w0_t = w0[0];
 252   u32x w1_t = w0[1];
 253   u32x w2_t = w0[2];
 254   u32x w3_t = w0[3];
 255   u32x w4_t = w1[0];
 256   u32x w5_t = w1[1];
 257   u32x w6_t = w1[2];
 258   u32x w7_t = w1[3];
 259   u32x w8_t = w2[0];
 260   u32x w9_t = w2[1];
 261   u32x wa_t = w2[2];
 262   u32x wb_t = w2[3];
 263   u32x wc_t = w3[0];
 264   u32x wd_t = w3[1];
 265   u32x we_t = w3[2];
 266   u32x wf_t = w3[3];
 267
 268   #undef K
 269   #define K SHA1C00
 270
 271   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
 272   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
 273   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
 274   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
 275   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
 276   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
 277   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
 278   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
 279   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
 280   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
 281   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
 282   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
 283   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
 284   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
 285   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
 286   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
 287   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
 288   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
 289   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
 290   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
 291
 292   #undef K
 293   #define K SHA1C01
 294
 295   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
 296   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
 297   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
 298   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
 299   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
 300   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
 301   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
 302   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
 303   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
 304   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
 305   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
 306   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
 307   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
 308   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
 309   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
 310   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
 311   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
 312   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
 313   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
 314   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
 315
 316   #undef K
 317   #define K SHA1C02
 318
 319   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
 320   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
 321   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
 322   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
 323   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
 324   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 325   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 326   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 327   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 328   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 329   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 330   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 331   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 332   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 333   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 334   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 335   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 336   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 337   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 338   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 339
 340   #undef K
 341   #define K SHA1C03
 342
 343   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 344   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 345   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 346   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 347   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 348   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 349   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 350   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 351   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 352   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 353   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 354   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 355   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 356   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 357   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 358   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 359   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 360   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 361   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 362   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 363
 364   digest[0] += A;
 365   digest[1] += B;
 366   digest[2] += C;
 367   digest[3] += D;
 368   digest[4] += E;
 369 }
 370
 371 void hmac_sha1_pad_V (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[5], u32x opad[5])
 372 {
 373   w0[0] = w0[0] ^ 0x36363636;
 374   w0[1] = w0[1] ^ 0x36363636;
 375   w0[2] = w0[2] ^ 0x36363636;
 376   w0[3] = w0[3] ^ 0x36363636;
 377   w1[0] = w1[0] ^ 0x36363636;
 378   w1[1] = w1[1] ^ 0x36363636;
 379   w1[2] = w1[2] ^ 0x36363636;
 380   w1[3] = w1[3] ^ 0x36363636;
 381   w2[0] = w2[0] ^ 0x36363636;
 382   w2[1] = w2[1] ^ 0x36363636;
 383   w2[2] = w2[2] ^ 0x36363636;
 384   w2[3] = w2[3] ^ 0x36363636;
 385   w3[0] = w3[0] ^ 0x36363636;
 386   w3[1] = w3[1] ^ 0x36363636;
 387   w3[2] = w3[2] ^ 0x36363636;
 388   w3[3] = w3[3] ^ 0x36363636;
 389
 390   ipad[0] = SHA1M_A;
 391   ipad[1] = SHA1M_B;
 392   ipad[2] = SHA1M_C;
 393   ipad[3] = SHA1M_D;
 394   ipad[4] = SHA1M_E;
 395
 396   sha1_transform_V (w0, w1, w2, w3, ipad);
 397
 398   w0[0] = w0[0] ^ 0x6a6a6a6a;
 399   w0[1] = w0[1] ^ 0x6a6a6a6a;
 400   w0[2] = w0[2] ^ 0x6a6a6a6a;
 401   w0[3] = w0[3] ^ 0x6a6a6a6a;
 402   w1[0] = w1[0] ^ 0x6a6a6a6a;
 403   w1[1] = w1[1] ^ 0x6a6a6a6a;
 404   w1[2] = w1[2] ^ 0x6a6a6a6a;
 405   w1[3] = w1[3] ^ 0x6a6a6a6a;
 406   w2[0] = w2[0] ^ 0x6a6a6a6a;
 407   w2[1] = w2[1] ^ 0x6a6a6a6a;
 408   w2[2] = w2[2] ^ 0x6a6a6a6a;
 409   w2[3] = w2[3] ^ 0x6a6a6a6a;
 410   w3[0] = w3[0] ^ 0x6a6a6a6a;
 411   w3[1] = w3[1] ^ 0x6a6a6a6a;
 412   w3[2] = w3[2] ^ 0x6a6a6a6a;
 413   w3[3] = w3[3] ^ 0x6a6a6a6a;
 414
 415   opad[0] = SHA1M_A;
 416   opad[1] = SHA1M_B;
 417   opad[2] = SHA1M_C;
 418   opad[3] = SHA1M_D;
 419   opad[4] = SHA1M_E;
 420
 421   sha1_transform_V (w0, w1, w2, w3, opad);
 422 }
 423
 424 void hmac_sha1_run_V (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[5], u32x opad[5], u32x digest[5])
 425 {
 426   digest[0] = ipad[0];
 427   digest[1] = ipad[1];
 428   digest[2] = ipad[2];
 429   digest[3] = ipad[3];
 430   digest[4] = ipad[4];
 431
 432   sha1_transform_V (w0, w1, w2, w3, digest);
 433
 434   w0[0] = digest[0];
 435   w0[1] = digest[1];
 436   w0[2] = digest[2];
 437   w0[3] = digest[3];
 438   w1[0] = digest[4];
 439   w1[1] = 0x80000000;
 440   w1[2] = 0;
 441   w1[3] = 0;
 442   w2[0] = 0;
 443   w2[1] = 0;
 444   w2[2] = 0;
 445   w2[3] = 0;
 446   w3[0] = 0;
 447   w3[1] = 0;
 448   w3[2] = 0;
 449   w3[3] = (64 + 20) * 8;
 450
 451   digest[0] = opad[0];
 452   digest[1] = opad[1];
 453   digest[2] = opad[2];
 454   digest[3] = opad[3];
 455   digest[4] = opad[4];
 456
 457   sha1_transform_V (w0, w1, w2, w3, digest);
 458 }
 459
 460 __kernel void m12000_init (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pbkdf2_sha1_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 461 {
 462   /**
 463    * base
 464    */
 465
 466   const u32 gid = get_global_id (0);
 467
 468   if (gid >= gid_max) return;
 469
 470   u32 w0[4];
 471
 472   w0[0] = swap32_S (pws[gid].i[ 0]);
 473   w0[1] = swap32_S (pws[gid].i[ 1]);
 474   w0[2] = swap32_S (pws[gid].i[ 2]);
 475   w0[3] = swap32_S (pws[gid].i[ 3]);
 476
 477   u32 w1[4];
 478
 479   w1[0] = swap32_S (pws[gid].i[ 4]);
 480   w1[1] = swap32_S (pws[gid].i[ 5]);
 481   w1[2] = swap32_S (pws[gid].i[ 6]);
 482   w1[3] = swap32_S (pws[gid].i[ 7]);
 483
 484   u32 w2[4];
 485
 486   w2[0] = swap32_S (pws[gid].i[ 8]);
 487   w2[1] = swap32_S (pws[gid].i[ 9]);
 488   w2[2] = swap32_S (pws[gid].i[10]);
 489   w2[3] = swap32_S (pws[gid].i[11]);
 490
 491   u32 w3[4];
 492
 493   w3[0] = swap32_S (pws[gid].i[12]);
 494   w3[1] = swap32_S (pws[gid].i[13]);
 495   w3[2] = swap32_S (pws[gid].i[14]);
 496   w3[3] = swap32_S (pws[gid].i[15]);
 497
 498   /**
 499    * salt
 500    */
 501
 502   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 503
 504   u32 esalt_buf0[4];
 505   u32 esalt_buf1[4];
 506   u32 esalt_buf2[4];
 507   u32 esalt_buf3[4];
 508
 509   esalt_buf0[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 0]);
 510   esalt_buf0[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 1]);
 511   esalt_buf0[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 2]);
 512   esalt_buf0[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 3]);
 513   esalt_buf1[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 4]);
 514   esalt_buf1[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 5]);
 515   esalt_buf1[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 6]);
 516   esalt_buf1[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 7]);
 517   esalt_buf2[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 8]);
 518   esalt_buf2[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 9]);
 519   esalt_buf2[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[10]);
 520   esalt_buf2[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[11]);
 521   esalt_buf3[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[12]);
 522   esalt_buf3[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[13]);
 523   esalt_buf3[2] = 0;
 524   esalt_buf3[3] = (64 + salt_len + 4) * 8;
 525
 526   u32 ipad[5];
 527   u32 opad[5];
 528
 529   hmac_sha1_pad_S (w0, w1, w2, w3, ipad, opad);
 530
 531   tmps[gid].ipad[0] = ipad[0];
 532   tmps[gid].ipad[1] = ipad[1];
 533   tmps[gid].ipad[2] = ipad[2];
 534   tmps[gid].ipad[3] = ipad[3];
 535   tmps[gid].ipad[4] = ipad[4];
 536
 537   tmps[gid].opad[0] = opad[0];
 538   tmps[gid].opad[1] = opad[1];
 539   tmps[gid].opad[2] = opad[2];
 540   tmps[gid].opad[3] = opad[3];
 541   tmps[gid].opad[4] = opad[4];
 542
 543   for (u32 i = 0, j = 1; i < 5; i += 5, j += 1)
 544   {
 545     u32 dgst[5];
 546
 547     hmac_sha1_run_S (esalt_buf0, esalt_buf1, esalt_buf2, esalt_buf3, ipad, opad, dgst);
 548
 549     tmps[gid].dgst[i + 0] = dgst[0];
 550     tmps[gid].dgst[i + 1] = dgst[1];
 551     tmps[gid].dgst[i + 2] = dgst[2];
 552     tmps[gid].dgst[i + 3] = dgst[3];
 553     tmps[gid].dgst[i + 4] = dgst[4];
 554
 555     tmps[gid].out[i + 0] = dgst[0];
 556     tmps[gid].out[i + 1] = dgst[1];
 557     tmps[gid].out[i + 2] = dgst[2];
 558     tmps[gid].out[i + 3] = dgst[3];
 559     tmps[gid].out[i + 4] = dgst[4];
 560   }
 561 }
 562
 563 __kernel void m12000_loop (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pbkdf2_sha1_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 564 {
 565   const u32 gid = get_global_id (0);
 566
 567   if (gid >= gid_max) return;
 568
 569   u32x ipad[5];
 570   u32x opad[5];
 571
 572   ipad[0] = packv (tmps, ipad, gid, 0);
 573   ipad[1] = packv (tmps, ipad, gid, 1);
 574   ipad[2] = packv (tmps, ipad, gid, 2);
 575   ipad[3] = packv (tmps, ipad, gid, 3);
 576   ipad[4] = packv (tmps, ipad, gid, 4);
 577
 578   opad[0] = packv (tmps, opad, gid, 0);
 579   opad[1] = packv (tmps, opad, gid, 1);
 580   opad[2] = packv (tmps, opad, gid, 2);
 581   opad[3] = packv (tmps, opad, gid, 3);
 582   opad[4] = packv (tmps, opad, gid, 4);
 583
 584   for (u32 i = 0; i < 5; i += 5)
 585   {
 586     u32x dgst[5];
 587     u32x out[5];
 588
 589     dgst[0] = packv (tmps, dgst, gid, 0);
 590     dgst[1] = packv (tmps, dgst, gid, 1);
 591     dgst[2] = packv (tmps, dgst, gid, 2);
 592     dgst[3] = packv (tmps, dgst, gid, 3);
 593     dgst[4] = packv (tmps, dgst, gid, 4);
 594
 595     out[0] = packv (tmps, out, gid, 0);
 596     out[1] = packv (tmps, out, gid, 1);
 597     out[2] = packv (tmps, out, gid, 2);
 598     out[3] = packv (tmps, out, gid, 3);
 599     out[4] = packv (tmps, out, gid, 4);
 600
 601     for (u32 j = 0; j < loop_cnt; j++)
 602     {
 603       u32x w0[4];
 604       u32x w1[4];
 605       u32x w2[4];
 606       u32x w3[4];
 607
 608       w0[0] = dgst[0];
 609       w0[1] = dgst[1];
 610       w0[2] = dgst[2];
 611       w0[3] = dgst[3];
 612       w1[0] = dgst[4];
 613       w1[1] = 0x80000000;
 614       w1[2] = 0;
 615       w1[3] = 0;
 616       w2[0] = 0;
 617       w2[1] = 0;
 618       w2[2] = 0;
 619       w2[3] = 0;
 620       w3[0] = 0;
 621       w3[1] = 0;
 622       w3[2] = 0;
 623       w3[3] = (64 + 20) * 8;
 624
 625       hmac_sha1_run_V (w0, w1, w2, w3, ipad, opad, dgst);
 626
 627       out[0] ^= dgst[0];
 628       out[1] ^= dgst[1];
 629       out[2] ^= dgst[2];
 630       out[3] ^= dgst[3];
 631       out[4] ^= dgst[4];
 632     }
 633
 634     unpackv (tmps, dgst, gid, 0, dgst[0]);
 635     unpackv (tmps, dgst, gid, 1, dgst[1]);
 636     unpackv (tmps, dgst, gid, 2, dgst[2]);
 637     unpackv (tmps, dgst, gid, 3, dgst[3]);
 638     unpackv (tmps, dgst, gid, 4, dgst[4]);
 639
 640     unpackv (tmps, out, gid, 0, out[0]);
 641     unpackv (tmps, out, gid, 1, out[1]);
 642     unpackv (tmps, out, gid, 2, out[2]);
 643     unpackv (tmps, out, gid, 3, out[3]);
 644     unpackv (tmps, out, gid, 4, out[4]);
 645   }
 646 }
 647
 648 __kernel void m12000_comp (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pbkdf2_sha1_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 649 {
 650   /**
 651    * base
 652    */
 653
 654   const u32 gid = get_global_id (0);
 655
 656   if (gid >= gid_max) return;
 657
 658   const u32 lid = get_local_id (0);
 659
 660   const u32 r0 = tmps[gid].out[DGST_R0];
 661   const u32 r1 = tmps[gid].out[DGST_R1];
 662   const u32 r2 = tmps[gid].out[DGST_R2];
 663   const u32 r3 = tmps[gid].out[DGST_R3];
 664
 665   #define il_pos 0
 666
 667   #include COMPARE_M
 668 }