OpenCL/m11400_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _MD5_
   7
   8 //incompatible because of brances
   9 //#define NEW_SIMD_CODE
  10
  11 #include "inc_hash_constants.h"
  12 #include "inc_vendor.cl"
  13
  14 #define DGST_R0 0
  15 #define DGST_R1 3
  16 #define DGST_R2 2
  17 #define DGST_R3 1
  18
  19 #include "inc_hash_functions.cl"
  20 #include "inc_types.cl"
  21 #include "inc_common.cl"
  22 #include "inc_simd.cl"
  23
  24 #if   VECT_SIZE == 1
  25 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i)])
  26 #elif VECT_SIZE == 2
  27 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1])
  28 #elif VECT_SIZE == 4
  29 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3])
  30 #elif VECT_SIZE == 8
  31 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3], l_bin2asc[(i).s4], l_bin2asc[(i).s5], l_bin2asc[(i).s6], l_bin2asc[(i).s7])
  32 #elif VECT_SIZE == 16
  33 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3], l_bin2asc[(i).s4], l_bin2asc[(i).s5], l_bin2asc[(i).s6], l_bin2asc[(i).s7], l_bin2asc[(i).s8], l_bin2asc[(i).s9], l_bin2asc[(i).sa], l_bin2asc[(i).sb], l_bin2asc[(i).sc], l_bin2asc[(i).sd], l_bin2asc[(i).se], l_bin2asc[(i).sf])
  34 #endif
  35
  36 u32 memcat32 (u32x block0[16], u32x block1[16], const u32 block_len, const u32x append0[4], const u32x append1[4], const u32x append2[4], const u32x append3[4], const u32 append_len)
  37 {
  38   const u32 mod = block_len & 3;
  39   const u32 div = block_len / 4;
  40
  41   #if defined IS_AMD || defined IS_GENERIC
  42   const int offset_minus_4 = 4 - mod;
  43
  44   u32x append0_t[4];
  45
  46   append0_t[0] = amd_bytealign (append0[0],          0, offset_minus_4);
  47   append0_t[1] = amd_bytealign (append0[1], append0[0], offset_minus_4);
  48   append0_t[2] = amd_bytealign (append0[2], append0[1], offset_minus_4);
  49   append0_t[3] = amd_bytealign (append0[3], append0[2], offset_minus_4);
  50
  51   u32x append1_t[4];
  52
  53   append1_t[0] = amd_bytealign (append1[0], append0[3], offset_minus_4);
  54   append1_t[1] = amd_bytealign (append1[1], append1[0], offset_minus_4);
  55   append1_t[2] = amd_bytealign (append1[2], append1[1], offset_minus_4);
  56   append1_t[3] = amd_bytealign (append1[3], append1[2], offset_minus_4);
  57
  58   u32x append2_t[4];
  59
  60   append2_t[0] = amd_bytealign (append2[0], append1[3], offset_minus_4);
  61   append2_t[1] = amd_bytealign (append2[1], append2[0], offset_minus_4);
  62   append2_t[2] = amd_bytealign (append2[2], append2[1], offset_minus_4);
  63   append2_t[3] = amd_bytealign (append2[3], append2[2], offset_minus_4);
  64
  65   u32x append3_t[4];
  66
  67   append3_t[0] = amd_bytealign (append3[0], append2[3], offset_minus_4);
  68   append3_t[1] = amd_bytealign (append3[1], append3[0], offset_minus_4);
  69   append3_t[2] = amd_bytealign (append3[2], append3[1], offset_minus_4);
  70   append3_t[3] = amd_bytealign (append3[3], append3[2], offset_minus_4);
  71
  72   u32x append4_t[4];
  73
  74   append4_t[0] = amd_bytealign (         0, append3[3], offset_minus_4);
  75   append4_t[1] = 0;
  76   append4_t[2] = 0;
  77   append4_t[3] = 0;
  78
  79   if (mod == 0)
  80   {
  81     append0_t[0] = append0[0];
  82     append0_t[1] = append0[1];
  83     append0_t[2] = append0[2];
  84     append0_t[3] = append0[3];
  85
  86     append1_t[0] = append1[0];
  87     append1_t[1] = append1[1];
  88     append1_t[2] = append1[2];
  89     append1_t[3] = append1[3];
  90
  91     append2_t[0] = append2[0];
  92     append2_t[1] = append2[1];
  93     append2_t[2] = append2[2];
  94     append2_t[3] = append2[3];
  95
  96     append3_t[0] = append3[0];
  97     append3_t[1] = append3[1];
  98     append3_t[2] = append3[2];
  99     append3_t[3] = append3[3];
 100
 101     append4_t[0] = 0;
 102     append4_t[1] = 0;
 103     append4_t[2] = 0;
 104     append4_t[3] = 0;
 105   }
 106   #endif
 107
 108   #ifdef IS_NV
 109
 110   const int offset_minus_4 = 4 - mod;
 111
 112   const int selector = (0x76543210 >> (offset_minus_4 * 4)) & 0xffff;
 113
 114   u32x append0_t[4];
 115
 116   append0_t[0] = __byte_perm (         0, append0[0], selector);
 117   append0_t[1] = __byte_perm (append0[0], append0[1], selector);
 118   append0_t[2] = __byte_perm (append0[1], append0[2], selector);
 119   append0_t[3] = __byte_perm (append0[2], append0[3], selector);
 120
 121   u32x append1_t[4];
 122
 123   append1_t[0] = __byte_perm (append0[3], append1[0], selector);
 124   append1_t[1] = __byte_perm (append1[0], append1[1], selector);
 125   append1_t[2] = __byte_perm (append1[1], append1[2], selector);
 126   append1_t[3] = __byte_perm (append1[2], append1[3], selector);
 127
 128   u32x append2_t[4];
 129
 130   append2_t[0] = __byte_perm (append1[3], append2[0], selector);
 131   append2_t[1] = __byte_perm (append2[0], append2[1], selector);
 132   append2_t[2] = __byte_perm (append2[1], append2[2], selector);
 133   append2_t[3] = __byte_perm (append2[2], append2[3], selector);
 134
 135   u32x append3_t[4];
 136
 137   append3_t[0] = __byte_perm (append2[3], append3[0], selector);
 138   append3_t[1] = __byte_perm (append3[0], append3[1], selector);
 139   append3_t[2] = __byte_perm (append3[1], append3[2], selector);
 140   append3_t[3] = __byte_perm (append3[2], append3[3], selector);
 141
 142   u32x append4_t[4];
 143
 144   append4_t[0] = __byte_perm (append3[3],          0, selector);
 145   append4_t[1] = 0;
 146   append4_t[2] = 0;
 147   append4_t[3] = 0;
 148   #endif
 149
 150   switch (div)
 151   {
 152     case  0:  block0[ 0] |= append0_t[0];
 153               block0[ 1]  = append0_t[1];
 154               block0[ 2]  = append0_t[2];
 155               block0[ 3]  = append0_t[3];
 156
 157               block0[ 4]  = append1_t[0];
 158               block0[ 5]  = append1_t[1];
 159               block0[ 6]  = append1_t[2];
 160               block0[ 7]  = append1_t[3];
 161
 162               block0[ 8]  = append2_t[0];
 163               block0[ 9]  = append2_t[1];
 164               block0[10]  = append2_t[2];
 165               block0[11]  = append2_t[3];
 166
 167               block0[12]  = append3_t[0];
 168               block0[13]  = append3_t[1];
 169               block0[14]  = append3_t[2];
 170               block0[15]  = append3_t[3];
 171
 172               block1[ 0]  = append4_t[0];
 173               block1[ 1]  = append4_t[1];
 174               block1[ 2]  = append4_t[2];
 175               block1[ 3]  = append4_t[3];
 176               break;
 177
 178     case  1:  block0[ 1] |= append0_t[0];
 179               block0[ 2]  = append0_t[1];
 180               block0[ 3]  = append0_t[2];
 181               block0[ 4]  = append0_t[3];
 182
 183               block0[ 5]  = append1_t[0];
 184               block0[ 6]  = append1_t[1];
 185               block0[ 7]  = append1_t[2];
 186               block0[ 8]  = append1_t[3];
 187
 188               block0[ 9]  = append2_t[0];
 189               block0[10]  = append2_t[1];
 190               block0[11]  = append2_t[2];
 191               block0[12]  = append2_t[3];
 192
 193               block0[13]  = append3_t[0];
 194               block0[14]  = append3_t[1];
 195               block0[15]  = append3_t[2];
 196               block1[ 0]  = append3_t[3];
 197
 198               block1[ 1]  = append4_t[0];
 199               block1[ 2]  = append4_t[1];
 200               block1[ 3]  = append4_t[2];
 201               block1[ 4]  = append4_t[3];
 202               break;
 203
 204     case  2:  block0[ 2] |= append0_t[0];
 205               block0[ 3]  = append0_t[1];
 206               block0[ 4]  = append0_t[2];
 207               block0[ 5]  = append0_t[3];
 208
 209               block0[ 6]  = append1_t[0];
 210               block0[ 7]  = append1_t[1];
 211               block0[ 8]  = append1_t[2];
 212               block0[ 9]  = append1_t[3];
 213
 214               block0[10]  = append2_t[0];
 215               block0[11]  = append2_t[1];
 216               block0[12]  = append2_t[2];
 217               block0[13]  = append2_t[3];
 218
 219               block0[14]  = append3_t[0];
 220               block0[15]  = append3_t[1];
 221               block1[ 0]  = append3_t[2];
 222               block1[ 1]  = append3_t[3];
 223
 224               block1[ 2]  = append4_t[0];
 225               block1[ 3]  = append4_t[1];
 226               block1[ 4]  = append4_t[2];
 227               block1[ 5]  = append4_t[3];
 228               break;
 229
 230     case  3:  block0[ 3] |= append0_t[0];
 231               block0[ 4]  = append0_t[1];
 232               block0[ 5]  = append0_t[2];
 233               block0[ 6]  = append0_t[3];
 234
 235               block0[ 7]  = append1_t[0];
 236               block0[ 8]  = append1_t[1];
 237               block0[ 9]  = append1_t[2];
 238               block0[10]  = append1_t[3];
 239
 240               block0[11]  = append2_t[0];
 241               block0[12]  = append2_t[1];
 242               block0[13]  = append2_t[2];
 243               block0[14]  = append2_t[3];
 244
 245               block0[15]  = append3_t[0];
 246               block1[ 0]  = append3_t[1];
 247               block1[ 1]  = append3_t[2];
 248               block1[ 2]  = append3_t[3];
 249
 250               block1[ 3]  = append4_t[0];
 251               block1[ 4]  = append4_t[1];
 252               block1[ 5]  = append4_t[2];
 253               block1[ 6]  = append4_t[3];
 254               break;
 255
 256     case  4:  block0[ 4] |= append0_t[0];
 257               block0[ 5]  = append0_t[1];
 258               block0[ 6]  = append0_t[2];
 259               block0[ 7]  = append0_t[3];
 260
 261               block0[ 8]  = append1_t[0];
 262               block0[ 9]  = append1_t[1];
 263               block0[10]  = append1_t[2];
 264               block0[11]  = append1_t[3];
 265
 266               block0[12]  = append2_t[0];
 267               block0[13]  = append2_t[1];
 268               block0[14]  = append2_t[2];
 269               block0[15]  = append2_t[3];
 270
 271               block1[ 0]  = append3_t[0];
 272               block1[ 1]  = append3_t[1];
 273               block1[ 2]  = append3_t[2];
 274               block1[ 3]  = append3_t[3];
 275
 276               block1[ 4]  = append4_t[0];
 277               block1[ 5]  = append4_t[1];
 278               block1[ 6]  = append4_t[2];
 279               block1[ 7]  = append4_t[3];
 280               break;
 281
 282     case  5:  block0[ 5] |= append0_t[0];
 283               block0[ 6]  = append0_t[1];
 284               block0[ 7]  = append0_t[2];
 285               block0[ 8]  = append0_t[3];
 286
 287               block0[ 9]  = append1_t[0];
 288               block0[10]  = append1_t[1];
 289               block0[11]  = append1_t[2];
 290               block0[12]  = append1_t[3];
 291
 292               block0[13]  = append2_t[0];
 293               block0[14]  = append2_t[1];
 294               block0[15]  = append2_t[2];
 295               block1[ 0]  = append2_t[3];
 296
 297               block1[ 1]  = append3_t[0];
 298               block1[ 2]  = append3_t[1];
 299               block1[ 3]  = append3_t[2];
 300               block1[ 4]  = append3_t[3];
 301
 302               block1[ 5]  = append4_t[0];
 303               block1[ 6]  = append4_t[1];
 304               block1[ 7]  = append4_t[2];
 305               block1[ 8]  = append4_t[3];
 306               break;
 307
 308     case  6:  block0[ 6] |= append0_t[0];
 309               block0[ 7]  = append0_t[1];
 310               block0[ 8]  = append0_t[2];
 311               block0[ 9]  = append0_t[3];
 312
 313               block0[10]  = append1_t[0];
 314               block0[11]  = append1_t[1];
 315               block0[12]  = append1_t[2];
 316               block0[13]  = append1_t[3];
 317
 318               block0[14]  = append2_t[0];
 319               block0[15]  = append2_t[1];
 320               block1[ 0]  = append2_t[2];
 321               block1[ 1]  = append2_t[3];
 322
 323               block1[ 2]  = append3_t[0];
 324               block1[ 3]  = append3_t[1];
 325               block1[ 4]  = append3_t[2];
 326               block1[ 5]  = append3_t[3];
 327
 328               block1[ 6]  = append4_t[0];
 329               block1[ 7]  = append4_t[1];
 330               block1[ 8]  = append4_t[2];
 331               block1[ 9]  = append4_t[3];
 332               break;
 333
 334     case  7:  block0[ 7] |= append0_t[0];
 335               block0[ 8]  = append0_t[1];
 336               block0[ 9]  = append0_t[2];
 337               block0[10]  = append0_t[3];
 338
 339               block0[11]  = append1_t[0];
 340               block0[12]  = append1_t[1];
 341               block0[13]  = append1_t[2];
 342               block0[14]  = append1_t[3];
 343
 344               block0[15]  = append2_t[0];
 345               block1[ 0]  = append2_t[1];
 346               block1[ 1]  = append2_t[2];
 347               block1[ 2]  = append2_t[3];
 348
 349               block1[ 3]  = append3_t[0];
 350               block1[ 4]  = append3_t[1];
 351               block1[ 5]  = append3_t[2];
 352               block1[ 6]  = append3_t[3];
 353
 354               block1[ 7]  = append4_t[0];
 355               block1[ 8]  = append4_t[1];
 356               block1[ 9]  = append4_t[2];
 357               block1[10]  = append4_t[3];
 358               break;
 359
 360     case  8:  block0[ 8] |= append0_t[0];
 361               block0[ 9]  = append0_t[1];
 362               block0[10]  = append0_t[2];
 363               block0[11]  = append0_t[3];
 364
 365               block0[12]  = append1_t[0];
 366               block0[13]  = append1_t[1];
 367               block0[14]  = append1_t[2];
 368               block0[15]  = append1_t[3];
 369
 370               block1[ 0]  = append2_t[0];
 371               block1[ 1]  = append2_t[1];
 372               block1[ 2]  = append2_t[2];
 373               block1[ 3]  = append2_t[3];
 374
 375               block1[ 4]  = append3_t[0];
 376               block1[ 5]  = append3_t[1];
 377               block1[ 6]  = append3_t[2];
 378               block1[ 7]  = append3_t[3];
 379
 380               block1[ 8]  = append4_t[0];
 381               block1[ 9]  = append4_t[1];
 382               block1[10]  = append4_t[2];
 383               block1[11]  = append4_t[3];
 384               break;
 385
 386     case  9:  block0[ 9] |= append0_t[0];
 387               block0[10]  = append0_t[1];
 388               block0[11]  = append0_t[2];
 389               block0[12]  = append0_t[3];
 390
 391               block0[13]  = append1_t[0];
 392               block0[14]  = append1_t[1];
 393               block0[15]  = append1_t[2];
 394               block1[ 0]  = append1_t[3];
 395
 396               block1[ 1]  = append2_t[0];
 397               block1[ 2]  = append2_t[1];
 398               block1[ 3]  = append2_t[2];
 399               block1[ 4]  = append2_t[3];
 400
 401               block1[ 5]  = append3_t[0];
 402               block1[ 6]  = append3_t[1];
 403               block1[ 7]  = append3_t[2];
 404               block1[ 8]  = append3_t[3];
 405
 406               block1[ 9]  = append4_t[0];
 407               block1[10]  = append4_t[1];
 408               block1[11]  = append4_t[2];
 409               block1[12]  = append4_t[3];
 410               break;
 411
 412     case 10:  block0[10] |= append0_t[0];
 413               block0[11]  = append0_t[1];
 414               block0[12]  = append0_t[2];
 415               block0[13]  = append0_t[3];
 416
 417               block0[14]  = append1_t[0];
 418               block0[15]  = append1_t[1];
 419               block1[ 0]  = append1_t[2];
 420               block1[ 1]  = append1_t[3];
 421
 422               block1[ 2]  = append2_t[0];
 423               block1[ 3]  = append2_t[1];
 424               block1[ 4]  = append2_t[2];
 425               block1[ 5]  = append2_t[3];
 426
 427               block1[ 6]  = append3_t[0];
 428               block1[ 7]  = append3_t[1];
 429               block1[ 8]  = append3_t[2];
 430               block1[ 9]  = append3_t[3];
 431
 432               block1[10]  = append4_t[0];
 433               block1[11]  = append4_t[1];
 434               block1[12]  = append4_t[2];
 435               block1[13]  = append4_t[3];
 436               break;
 437
 438     case 11:  block0[11] |= append0_t[0];
 439               block0[12]  = append0_t[1];
 440               block0[13]  = append0_t[2];
 441               block0[14]  = append0_t[3];
 442
 443               block0[15]  = append1_t[0];
 444               block1[ 0]  = append1_t[1];
 445               block1[ 1]  = append1_t[2];
 446               block1[ 2]  = append1_t[3];
 447
 448               block1[ 3]  = append2_t[0];
 449               block1[ 4]  = append2_t[1];
 450               block1[ 5]  = append2_t[2];
 451               block1[ 6]  = append2_t[3];
 452
 453               block1[ 7]  = append3_t[0];
 454               block1[ 8]  = append3_t[1];
 455               block1[ 9]  = append3_t[2];
 456               block1[10]  = append3_t[3];
 457
 458               block1[11]  = append4_t[0];
 459               block1[12]  = append4_t[1];
 460               block1[13]  = append4_t[2];
 461               block1[14]  = append4_t[3];
 462               break;
 463
 464     case 12:  block0[12] |= append0_t[0];
 465               block0[13]  = append0_t[1];
 466               block0[14]  = append0_t[2];
 467               block0[15]  = append0_t[3];
 468
 469               block1[ 0]  = append1_t[0];
 470               block1[ 1]  = append1_t[1];
 471               block1[ 2]  = append1_t[2];
 472               block1[ 3]  = append1_t[3];
 473
 474               block1[ 4]  = append2_t[0];
 475               block1[ 5]  = append2_t[1];
 476               block1[ 6]  = append2_t[2];
 477               block1[ 7]  = append2_t[3];
 478
 479               block1[ 8]  = append3_t[0];
 480               block1[ 9]  = append3_t[1];
 481               block1[10]  = append3_t[2];
 482               block1[11]  = append3_t[3];
 483
 484               block1[12]  = append4_t[0];
 485               block1[13]  = append4_t[1];
 486               block1[14]  = append4_t[2];
 487               block1[15]  = append4_t[3];
 488               break;
 489
 490     case 13:  block0[13] |= append0_t[0];
 491               block0[14]  = append0_t[1];
 492               block0[15]  = append0_t[2];
 493               block1[ 0]  = append0_t[3];
 494
 495               block1[ 1]  = append1_t[0];
 496               block1[ 2]  = append1_t[1];
 497               block1[ 3]  = append1_t[2];
 498               block1[ 4]  = append1_t[3];
 499
 500               block1[ 5]  = append2_t[0];
 501               block1[ 6]  = append2_t[1];
 502               block1[ 7]  = append2_t[2];
 503               block1[ 8]  = append2_t[3];
 504
 505               block1[ 9]  = append3_t[0];
 506               block1[10]  = append3_t[1];
 507               block1[11]  = append3_t[2];
 508               block1[12]  = append3_t[3];
 509
 510               block1[13]  = append4_t[0];
 511               block1[14]  = append4_t[1];
 512               block1[15]  = append4_t[2];
 513               break;
 514
 515     case 14:  block0[14] |= append0_t[0];
 516               block0[15]  = append0_t[1];
 517               block1[ 0]  = append0_t[2];
 518               block1[ 1]  = append0_t[3];
 519
 520               block1[ 2]  = append1_t[0];
 521               block1[ 3]  = append1_t[1];
 522               block1[ 4]  = append1_t[2];
 523               block1[ 5]  = append1_t[3];
 524
 525               block1[ 6]  = append2_t[0];
 526               block1[ 7]  = append2_t[1];
 527               block1[ 8]  = append2_t[2];
 528               block1[ 9]  = append2_t[3];
 529
 530               block1[10]  = append3_t[0];
 531               block1[11]  = append3_t[1];
 532               block1[12]  = append3_t[2];
 533               block1[13]  = append3_t[3];
 534
 535               block1[14]  = append4_t[0];
 536               block1[15]  = append4_t[1];
 537               break;
 538
 539     case 15:  block0[15] |= append0_t[0];
 540               block1[ 0]  = append0_t[1];
 541               block1[ 1]  = append0_t[2];
 542               block1[ 2]  = append0_t[3];
 543
 544               block1[ 3]  = append1_t[1];
 545               block1[ 4]  = append1_t[2];
 546               block1[ 5]  = append1_t[3];
 547               block1[ 6]  = append1_t[0];
 548
 549               block1[ 7]  = append2_t[0];
 550               block1[ 8]  = append2_t[1];
 551               block1[ 9]  = append2_t[2];
 552               block1[10]  = append2_t[3];
 553
 554               block1[11]  = append3_t[0];
 555               block1[12]  = append3_t[1];
 556               block1[13]  = append3_t[2];
 557               block1[14]  = append3_t[3];
 558
 559               block1[15]  = append4_t[0];
 560               break;
 561
 562     case 16:  block1[ 0] |= append0_t[0];
 563               block1[ 1]  = append0_t[1];
 564               block1[ 2]  = append0_t[2];
 565               block1[ 3]  = append0_t[3];
 566
 567               block1[ 4]  = append1_t[0];
 568               block1[ 5]  = append1_t[1];
 569               block1[ 6]  = append1_t[2];
 570               block1[ 7]  = append1_t[3];
 571
 572               block1[ 8]  = append2_t[0];
 573               block1[ 9]  = append2_t[1];
 574               block1[10]  = append2_t[2];
 575               block1[11]  = append2_t[3];
 576
 577               block1[12]  = append3_t[0];
 578               block1[13]  = append3_t[1];
 579               block1[14]  = append3_t[2];
 580               block1[15]  = append3_t[3];
 581               break;
 582
 583     case 17:  block1[ 1] |= append0_t[0];
 584               block1[ 2]  = append0_t[1];
 585               block1[ 3]  = append0_t[2];
 586               block1[ 4]  = append0_t[3];
 587
 588               block1[ 5]  = append1_t[0];
 589               block1[ 6]  = append1_t[1];
 590               block1[ 7]  = append1_t[2];
 591               block1[ 8]  = append1_t[3];
 592
 593               block1[ 9]  = append2_t[0];
 594               block1[10]  = append2_t[1];
 595               block1[11]  = append2_t[2];
 596               block1[12]  = append2_t[3];
 597
 598               block1[13]  = append3_t[0];
 599               block1[14]  = append3_t[1];
 600               block1[15]  = append3_t[2];
 601               break;
 602
 603     case 18:  block1[ 2] |= append0_t[0];
 604               block1[ 3]  = append0_t[1];
 605               block1[ 4]  = append0_t[2];
 606               block1[ 5]  = append0_t[3];
 607
 608               block1[ 6]  = append1_t[0];
 609               block1[ 7]  = append1_t[1];
 610               block1[ 8]  = append1_t[2];
 611               block1[ 9]  = append1_t[3];
 612
 613               block1[10]  = append2_t[0];
 614               block1[11]  = append2_t[1];
 615               block1[12]  = append2_t[2];
 616               block1[13]  = append2_t[3];
 617
 618               block1[14]  = append3_t[0];
 619               block1[15]  = append3_t[1];
 620               break;
 621
 622     case 19:  block1[ 3] |= append0_t[0];
 623               block1[ 4]  = append0_t[1];
 624               block1[ 5]  = append0_t[2];
 625               block1[ 6]  = append0_t[3];
 626
 627               block1[ 7]  = append1_t[0];
 628               block1[ 8]  = append1_t[1];
 629               block1[ 9]  = append1_t[2];
 630               block1[10]  = append1_t[3];
 631
 632               block1[11]  = append2_t[0];
 633               block1[12]  = append2_t[1];
 634               block1[13]  = append2_t[2];
 635               block1[14]  = append2_t[3];
 636
 637               block1[15]  = append3_t[0];
 638               break;
 639
 640     case 20:  block1[ 4] |= append0_t[0];
 641               block1[ 5]  = append0_t[1];
 642               block1[ 6]  = append0_t[2];
 643               block1[ 7]  = append0_t[3];
 644
 645               block1[ 8]  = append1_t[0];
 646               block1[ 9]  = append1_t[1];
 647               block1[10]  = append1_t[2];
 648               block1[11]  = append1_t[3];
 649
 650               block1[12]  = append2_t[0];
 651               block1[13]  = append2_t[1];
 652               block1[14]  = append2_t[2];
 653               block1[15]  = append2_t[3];
 654               break;
 655
 656     case 21:  block1[ 5] |= append0_t[0];
 657               block1[ 6]  = append0_t[1];
 658               block1[ 7]  = append0_t[2];
 659               block1[ 8]  = append0_t[3];
 660
 661               block1[ 9]  = append1_t[0];
 662               block1[10]  = append1_t[1];
 663               block1[11]  = append1_t[2];
 664               block1[12]  = append1_t[3];
 665
 666               block1[13]  = append2_t[0];
 667               block1[14]  = append2_t[1];
 668               block1[15]  = append2_t[2];
 669               break;
 670
 671     case 22:  block1[ 6] |= append0_t[0];
 672               block1[ 7]  = append0_t[1];
 673               block1[ 8]  = append0_t[2];
 674               block1[ 9]  = append0_t[3];
 675
 676               block1[10]  = append1_t[0];
 677               block1[11]  = append1_t[1];
 678               block1[12]  = append1_t[2];
 679               block1[13]  = append1_t[3];
 680
 681               block1[14]  = append2_t[0];
 682               block1[15]  = append2_t[1];
 683               break;
 684
 685     case 23:  block1[ 7] |= append0_t[0];
 686               block1[ 8]  = append0_t[1];
 687               block1[ 9]  = append0_t[2];
 688               block1[10]  = append0_t[3];
 689
 690               block1[11]  = append1_t[0];
 691               block1[12]  = append1_t[1];
 692               block1[13]  = append1_t[2];
 693               block1[14]  = append1_t[3];
 694
 695               block1[15]  = append2_t[0];
 696               break;
 697
 698     case 24:  block1[ 8] |= append0_t[0];
 699               block1[ 9]  = append0_t[1];
 700               block1[10]  = append0_t[2];
 701               block1[11]  = append0_t[3];
 702
 703               block1[12]  = append1_t[0];
 704               block1[13]  = append1_t[1];
 705               block1[14]  = append1_t[2];
 706               block1[15]  = append1_t[3];
 707               break;
 708
 709     case 25:  block1[ 9] |= append0_t[0];
 710               block1[10]  = append0_t[1];
 711               block1[11]  = append0_t[2];
 712               block1[12]  = append0_t[3];
 713
 714               block1[13]  = append1_t[0];
 715               block1[14]  = append1_t[1];
 716               block1[15]  = append1_t[2];
 717               break;
 718
 719     case 26:  block1[10] |= append0_t[0];
 720               block1[11]  = append0_t[1];
 721               block1[12]  = append0_t[2];
 722               block1[13]  = append0_t[3];
 723
 724               block1[14]  = append1_t[0];
 725               block1[15]  = append1_t[1];
 726               break;
 727
 728     case 27:  block1[11] |= append0_t[0];
 729               block1[12]  = append0_t[1];
 730               block1[13]  = append0_t[2];
 731               block1[14]  = append0_t[3];
 732
 733               block1[15]  = append1_t[0];
 734               break;
 735
 736     case 28:  block1[12] |= append0_t[0];
 737               block1[13]  = append0_t[1];
 738               block1[14]  = append0_t[2];
 739               block1[15]  = append0_t[3];
 740               break;
 741
 742     case 29:  block1[13] |= append0_t[0];
 743               block1[14]  = append0_t[1];
 744               block1[15]  = append0_t[2];
 745               break;
 746
 747     case 30:  block1[14] |= append0_t[0];
 748               block1[15]  = append0_t[1];
 749               break;
 750   }
 751
 752   u32 new_len = block_len + append_len;
 753
 754   return new_len;
 755 }
 756
 757 __kernel void m11400_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global sip_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 758 {
 759   /**
 760    * modifier
 761    */
 762
 763   const u32 gid = get_global_id (0);
 764   const u32 lid = get_local_id (0);
 765   const u32 lsz = get_local_size (0);
 766
 767   /**
 768    * bin2asc table
 769    */
 770
 771   __local u32 l_bin2asc[256];
 772
 773   for (u32 i = lid; i < 256; i += lsz)
 774   {
 775     const u32 i0 = (i >> 0) & 15;
 776     const u32 i1 = (i >> 4) & 15;
 777
 778     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
 779                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
 780   }
 781
 782   barrier (CLK_LOCAL_MEM_FENCE);
 783
 784   if (gid >= gid_max) return;
 785
 786   /**
 787    * base
 788    */
 789
 790   u32 pw_buf0[4];
 791   u32 pw_buf1[4];
 792
 793   pw_buf0[0] = pws[gid].i[0];
 794   pw_buf0[1] = pws[gid].i[1];
 795   pw_buf0[2] = pws[gid].i[2];
 796   pw_buf0[3] = pws[gid].i[3];
 797   pw_buf1[0] = pws[gid].i[4];
 798   pw_buf1[1] = pws[gid].i[5];
 799   pw_buf1[2] = pws[gid].i[6];
 800   pw_buf1[3] = pws[gid].i[7];
 801
 802   const u32 pw_l_len = pws[gid].pw_len;
 803
 804   /**
 805    * salt
 806    */
 807
 808   const u32 salt_len = esalt_bufs[salt_pos].salt_len; // not a bug, we need to get it from the esalt
 809
 810   u32 salt_buf0[16];
 811   u32 salt_buf1[16];
 812
 813   salt_buf0[ 0] = esalt_bufs[salt_pos].salt_buf[ 0];
 814   salt_buf0[ 1] = esalt_bufs[salt_pos].salt_buf[ 1];
 815   salt_buf0[ 2] = esalt_bufs[salt_pos].salt_buf[ 2];
 816   salt_buf0[ 3] = esalt_bufs[salt_pos].salt_buf[ 3];
 817   salt_buf0[ 4] = esalt_bufs[salt_pos].salt_buf[ 4];
 818   salt_buf0[ 5] = esalt_bufs[salt_pos].salt_buf[ 5];
 819   salt_buf0[ 6] = esalt_bufs[salt_pos].salt_buf[ 6];
 820   salt_buf0[ 7] = esalt_bufs[salt_pos].salt_buf[ 7];
 821   salt_buf0[ 8] = esalt_bufs[salt_pos].salt_buf[ 8];
 822   salt_buf0[ 9] = esalt_bufs[salt_pos].salt_buf[ 9];
 823   salt_buf0[10] = esalt_bufs[salt_pos].salt_buf[10];
 824   salt_buf0[11] = esalt_bufs[salt_pos].salt_buf[11];
 825   salt_buf0[12] = esalt_bufs[salt_pos].salt_buf[12];
 826   salt_buf0[13] = esalt_bufs[salt_pos].salt_buf[13];
 827   salt_buf0[14] = esalt_bufs[salt_pos].salt_buf[14];
 828   salt_buf0[15] = esalt_bufs[salt_pos].salt_buf[15];
 829   salt_buf1[ 0] = esalt_bufs[salt_pos].salt_buf[16];
 830   salt_buf1[ 1] = esalt_bufs[salt_pos].salt_buf[17];
 831   salt_buf1[ 2] = esalt_bufs[salt_pos].salt_buf[18];
 832   salt_buf1[ 3] = esalt_bufs[salt_pos].salt_buf[19];
 833   salt_buf1[ 4] = esalt_bufs[salt_pos].salt_buf[20];
 834   salt_buf1[ 5] = esalt_bufs[salt_pos].salt_buf[21];
 835   salt_buf1[ 6] = esalt_bufs[salt_pos].salt_buf[22];
 836   salt_buf1[ 7] = esalt_bufs[salt_pos].salt_buf[23];
 837   salt_buf1[ 8] = esalt_bufs[salt_pos].salt_buf[24];
 838   salt_buf1[ 9] = esalt_bufs[salt_pos].salt_buf[25];
 839   salt_buf1[10] = esalt_bufs[salt_pos].salt_buf[26];
 840   salt_buf1[11] = esalt_bufs[salt_pos].salt_buf[27];
 841   salt_buf1[12] = esalt_bufs[salt_pos].salt_buf[28];
 842   salt_buf1[13] = esalt_bufs[salt_pos].salt_buf[29];
 843   salt_buf1[14] = 0;
 844   salt_buf1[15] = 0;
 845
 846   /**
 847    * esalt
 848    */
 849
 850   const u32 esalt_len = esalt_bufs[salt_pos].esalt_len;
 851
 852   u32 esalt_buf0[16];
 853   u32 esalt_buf1[16];
 854   u32 esalt_buf2[16];
 855
 856   esalt_buf0[ 0] = esalt_bufs[salt_pos].esalt_buf[ 0];
 857   esalt_buf0[ 1] = esalt_bufs[salt_pos].esalt_buf[ 1];
 858   esalt_buf0[ 2] = esalt_bufs[salt_pos].esalt_buf[ 2];
 859   esalt_buf0[ 3] = esalt_bufs[salt_pos].esalt_buf[ 3];
 860   esalt_buf0[ 4] = esalt_bufs[salt_pos].esalt_buf[ 4];
 861   esalt_buf0[ 5] = esalt_bufs[salt_pos].esalt_buf[ 5];
 862   esalt_buf0[ 6] = esalt_bufs[salt_pos].esalt_buf[ 6];
 863   esalt_buf0[ 7] = esalt_bufs[salt_pos].esalt_buf[ 7];
 864   esalt_buf0[ 8] = esalt_bufs[salt_pos].esalt_buf[ 8];
 865   esalt_buf0[ 9] = esalt_bufs[salt_pos].esalt_buf[ 9];
 866   esalt_buf0[10] = esalt_bufs[salt_pos].esalt_buf[10];
 867   esalt_buf0[11] = esalt_bufs[salt_pos].esalt_buf[11];
 868   esalt_buf0[12] = esalt_bufs[salt_pos].esalt_buf[12];
 869   esalt_buf0[13] = esalt_bufs[salt_pos].esalt_buf[13];
 870   esalt_buf0[14] = esalt_bufs[salt_pos].esalt_buf[14];
 871   esalt_buf0[15] = esalt_bufs[salt_pos].esalt_buf[15];
 872   esalt_buf1[ 0] = esalt_bufs[salt_pos].esalt_buf[16];
 873   esalt_buf1[ 1] = esalt_bufs[salt_pos].esalt_buf[17];
 874   esalt_buf1[ 2] = esalt_bufs[salt_pos].esalt_buf[18];
 875   esalt_buf1[ 3] = esalt_bufs[salt_pos].esalt_buf[19];
 876   esalt_buf1[ 4] = esalt_bufs[salt_pos].esalt_buf[20];
 877   esalt_buf1[ 5] = esalt_bufs[salt_pos].esalt_buf[21];
 878   esalt_buf1[ 6] = esalt_bufs[salt_pos].esalt_buf[22];
 879   esalt_buf1[ 7] = esalt_bufs[salt_pos].esalt_buf[23];
 880   esalt_buf1[ 8] = esalt_bufs[salt_pos].esalt_buf[24];
 881   esalt_buf1[ 9] = esalt_bufs[salt_pos].esalt_buf[25];
 882   esalt_buf1[10] = esalt_bufs[salt_pos].esalt_buf[26];
 883   esalt_buf1[11] = esalt_bufs[salt_pos].esalt_buf[27];
 884   esalt_buf1[12] = esalt_bufs[salt_pos].esalt_buf[28];
 885   esalt_buf1[13] = esalt_bufs[salt_pos].esalt_buf[29];
 886   esalt_buf1[14] = esalt_bufs[salt_pos].esalt_buf[30];
 887   esalt_buf1[15] = esalt_bufs[salt_pos].esalt_buf[31];
 888   esalt_buf2[ 0] = esalt_bufs[salt_pos].esalt_buf[32];
 889   esalt_buf2[ 1] = esalt_bufs[salt_pos].esalt_buf[33];
 890   esalt_buf2[ 2] = esalt_bufs[salt_pos].esalt_buf[34];
 891   esalt_buf2[ 3] = esalt_bufs[salt_pos].esalt_buf[35];
 892   esalt_buf2[ 4] = esalt_bufs[salt_pos].esalt_buf[36];
 893   esalt_buf2[ 5] = esalt_bufs[salt_pos].esalt_buf[37];
 894   esalt_buf2[ 6] = 0;
 895   esalt_buf2[ 7] = 0;
 896   esalt_buf2[ 8] = 0;
 897   esalt_buf2[ 9] = 0;
 898   esalt_buf2[10] = 0;
 899   esalt_buf2[11] = 0;
 900   esalt_buf2[12] = 0;
 901   esalt_buf2[13] = 0;
 902   esalt_buf2[14] = 0;
 903   esalt_buf2[15] = 0;
 904
 905   const u32 digest_esalt_len = 32 + esalt_len;
 906   const u32 remaining_bytes  = digest_esalt_len + 1 - 64; // substract previous block
 907
 908   /**
 909    * loop
 910    */
 911
 912   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 913   {
 914     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 915
 916     const u32x pw_len = pw_l_len + pw_r_len;
 917
 918     /**
 919      * concat password candidate
 920      */
 921
 922     u32x wordl0[4] = { 0 };
 923     u32x wordl1[4] = { 0 };
 924     u32x wordl2[4] = { 0 };
 925     u32x wordl3[4] = { 0 };
 926
 927     wordl0[0] = pw_buf0[0];
 928     wordl0[1] = pw_buf0[1];
 929     wordl0[2] = pw_buf0[2];
 930     wordl0[3] = pw_buf0[3];
 931     wordl1[0] = pw_buf1[0];
 932     wordl1[1] = pw_buf1[1];
 933     wordl1[2] = pw_buf1[2];
 934     wordl1[3] = pw_buf1[3];
 935
 936     u32x wordr0[4] = { 0 };
 937     u32x wordr1[4] = { 0 };
 938     u32x wordr2[4] = { 0 };
 939     u32x wordr3[4] = { 0 };
 940
 941     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 942     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 943     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 944     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 945     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 946     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 947     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 948     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 949
 950     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 951     {
 952       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 953     }
 954     else
 955     {
 956       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 957     }
 958
 959     u32x w0[4];
 960     u32x w1[4];
 961     u32x w2[4];
 962     u32x w3[4];
 963
 964     w0[0] = wordl0[0] | wordr0[0];
 965     w0[1] = wordl0[1] | wordr0[1];
 966     w0[2] = wordl0[2] | wordr0[2];
 967     w0[3] = wordl0[3] | wordr0[3];
 968     w1[0] = wordl1[0] | wordr1[0];
 969     w1[1] = wordl1[1] | wordr1[1];
 970     w1[2] = wordl1[2] | wordr1[2];
 971     w1[3] = wordl1[3] | wordr1[3];
 972     w2[0] = wordl2[0] | wordr2[0];
 973     w2[1] = wordl2[1] | wordr2[1];
 974     w2[2] = wordl2[2] | wordr2[2];
 975     w2[3] = wordl2[3] | wordr2[3];
 976     w3[0] = wordl3[0] | wordr3[0];
 977     w3[1] = wordl3[1] | wordr3[1];
 978     w3[2] = wordl3[2] | wordr3[2];
 979     w3[3] = wordl3[3] | wordr3[3];
 980
 981     const u32x pw_salt_len = salt_len + pw_len;
 982
 983     /*
 984      * HA1 = md5 ($salt . $pass)
 985      */
 986
 987     // append the pass to the salt
 988
 989     u32x block0[16];
 990     u32x block1[16];
 991
 992     block0[ 0] = salt_buf0[ 0];
 993     block0[ 1] = salt_buf0[ 1];
 994     block0[ 2] = salt_buf0[ 2];
 995     block0[ 3] = salt_buf0[ 3];
 996     block0[ 4] = salt_buf0[ 4];
 997     block0[ 5] = salt_buf0[ 5];
 998     block0[ 6] = salt_buf0[ 6];
 999     block0[ 7] = salt_buf0[ 7];
1000     block0[ 8] = salt_buf0[ 8];
1001     block0[ 9] = salt_buf0[ 9];
1002     block0[10] = salt_buf0[10];
1003     block0[11] = salt_buf0[11];
1004     block0[12] = salt_buf0[12];
1005     block0[13] = salt_buf0[13];
1006     block0[14] = salt_buf0[14];
1007     block0[15] = salt_buf0[15];
1008     block1[ 0] = salt_buf1[ 0];
1009     block1[ 1] = salt_buf1[ 1];
1010     block1[ 2] = salt_buf1[ 2];
1011     block1[ 3] = salt_buf1[ 3];
1012     block1[ 4] = salt_buf1[ 4];
1013     block1[ 5] = salt_buf1[ 5];
1014     block1[ 6] = salt_buf1[ 6];
1015     block1[ 7] = salt_buf1[ 7];
1016     block1[ 8] = salt_buf1[ 8];
1017     block1[ 9] = salt_buf1[ 9];
1018     block1[10] = salt_buf1[10];
1019     block1[11] = salt_buf1[11];
1020     block1[12] = salt_buf1[12];
1021     block1[13] = salt_buf1[13];
1022     block1[14] = salt_buf1[14];
1023     block1[15] = salt_buf1[15];
1024
1025     u32 block_len = 0;
1026
1027     block_len = memcat32 (block0, block1, salt_len, w0, w1, w2, w3, pw_len);
1028
1029     u32x w0_t[4];
1030     u32x w1_t[4];
1031     u32x w2_t[4];
1032     u32x w3_t[4];
1033
1034     w0_t[0] = block0[ 0];
1035     w0_t[1] = block0[ 1];
1036     w0_t[2] = block0[ 2];
1037     w0_t[3] = block0[ 3];
1038     w1_t[0] = block0[ 4];
1039     w1_t[1] = block0[ 5];
1040     w1_t[2] = block0[ 6];
1041     w1_t[3] = block0[ 7];
1042     w2_t[0] = block0[ 8];
1043     w2_t[1] = block0[ 9];
1044     w2_t[2] = block0[10];
1045     w2_t[3] = block0[11];
1046     w3_t[0] = block0[12];
1047     w3_t[1] = block0[13];
1048     w3_t[2] = block0[14];
1049     w3_t[3] = block0[15];
1050
1051     if (block_len < 56)
1052     {
1053       w3_t[2] = pw_salt_len * 8;
1054     }
1055
1056     // md5
1057
1058     u32x a = MD5M_A;
1059     u32x b = MD5M_B;
1060     u32x c = MD5M_C;
1061     u32x d = MD5M_D;
1062
1063     MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
1064     MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
1065     MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
1066     MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
1067     MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
1068     MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
1069     MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
1070     MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
1071     MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
1072     MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
1073     MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
1074     MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
1075     MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
1076     MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
1077     MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
1078     MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
1079
1080     MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
1081     MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
1082     MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
1083     MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
1084     MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
1085     MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
1086     MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
1087     MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
1088     MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
1089     MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
1090     MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
1091     MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
1092     MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
1093     MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
1094     MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
1095     MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
1096
1097     MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
1098     MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
1099     MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
1100     MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
1101     MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
1102     MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
1103     MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
1104     MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
1105     MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
1106     MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
1107     MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
1108     MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
1109     MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
1110     MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
1111     MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
1112     MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
1113
1114     MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
1115     MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
1116     MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
1117     MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
1118     MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
1119     MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
1120     MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
1121     MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
1122     MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
1123     MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
1124     MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
1125     MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
1126     MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
1127     MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
1128     MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
1129     MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
1130
1131     a += MD5M_A;
1132     b += MD5M_B;
1133     c += MD5M_C;
1134     d += MD5M_D;
1135
1136     if (block_len > 55)
1137     {
1138       u32x r_a = a;
1139       u32x r_b = b;
1140       u32x r_c = c;
1141       u32x r_d = d;
1142
1143       w0_t[0] = block1[ 0];
1144       w0_t[1] = block1[ 1];
1145       w0_t[2] = block1[ 2];
1146       w0_t[3] = block1[ 3];
1147       w1_t[0] = block1[ 4];
1148       w1_t[1] = block1[ 5];
1149       w1_t[2] = block1[ 6];
1150       w1_t[3] = block1[ 7];
1151       w2_t[0] = block1[ 8];
1152       w2_t[1] = block1[ 9];
1153       w2_t[2] = block1[10];
1154       w2_t[3] = block1[11];
1155       w3_t[0] = block1[12];
1156       w3_t[1] = block1[13];
1157       w3_t[2] = pw_salt_len * 8;
1158       w3_t[3] = 0;
1159
1160       MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
1161       MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
1162       MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
1163       MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
1164       MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
1165       MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
1166       MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
1167       MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
1168       MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
1169       MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
1170       MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
1171       MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
1172       MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
1173       MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
1174       MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
1175       MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
1176
1177       MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
1178       MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
1179       MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
1180       MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
1181       MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
1182       MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
1183       MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
1184       MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
1185       MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
1186       MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
1187       MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
1188       MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
1189       MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
1190       MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
1191       MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
1192       MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
1193
1194       MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
1195       MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
1196       MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
1197       MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
1198       MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
1199       MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
1200       MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
1201       MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
1202       MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
1203       MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
1204       MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
1205       MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
1206       MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
1207       MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
1208       MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
1209       MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
1210
1211       MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
1212       MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
1213       MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
1214       MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
1215       MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
1216       MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
1217       MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
1218       MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
1219       MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
1220       MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
1221       MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
1222       MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
1223       MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
1224       MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
1225       MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
1226       MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
1227
1228       a += r_a;
1229       b += r_b;
1230       c += r_c;
1231       d += r_d;
1232     }
1233
1234     /*
1235      * final = md5 ($HA1 . $esalt)
1236      * we have at least 2 MD5 blocks/transformations, but we might need 3
1237      */
1238
1239     w0_t[0] = uint_to_hex_lower8 ((a >>  0) & 255) <<  0
1240             | uint_to_hex_lower8 ((a >>  8) & 255) << 16;
1241     w0_t[1] = uint_to_hex_lower8 ((a >> 16) & 255) <<  0
1242             | uint_to_hex_lower8 ((a >> 24) & 255) << 16;
1243     w0_t[2] = uint_to_hex_lower8 ((b >>  0) & 255) <<  0
1244             | uint_to_hex_lower8 ((b >>  8) & 255) << 16;
1245     w0_t[3] = uint_to_hex_lower8 ((b >> 16) & 255) <<  0
1246             | uint_to_hex_lower8 ((b >> 24) & 255) << 16;
1247     w1_t[0] = uint_to_hex_lower8 ((c >>  0) & 255) <<  0
1248             | uint_to_hex_lower8 ((c >>  8) & 255) << 16;
1249     w1_t[1] = uint_to_hex_lower8 ((c >> 16) & 255) <<  0
1250             | uint_to_hex_lower8 ((c >> 24) & 255) << 16;
1251     w1_t[2] = uint_to_hex_lower8 ((d >>  0) & 255) <<  0
1252             | uint_to_hex_lower8 ((d >>  8) & 255) << 16;
1253     w1_t[3] = uint_to_hex_lower8 ((d >> 16) & 255) <<  0
1254             | uint_to_hex_lower8 ((d >> 24) & 255) << 16;
1255     w2_t[0] = esalt_buf0[0];
1256     w2_t[1] = esalt_buf0[1];
1257     w2_t[2] = esalt_buf0[2];
1258     w2_t[3] = esalt_buf0[3];
1259     w3_t[0] = esalt_buf0[4];
1260     w3_t[1] = esalt_buf0[5];
1261     w3_t[2] = esalt_buf0[6];
1262     w3_t[3] = esalt_buf0[7];
1263
1264     // md5
1265     // 1st transform
1266
1267     a = MD5M_A;
1268     b = MD5M_B;
1269     c = MD5M_C;
1270     d = MD5M_D;
1271
1272     MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
1273     MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
1274     MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
1275     MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
1276     MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
1277     MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
1278     MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
1279     MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
1280     MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
1281     MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
1282     MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
1283     MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
1284     MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
1285     MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
1286     MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
1287     MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
1288
1289     MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
1290     MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
1291     MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
1292     MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
1293     MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
1294     MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
1295     MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
1296     MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
1297     MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
1298     MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
1299     MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
1300     MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
1301     MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
1302     MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
1303     MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
1304     MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
1305
1306     MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
1307     MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
1308     MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
1309     MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
1310     MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
1311     MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
1312     MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
1313     MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
1314     MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
1315     MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
1316     MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
1317     MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
1318     MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
1319     MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
1320     MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
1321     MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
1322
1323     MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
1324     MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
1325     MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
1326     MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
1327     MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
1328     MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
1329     MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
1330     MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
1331     MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
1332     MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
1333     MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
1334     MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
1335     MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
1336     MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
1337     MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
1338     MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
1339
1340     a += MD5M_A;
1341     b += MD5M_B;
1342     c += MD5M_C;
1343     d += MD5M_D;
1344
1345     u32x r_a = a;
1346     u32x r_b = b;
1347     u32x r_c = c;
1348     u32x r_d = d;
1349
1350     // 2nd transform
1351
1352     w0_t[0] = esalt_buf0[ 8];
1353     w0_t[1] = esalt_buf0[ 9];
1354     w0_t[2] = esalt_buf0[10];
1355     w0_t[3] = esalt_buf0[11];
1356     w1_t[0] = esalt_buf0[12];
1357     w1_t[1] = esalt_buf0[13];
1358     w1_t[2] = esalt_buf0[14];
1359     w1_t[3] = esalt_buf0[15];
1360     w2_t[0] = esalt_buf1[ 0];
1361     w2_t[1] = esalt_buf1[ 1];
1362     w2_t[2] = esalt_buf1[ 2];
1363     w2_t[3] = esalt_buf1[ 3];
1364     w3_t[0] = esalt_buf1[ 4];
1365     w3_t[1] = esalt_buf1[ 5];
1366     w3_t[2] = esalt_buf1[ 6];
1367     w3_t[3] = esalt_buf1[ 7];
1368
1369     // it is the final block when no more than 55 bytes left
1370
1371     if (remaining_bytes < 56)
1372     {
1373       // it is the last block !
1374
1375       w3_t[2] = digest_esalt_len * 8;
1376     }
1377
1378     MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
1379     MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
1380     MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
1381     MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
1382     MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
1383     MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
1384     MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
1385     MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
1386     MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
1387     MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
1388     MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
1389     MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
1390     MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
1391     MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
1392     MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
1393     MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
1394
1395     MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
1396     MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
1397     MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
1398     MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
1399     MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
1400     MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
1401     MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
1402     MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
1403     MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
1404     MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
1405     MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
1406     MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
1407     MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
1408     MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
1409     MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
1410     MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
1411
1412     MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
1413     MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
1414     MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
1415     MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
1416     MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
1417     MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
1418     MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
1419     MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
1420     MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
1421     MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
1422     MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
1423     MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
1424     MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
1425     MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
1426     MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
1427     MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
1428
1429     MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
1430     MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
1431     MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
1432     MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
1433     MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
1434     MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
1435     MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
1436     MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
1437     MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
1438     MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
1439     MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
1440     MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
1441     MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
1442     MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
1443     MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
1444     MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
1445
1446     // sometimes (not rare at all) we need a third block :(
1447
1448     if (remaining_bytes > 55)
1449     {
1450       // this is for sure the final block
1451
1452       a += r_a;
1453       b += r_b;
1454       c += r_c;
1455       d += r_d;
1456
1457       r_a = a;
1458       r_b = b;
1459       r_c = c;
1460       r_d = d;
1461
1462       w0_t[0] = esalt_buf1[ 8];
1463       w0_t[1] = esalt_buf1[ 9];
1464       w0_t[2] = esalt_buf1[10];
1465       w0_t[3] = esalt_buf1[11];
1466       w1_t[0] = esalt_buf1[12];
1467       w1_t[1] = esalt_buf1[13];
1468       w1_t[2] = esalt_buf1[14];
1469       w1_t[3] = esalt_buf1[15];
1470       w2_t[0] = esalt_buf2[ 0];
1471       w2_t[1] = esalt_buf2[ 1];
1472       w2_t[2] = esalt_buf2[ 2];
1473       w2_t[3] = esalt_buf2[ 3];
1474       w3_t[0] = esalt_buf2[ 4];
1475       w3_t[1] = esalt_buf2[ 5];
1476       w3_t[2] = digest_esalt_len * 8;
1477       w3_t[3] = 0;
1478
1479       MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
1480       MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
1481       MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
1482       MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
1483       MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
1484       MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
1485       MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
1486       MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
1487       MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
1488       MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
1489       MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
1490       MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
1491       MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
1492       MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
1493       MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
1494       MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
1495
1496       MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
1497       MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
1498       MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
1499       MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
1500       MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
1501       MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
1502       MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
1503       MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
1504       MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
1505       MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
1506       MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
1507       MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
1508       MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
1509       MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
1510       MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
1511       MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
1512
1513       MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
1514       MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
1515       MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
1516       MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
1517       MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
1518       MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
1519       MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
1520       MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
1521       MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
1522       MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
1523       MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
1524       MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
1525       MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
1526       MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
1527       MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
1528       MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
1529
1530       MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
1531       MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
1532       MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
1533       MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
1534       MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
1535       MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
1536       MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
1537       MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
1538       MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
1539       MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
1540       MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
1541       MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
1542       MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
1543       MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
1544       MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
1545       MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
1546     }
1547
1548     a += r_a;
1549     b += r_b;
1550     c += r_c;
1551     d += r_d;
1552
1553     COMPARE_M_SIMD (a, d, c, b);
1554   }
1555 }
1556
1557 __kernel void m11400_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global sip_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1558 {
1559 }
1560
1561 __kernel void m11400_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global sip_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1562 {
1563 }
1564
1565 __kernel void m11400_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global sip_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1566 {
1567   /**
1568    * modifier
1569    */
1570
1571   const u32 gid = get_global_id (0);
1572   const u32 lid = get_local_id (0);
1573   const u32 lsz = get_local_size (0);
1574
1575   /**
1576    * bin2asc table
1577    */
1578
1579   __local u32 l_bin2asc[256];
1580
1581   for (u32 i = lid; i < 256; i += lsz)
1582   {
1583     const u32 i0 = (i >> 0) & 15;
1584     const u32 i1 = (i >> 4) & 15;
1585
1586     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
1587                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
1588   }
1589
1590   barrier (CLK_LOCAL_MEM_FENCE);
1591
1592   if (gid >= gid_max) return;
1593
1594   /**
1595    * base
1596    */
1597
1598   u32 pw_buf0[4];
1599   u32 pw_buf1[4];
1600
1601   pw_buf0[0] = pws[gid].i[0];
1602   pw_buf0[1] = pws[gid].i[1];
1603   pw_buf0[2] = pws[gid].i[2];
1604   pw_buf0[3] = pws[gid].i[3];
1605   pw_buf1[0] = pws[gid].i[4];
1606   pw_buf1[1] = pws[gid].i[5];
1607   pw_buf1[2] = pws[gid].i[6];
1608   pw_buf1[3] = pws[gid].i[7];
1609
1610   const u32 pw_l_len = pws[gid].pw_len;
1611
1612   /**
1613    * salt
1614    */
1615
1616   const u32 salt_len = esalt_bufs[salt_pos].salt_len; // not a bug, we need to get it from the esalt
1617
1618   u32 salt_buf0[16];
1619   u32 salt_buf1[16];
1620
1621   salt_buf0[ 0] = esalt_bufs[salt_pos].salt_buf[ 0];
1622   salt_buf0[ 1] = esalt_bufs[salt_pos].salt_buf[ 1];
1623   salt_buf0[ 2] = esalt_bufs[salt_pos].salt_buf[ 2];
1624   salt_buf0[ 3] = esalt_bufs[salt_pos].salt_buf[ 3];
1625   salt_buf0[ 4] = esalt_bufs[salt_pos].salt_buf[ 4];
1626   salt_buf0[ 5] = esalt_bufs[salt_pos].salt_buf[ 5];
1627   salt_buf0[ 6] = esalt_bufs[salt_pos].salt_buf[ 6];
1628   salt_buf0[ 7] = esalt_bufs[salt_pos].salt_buf[ 7];
1629   salt_buf0[ 8] = esalt_bufs[salt_pos].salt_buf[ 8];
1630   salt_buf0[ 9] = esalt_bufs[salt_pos].salt_buf[ 9];
1631   salt_buf0[10] = esalt_bufs[salt_pos].salt_buf[10];
1632   salt_buf0[11] = esalt_bufs[salt_pos].salt_buf[11];
1633   salt_buf0[12] = esalt_bufs[salt_pos].salt_buf[12];
1634   salt_buf0[13] = esalt_bufs[salt_pos].salt_buf[13];
1635   salt_buf0[14] = esalt_bufs[salt_pos].salt_buf[14];
1636   salt_buf0[15] = esalt_bufs[salt_pos].salt_buf[15];
1637   salt_buf1[ 0] = esalt_bufs[salt_pos].salt_buf[16];
1638   salt_buf1[ 1] = esalt_bufs[salt_pos].salt_buf[17];
1639   salt_buf1[ 2] = esalt_bufs[salt_pos].salt_buf[18];
1640   salt_buf1[ 3] = esalt_bufs[salt_pos].salt_buf[19];
1641   salt_buf1[ 4] = esalt_bufs[salt_pos].salt_buf[20];
1642   salt_buf1[ 5] = esalt_bufs[salt_pos].salt_buf[21];
1643   salt_buf1[ 6] = esalt_bufs[salt_pos].salt_buf[22];
1644   salt_buf1[ 7] = esalt_bufs[salt_pos].salt_buf[23];
1645   salt_buf1[ 8] = esalt_bufs[salt_pos].salt_buf[24];
1646   salt_buf1[ 9] = esalt_bufs[salt_pos].salt_buf[25];
1647   salt_buf1[10] = esalt_bufs[salt_pos].salt_buf[26];
1648   salt_buf1[11] = esalt_bufs[salt_pos].salt_buf[27];
1649   salt_buf1[12] = esalt_bufs[salt_pos].salt_buf[28];
1650   salt_buf1[13] = esalt_bufs[salt_pos].salt_buf[29];
1651   salt_buf1[14] = 0;
1652   salt_buf1[15] = 0;
1653
1654   /**
1655    * esalt
1656    */
1657
1658   const u32 esalt_len = esalt_bufs[salt_pos].esalt_len;
1659
1660   u32 esalt_buf0[16];
1661   u32 esalt_buf1[16];
1662   u32 esalt_buf2[16];
1663
1664   esalt_buf0[ 0] = esalt_bufs[salt_pos].esalt_buf[ 0];
1665   esalt_buf0[ 1] = esalt_bufs[salt_pos].esalt_buf[ 1];
1666   esalt_buf0[ 2] = esalt_bufs[salt_pos].esalt_buf[ 2];
1667   esalt_buf0[ 3] = esalt_bufs[salt_pos].esalt_buf[ 3];
1668   esalt_buf0[ 4] = esalt_bufs[salt_pos].esalt_buf[ 4];
1669   esalt_buf0[ 5] = esalt_bufs[salt_pos].esalt_buf[ 5];
1670   esalt_buf0[ 6] = esalt_bufs[salt_pos].esalt_buf[ 6];
1671   esalt_buf0[ 7] = esalt_bufs[salt_pos].esalt_buf[ 7];
1672   esalt_buf0[ 8] = esalt_bufs[salt_pos].esalt_buf[ 8];
1673   esalt_buf0[ 9] = esalt_bufs[salt_pos].esalt_buf[ 9];
1674   esalt_buf0[10] = esalt_bufs[salt_pos].esalt_buf[10];
1675   esalt_buf0[11] = esalt_bufs[salt_pos].esalt_buf[11];
1676   esalt_buf0[12] = esalt_bufs[salt_pos].esalt_buf[12];
1677   esalt_buf0[13] = esalt_bufs[salt_pos].esalt_buf[13];
1678   esalt_buf0[14] = esalt_bufs[salt_pos].esalt_buf[14];
1679   esalt_buf0[15] = esalt_bufs[salt_pos].esalt_buf[15];
1680   esalt_buf1[ 0] = esalt_bufs[salt_pos].esalt_buf[16];
1681   esalt_buf1[ 1] = esalt_bufs[salt_pos].esalt_buf[17];
1682   esalt_buf1[ 2] = esalt_bufs[salt_pos].esalt_buf[18];
1683   esalt_buf1[ 3] = esalt_bufs[salt_pos].esalt_buf[19];
1684   esalt_buf1[ 4] = esalt_bufs[salt_pos].esalt_buf[20];
1685   esalt_buf1[ 5] = esalt_bufs[salt_pos].esalt_buf[21];
1686   esalt_buf1[ 6] = esalt_bufs[salt_pos].esalt_buf[22];
1687   esalt_buf1[ 7] = esalt_bufs[salt_pos].esalt_buf[23];
1688   esalt_buf1[ 8] = esalt_bufs[salt_pos].esalt_buf[24];
1689   esalt_buf1[ 9] = esalt_bufs[salt_pos].esalt_buf[25];
1690   esalt_buf1[10] = esalt_bufs[salt_pos].esalt_buf[26];
1691   esalt_buf1[11] = esalt_bufs[salt_pos].esalt_buf[27];
1692   esalt_buf1[12] = esalt_bufs[salt_pos].esalt_buf[28];
1693   esalt_buf1[13] = esalt_bufs[salt_pos].esalt_buf[29];
1694   esalt_buf1[14] = esalt_bufs[salt_pos].esalt_buf[30];
1695   esalt_buf1[15] = esalt_bufs[salt_pos].esalt_buf[31];
1696   esalt_buf2[ 0] = esalt_bufs[salt_pos].esalt_buf[32];
1697   esalt_buf2[ 1] = esalt_bufs[salt_pos].esalt_buf[33];
1698   esalt_buf2[ 2] = esalt_bufs[salt_pos].esalt_buf[34];
1699   esalt_buf2[ 3] = esalt_bufs[salt_pos].esalt_buf[35];
1700   esalt_buf2[ 4] = esalt_bufs[salt_pos].esalt_buf[36];
1701   esalt_buf2[ 5] = esalt_bufs[salt_pos].esalt_buf[37];
1702   esalt_buf2[ 6] = 0;
1703   esalt_buf2[ 7] = 0;
1704   esalt_buf2[ 8] = 0;
1705   esalt_buf2[ 9] = 0;
1706   esalt_buf2[10] = 0;
1707   esalt_buf2[11] = 0;
1708   esalt_buf2[12] = 0;
1709   esalt_buf2[13] = 0;
1710   esalt_buf2[14] = 0;
1711   esalt_buf2[15] = 0;
1712
1713   const u32 digest_esalt_len = 32 + esalt_len;
1714   const u32 remaining_bytes  = digest_esalt_len + 1 - 64; // substract previous block
1715
1716   /**
1717    * digest
1718    */
1719
1720   const u32 search[4] =
1721   {
1722     digests_buf[digests_offset].digest_buf[DGST_R0],
1723     digests_buf[digests_offset].digest_buf[DGST_R1],
1724     digests_buf[digests_offset].digest_buf[DGST_R2],
1725     digests_buf[digests_offset].digest_buf[DGST_R3]
1726   };
1727
1728   /**
1729    * loop
1730    */
1731
1732   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
1733   {
1734     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
1735
1736     const u32x pw_len = pw_l_len + pw_r_len;
1737
1738     /**
1739      * concat password candidate
1740      */
1741
1742     u32x wordl0[4] = { 0 };
1743     u32x wordl1[4] = { 0 };
1744     u32x wordl2[4] = { 0 };
1745     u32x wordl3[4] = { 0 };
1746
1747     wordl0[0] = pw_buf0[0];
1748     wordl0[1] = pw_buf0[1];
1749     wordl0[2] = pw_buf0[2];
1750     wordl0[3] = pw_buf0[3];
1751     wordl1[0] = pw_buf1[0];
1752     wordl1[1] = pw_buf1[1];
1753     wordl1[2] = pw_buf1[2];
1754     wordl1[3] = pw_buf1[3];
1755
1756     u32x wordr0[4] = { 0 };
1757     u32x wordr1[4] = { 0 };
1758     u32x wordr2[4] = { 0 };
1759     u32x wordr3[4] = { 0 };
1760
1761     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
1762     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
1763     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
1764     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
1765     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
1766     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
1767     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
1768     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
1769
1770     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
1771     {
1772       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
1773     }
1774     else
1775     {
1776       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
1777     }
1778
1779     u32x w0[4];
1780     u32x w1[4];
1781     u32x w2[4];
1782     u32x w3[4];
1783
1784     w0[0] = wordl0[0] | wordr0[0];
1785     w0[1] = wordl0[1] | wordr0[1];
1786     w0[2] = wordl0[2] | wordr0[2];
1787     w0[3] = wordl0[3] | wordr0[3];
1788     w1[0] = wordl1[0] | wordr1[0];
1789     w1[1] = wordl1[1] | wordr1[1];
1790     w1[2] = wordl1[2] | wordr1[2];
1791     w1[3] = wordl1[3] | wordr1[3];
1792     w2[0] = wordl2[0] | wordr2[0];
1793     w2[1] = wordl2[1] | wordr2[1];
1794     w2[2] = wordl2[2] | wordr2[2];
1795     w2[3] = wordl2[3] | wordr2[3];
1796     w3[0] = wordl3[0] | wordr3[0];
1797     w3[1] = wordl3[1] | wordr3[1];
1798     w3[2] = wordl3[2] | wordr3[2];
1799     w3[3] = wordl3[3] | wordr3[3];
1800
1801     const u32x pw_salt_len = salt_len + pw_len;
1802
1803     /*
1804      * HA1 = md5 ($salt . $pass)
1805      */
1806
1807     // append the pass to the salt
1808
1809     u32x block0[16];
1810     u32x block1[16];
1811
1812     block0[ 0] = salt_buf0[ 0];
1813     block0[ 1] = salt_buf0[ 1];
1814     block0[ 2] = salt_buf0[ 2];
1815     block0[ 3] = salt_buf0[ 3];
1816     block0[ 4] = salt_buf0[ 4];
1817     block0[ 5] = salt_buf0[ 5];
1818     block0[ 6] = salt_buf0[ 6];
1819     block0[ 7] = salt_buf0[ 7];
1820     block0[ 8] = salt_buf0[ 8];
1821     block0[ 9] = salt_buf0[ 9];
1822     block0[10] = salt_buf0[10];
1823     block0[11] = salt_buf0[11];
1824     block0[12] = salt_buf0[12];
1825     block0[13] = salt_buf0[13];
1826     block0[14] = salt_buf0[14];
1827     block0[15] = salt_buf0[15];
1828     block1[ 0] = salt_buf1[ 0];
1829     block1[ 1] = salt_buf1[ 1];
1830     block1[ 2] = salt_buf1[ 2];
1831     block1[ 3] = salt_buf1[ 3];
1832     block1[ 4] = salt_buf1[ 4];
1833     block1[ 5] = salt_buf1[ 5];
1834     block1[ 6] = salt_buf1[ 6];
1835     block1[ 7] = salt_buf1[ 7];
1836     block1[ 8] = salt_buf1[ 8];
1837     block1[ 9] = salt_buf1[ 9];
1838     block1[10] = salt_buf1[10];
1839     block1[11] = salt_buf1[11];
1840     block1[12] = salt_buf1[12];
1841     block1[13] = salt_buf1[13];
1842     block1[14] = salt_buf1[14];
1843     block1[15] = salt_buf1[15];
1844
1845     u32 block_len = 0;
1846
1847     block_len = memcat32 (block0, block1, salt_len, w0, w1, w2, w3, pw_len);
1848
1849     u32x w0_t[4];
1850     u32x w1_t[4];
1851     u32x w2_t[4];
1852     u32x w3_t[4];
1853
1854     w0_t[0] = block0[ 0];
1855     w0_t[1] = block0[ 1];
1856     w0_t[2] = block0[ 2];
1857     w0_t[3] = block0[ 3];
1858     w1_t[0] = block0[ 4];
1859     w1_t[1] = block0[ 5];
1860     w1_t[2] = block0[ 6];
1861     w1_t[3] = block0[ 7];
1862     w2_t[0] = block0[ 8];
1863     w2_t[1] = block0[ 9];
1864     w2_t[2] = block0[10];
1865     w2_t[3] = block0[11];
1866     w3_t[0] = block0[12];
1867     w3_t[1] = block0[13];
1868     w3_t[2] = block0[14];
1869     w3_t[3] = block0[15];
1870
1871     if (block_len < 56)
1872     {
1873       w3_t[2] = pw_salt_len * 8;
1874     }
1875
1876     // md5
1877
1878     u32x a = MD5M_A;
1879     u32x b = MD5M_B;
1880     u32x c = MD5M_C;
1881     u32x d = MD5M_D;
1882
1883     MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
1884     MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
1885     MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
1886     MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
1887     MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
1888     MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
1889     MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
1890     MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
1891     MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
1892     MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
1893     MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
1894     MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
1895     MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
1896     MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
1897     MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
1898     MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
1899
1900     MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
1901     MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
1902     MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
1903     MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
1904     MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
1905     MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
1906     MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
1907     MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
1908     MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
1909     MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
1910     MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
1911     MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
1912     MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
1913     MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
1914     MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
1915     MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
1916
1917     MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
1918     MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
1919     MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
1920     MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
1921     MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
1922     MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
1923     MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
1924     MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
1925     MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
1926     MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
1927     MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
1928     MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
1929     MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
1930     MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
1931     MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
1932     MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
1933
1934     MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
1935     MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
1936     MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
1937     MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
1938     MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
1939     MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
1940     MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
1941     MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
1942     MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
1943     MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
1944     MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
1945     MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
1946     MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
1947     MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
1948     MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
1949     MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
1950
1951     a += MD5M_A;
1952     b += MD5M_B;
1953     c += MD5M_C;
1954     d += MD5M_D;
1955
1956     if (block_len > 55)
1957     {
1958       u32x r_a = a;
1959       u32x r_b = b;
1960       u32x r_c = c;
1961       u32x r_d = d;
1962
1963       w0_t[0] = block1[ 0];
1964       w0_t[1] = block1[ 1];
1965       w0_t[2] = block1[ 2];
1966       w0_t[3] = block1[ 3];
1967       w1_t[0] = block1[ 4];
1968       w1_t[1] = block1[ 5];
1969       w1_t[2] = block1[ 6];
1970       w1_t[3] = block1[ 7];
1971       w2_t[0] = block1[ 8];
1972       w2_t[1] = block1[ 9];
1973       w2_t[2] = block1[10];
1974       w2_t[3] = block1[11];
1975       w3_t[0] = block1[12];
1976       w3_t[1] = block1[13];
1977       w3_t[2] = pw_salt_len * 8;
1978       w3_t[3] = 0;
1979
1980       MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
1981       MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
1982       MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
1983       MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
1984       MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
1985       MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
1986       MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
1987       MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
1988       MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
1989       MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
1990       MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
1991       MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
1992       MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
1993       MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
1994       MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
1995       MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
1996
1997       MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
1998       MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
1999       MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
2000       MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
2001       MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
2002       MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
2003       MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
2004       MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
2005       MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
2006       MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
2007       MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
2008       MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
2009       MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
2010       MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
2011       MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
2012       MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
2013
2014       MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
2015       MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
2016       MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
2017       MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
2018       MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
2019       MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
2020       MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
2021       MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
2022       MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
2023       MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
2024       MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
2025       MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
2026       MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
2027       MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
2028       MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
2029       MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
2030
2031       MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
2032       MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
2033       MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
2034       MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
2035       MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
2036       MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
2037       MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
2038       MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
2039       MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
2040       MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
2041       MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
2042       MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
2043       MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
2044       MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
2045       MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
2046       MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
2047
2048       a += r_a;
2049       b += r_b;
2050       c += r_c;
2051       d += r_d;
2052     }
2053
2054     /*
2055      * final = md5 ($HA1 . $esalt)
2056      * we have at least 2 MD5 blocks/transformations, but we might need 3
2057      */
2058
2059     w0_t[0] = uint_to_hex_lower8 ((a >>  0) & 255) <<  0
2060             | uint_to_hex_lower8 ((a >>  8) & 255) << 16;
2061     w0_t[1] = uint_to_hex_lower8 ((a >> 16) & 255) <<  0
2062             | uint_to_hex_lower8 ((a >> 24) & 255) << 16;
2063     w0_t[2] = uint_to_hex_lower8 ((b >>  0) & 255) <<  0
2064             | uint_to_hex_lower8 ((b >>  8) & 255) << 16;
2065     w0_t[3] = uint_to_hex_lower8 ((b >> 16) & 255) <<  0
2066             | uint_to_hex_lower8 ((b >> 24) & 255) << 16;
2067     w1_t[0] = uint_to_hex_lower8 ((c >>  0) & 255) <<  0
2068             | uint_to_hex_lower8 ((c >>  8) & 255) << 16;
2069     w1_t[1] = uint_to_hex_lower8 ((c >> 16) & 255) <<  0
2070             | uint_to_hex_lower8 ((c >> 24) & 255) << 16;
2071     w1_t[2] = uint_to_hex_lower8 ((d >>  0) & 255) <<  0
2072             | uint_to_hex_lower8 ((d >>  8) & 255) << 16;
2073     w1_t[3] = uint_to_hex_lower8 ((d >> 16) & 255) <<  0
2074             | uint_to_hex_lower8 ((d >> 24) & 255) << 16;
2075     w2_t[0] = esalt_buf0[0];
2076     w2_t[1] = esalt_buf0[1];
2077     w2_t[2] = esalt_buf0[2];
2078     w2_t[3] = esalt_buf0[3];
2079     w3_t[0] = esalt_buf0[4];
2080     w3_t[1] = esalt_buf0[5];
2081     w3_t[2] = esalt_buf0[6];
2082     w3_t[3] = esalt_buf0[7];
2083
2084     // md5
2085     // 1st transform
2086
2087     a = MD5M_A;
2088     b = MD5M_B;
2089     c = MD5M_C;
2090     d = MD5M_D;
2091
2092     MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
2093     MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
2094     MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
2095     MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
2096     MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
2097     MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
2098     MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
2099     MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
2100     MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
2101     MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
2102     MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
2103     MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
2104     MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
2105     MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
2106     MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
2107     MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
2108
2109     MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
2110     MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
2111     MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
2112     MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
2113     MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
2114     MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
2115     MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
2116     MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
2117     MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
2118     MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
2119     MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
2120     MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
2121     MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
2122     MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
2123     MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
2124     MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
2125
2126     MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
2127     MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
2128     MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
2129     MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
2130     MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
2131     MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
2132     MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
2133     MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
2134     MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
2135     MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
2136     MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
2137     MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
2138     MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
2139     MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
2140     MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
2141     MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
2142
2143     MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
2144     MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
2145     MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
2146     MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
2147     MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
2148     MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
2149     MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
2150     MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
2151     MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
2152     MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
2153     MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
2154     MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
2155     MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
2156     MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
2157     MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
2158     MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
2159
2160     a += MD5M_A;
2161     b += MD5M_B;
2162     c += MD5M_C;
2163     d += MD5M_D;
2164
2165     u32x r_a = a;
2166     u32x r_b = b;
2167     u32x r_c = c;
2168     u32x r_d = d;
2169
2170     // 2nd transform
2171
2172     w0_t[0] = esalt_buf0[ 8];
2173     w0_t[1] = esalt_buf0[ 9];
2174     w0_t[2] = esalt_buf0[10];
2175     w0_t[3] = esalt_buf0[11];
2176     w1_t[0] = esalt_buf0[12];
2177     w1_t[1] = esalt_buf0[13];
2178     w1_t[2] = esalt_buf0[14];
2179     w1_t[3] = esalt_buf0[15];
2180     w2_t[0] = esalt_buf1[ 0];
2181     w2_t[1] = esalt_buf1[ 1];
2182     w2_t[2] = esalt_buf1[ 2];
2183     w2_t[3] = esalt_buf1[ 3];
2184     w3_t[0] = esalt_buf1[ 4];
2185     w3_t[1] = esalt_buf1[ 5];
2186     w3_t[2] = esalt_buf1[ 6];
2187     w3_t[3] = esalt_buf1[ 7];
2188
2189     // it is the final block when no more than 55 bytes left
2190
2191     if (remaining_bytes < 56)
2192     {
2193       // it is the last block !
2194
2195       w3_t[2] = digest_esalt_len * 8;
2196     }
2197
2198     MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
2199     MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
2200     MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
2201     MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
2202     MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
2203     MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
2204     MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
2205     MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
2206     MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
2207     MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
2208     MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
2209     MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
2210     MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
2211     MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
2212     MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
2213     MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
2214
2215     MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
2216     MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
2217     MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
2218     MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
2219     MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
2220     MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
2221     MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
2222     MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
2223     MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
2224     MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
2225     MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
2226     MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
2227     MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
2228     MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
2229     MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
2230     MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
2231
2232     MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
2233     MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
2234     MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
2235     MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
2236     MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
2237     MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
2238     MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
2239     MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
2240     MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
2241     MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
2242     MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
2243     MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
2244     MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
2245     MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
2246     MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
2247     MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
2248
2249     MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
2250     MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
2251     MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
2252     MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
2253     MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
2254     MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
2255     MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
2256     MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
2257     MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
2258     MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
2259     MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
2260     MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
2261     MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
2262     MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
2263     MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
2264     MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
2265
2266     // sometimes (not rare at all) we need a third block :(
2267
2268     if (remaining_bytes > 55)
2269     {
2270       // this is for sure the final block
2271
2272       a += r_a;
2273       b += r_b;
2274       c += r_c;
2275       d += r_d;
2276
2277       r_a = a;
2278       r_b = b;
2279       r_c = c;
2280       r_d = d;
2281
2282       w0_t[0] = esalt_buf1[ 8];
2283       w0_t[1] = esalt_buf1[ 9];
2284       w0_t[2] = esalt_buf1[10];
2285       w0_t[3] = esalt_buf1[11];
2286       w1_t[0] = esalt_buf1[12];
2287       w1_t[1] = esalt_buf1[13];
2288       w1_t[2] = esalt_buf1[14];
2289       w1_t[3] = esalt_buf1[15];
2290       w2_t[0] = esalt_buf2[ 0];
2291       w2_t[1] = esalt_buf2[ 1];
2292       w2_t[2] = esalt_buf2[ 2];
2293       w2_t[3] = esalt_buf2[ 3];
2294       w3_t[0] = esalt_buf2[ 4];
2295       w3_t[1] = esalt_buf2[ 5];
2296       w3_t[2] = digest_esalt_len * 8;
2297       w3_t[3] = 0;
2298
2299       MD5_STEP (MD5_Fo, a, b, c, d, w0_t[0], MD5C00, MD5S00);
2300       MD5_STEP (MD5_Fo, d, a, b, c, w0_t[1], MD5C01, MD5S01);
2301       MD5_STEP (MD5_Fo, c, d, a, b, w0_t[2], MD5C02, MD5S02);
2302       MD5_STEP (MD5_Fo, b, c, d, a, w0_t[3], MD5C03, MD5S03);
2303       MD5_STEP (MD5_Fo, a, b, c, d, w1_t[0], MD5C04, MD5S00);
2304       MD5_STEP (MD5_Fo, d, a, b, c, w1_t[1], MD5C05, MD5S01);
2305       MD5_STEP (MD5_Fo, c, d, a, b, w1_t[2], MD5C06, MD5S02);
2306       MD5_STEP (MD5_Fo, b, c, d, a, w1_t[3], MD5C07, MD5S03);
2307       MD5_STEP (MD5_Fo, a, b, c, d, w2_t[0], MD5C08, MD5S00);
2308       MD5_STEP (MD5_Fo, d, a, b, c, w2_t[1], MD5C09, MD5S01);
2309       MD5_STEP (MD5_Fo, c, d, a, b, w2_t[2], MD5C0a, MD5S02);
2310       MD5_STEP (MD5_Fo, b, c, d, a, w2_t[3], MD5C0b, MD5S03);
2311       MD5_STEP (MD5_Fo, a, b, c, d, w3_t[0], MD5C0c, MD5S00);
2312       MD5_STEP (MD5_Fo, d, a, b, c, w3_t[1], MD5C0d, MD5S01);
2313       MD5_STEP (MD5_Fo, c, d, a, b, w3_t[2], MD5C0e, MD5S02);
2314       MD5_STEP (MD5_Fo, b, c, d, a, w3_t[3], MD5C0f, MD5S03);
2315
2316       MD5_STEP (MD5_Go, a, b, c, d, w0_t[1], MD5C10, MD5S10);
2317       MD5_STEP (MD5_Go, d, a, b, c, w1_t[2], MD5C11, MD5S11);
2318       MD5_STEP (MD5_Go, c, d, a, b, w2_t[3], MD5C12, MD5S12);
2319       MD5_STEP (MD5_Go, b, c, d, a, w0_t[0], MD5C13, MD5S13);
2320       MD5_STEP (MD5_Go, a, b, c, d, w1_t[1], MD5C14, MD5S10);
2321       MD5_STEP (MD5_Go, d, a, b, c, w2_t[2], MD5C15, MD5S11);
2322       MD5_STEP (MD5_Go, c, d, a, b, w3_t[3], MD5C16, MD5S12);
2323       MD5_STEP (MD5_Go, b, c, d, a, w1_t[0], MD5C17, MD5S13);
2324       MD5_STEP (MD5_Go, a, b, c, d, w2_t[1], MD5C18, MD5S10);
2325       MD5_STEP (MD5_Go, d, a, b, c, w3_t[2], MD5C19, MD5S11);
2326       MD5_STEP (MD5_Go, c, d, a, b, w0_t[3], MD5C1a, MD5S12);
2327       MD5_STEP (MD5_Go, b, c, d, a, w2_t[0], MD5C1b, MD5S13);
2328       MD5_STEP (MD5_Go, a, b, c, d, w3_t[1], MD5C1c, MD5S10);
2329       MD5_STEP (MD5_Go, d, a, b, c, w0_t[2], MD5C1d, MD5S11);
2330       MD5_STEP (MD5_Go, c, d, a, b, w1_t[3], MD5C1e, MD5S12);
2331       MD5_STEP (MD5_Go, b, c, d, a, w3_t[0], MD5C1f, MD5S13);
2332
2333       MD5_STEP (MD5_H , a, b, c, d, w1_t[1], MD5C20, MD5S20);
2334       MD5_STEP (MD5_H , d, a, b, c, w2_t[0], MD5C21, MD5S21);
2335       MD5_STEP (MD5_H , c, d, a, b, w2_t[3], MD5C22, MD5S22);
2336       MD5_STEP (MD5_H , b, c, d, a, w3_t[2], MD5C23, MD5S23);
2337       MD5_STEP (MD5_H , a, b, c, d, w0_t[1], MD5C24, MD5S20);
2338       MD5_STEP (MD5_H , d, a, b, c, w1_t[0], MD5C25, MD5S21);
2339       MD5_STEP (MD5_H , c, d, a, b, w1_t[3], MD5C26, MD5S22);
2340       MD5_STEP (MD5_H , b, c, d, a, w2_t[2], MD5C27, MD5S23);
2341       MD5_STEP (MD5_H , a, b, c, d, w3_t[1], MD5C28, MD5S20);
2342       MD5_STEP (MD5_H , d, a, b, c, w0_t[0], MD5C29, MD5S21);
2343       MD5_STEP (MD5_H , c, d, a, b, w0_t[3], MD5C2a, MD5S22);
2344       MD5_STEP (MD5_H , b, c, d, a, w1_t[2], MD5C2b, MD5S23);
2345       MD5_STEP (MD5_H , a, b, c, d, w2_t[1], MD5C2c, MD5S20);
2346       MD5_STEP (MD5_H , d, a, b, c, w3_t[0], MD5C2d, MD5S21);
2347       MD5_STEP (MD5_H , c, d, a, b, w3_t[3], MD5C2e, MD5S22);
2348       MD5_STEP (MD5_H , b, c, d, a, w0_t[2], MD5C2f, MD5S23);
2349
2350       MD5_STEP (MD5_I , a, b, c, d, w0_t[0], MD5C30, MD5S30);
2351       MD5_STEP (MD5_I , d, a, b, c, w1_t[3], MD5C31, MD5S31);
2352       MD5_STEP (MD5_I , c, d, a, b, w3_t[2], MD5C32, MD5S32);
2353       MD5_STEP (MD5_I , b, c, d, a, w1_t[1], MD5C33, MD5S33);
2354       MD5_STEP (MD5_I , a, b, c, d, w3_t[0], MD5C34, MD5S30);
2355       MD5_STEP (MD5_I , d, a, b, c, w0_t[3], MD5C35, MD5S31);
2356       MD5_STEP (MD5_I , c, d, a, b, w2_t[2], MD5C36, MD5S32);
2357       MD5_STEP (MD5_I , b, c, d, a, w0_t[1], MD5C37, MD5S33);
2358       MD5_STEP (MD5_I , a, b, c, d, w2_t[0], MD5C38, MD5S30);
2359       MD5_STEP (MD5_I , d, a, b, c, w3_t[3], MD5C39, MD5S31);
2360       MD5_STEP (MD5_I , c, d, a, b, w1_t[2], MD5C3a, MD5S32);
2361       MD5_STEP (MD5_I , b, c, d, a, w3_t[1], MD5C3b, MD5S33);
2362       MD5_STEP (MD5_I , a, b, c, d, w1_t[0], MD5C3c, MD5S30);
2363       MD5_STEP (MD5_I , d, a, b, c, w2_t[3], MD5C3d, MD5S31);
2364       MD5_STEP (MD5_I , c, d, a, b, w0_t[2], MD5C3e, MD5S32);
2365       MD5_STEP (MD5_I , b, c, d, a, w2_t[1], MD5C3f, MD5S33);
2366     }
2367
2368     a += r_a;
2369     b += r_b;
2370     c += r_c;
2371     d += r_d;
2372
2373     COMPARE_S_SIMD (a, d, c, b);
2374   }
2375 }
2376
2377 __kernel void m11400_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global sip_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
2378 {
2379 }
2380
2381 __kernel void m11400_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global sip_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
2382 {
2383 }