amd/m01500_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  * NOTE........: sboxes were taken from JtR, license below
   5  */
   6
   7 #define _DES_
   8 #define _SCALAR_
   9
  10 #include "include/constants.h"
  11 #include "include/kernel_vendor.h"
  12
  13 #ifdef  VLIW1
  14 #define VECT_SIZE1
  15 #endif
  16
  17 #ifdef  VLIW4
  18 #define VECT_SIZE1
  19 #endif
  20
  21 #ifdef  VLIW5
  22 #define VECT_SIZE1
  23 #endif
  24
  25 #define DGST_R0 0
  26 #define DGST_R1 1
  27 #define DGST_R2 2
  28 #define DGST_R3 3
  29
  30 #include "include/kernel_functions.c"
  31 #include "types_amd.c"
  32 #include "common_amd.c"
  33
  34 #ifdef  VECT_SIZE1
  35 #define VECT_COMPARE_S "check_single_vect1_comp4_warp_bs.c"
  36 #define VECT_COMPARE_M "check_multi_vect1_comp4_warp_bs.c"
  37 #endif
  38
  39 #ifdef  VECT_SIZE2
  40 #define VECT_COMPARE_S "check_single_vect2_comp4_warp_bs.c"
  41 #define VECT_COMPARE_M "check_multi_vect2_comp4_warp_bs.c"
  42 #endif
  43
  44 #ifdef  VECT_SIZE4
  45 #define VECT_COMPARE_S "check_single_vect4_comp4_warp_bs.c"
  46 #define VECT_COMPARE_M "check_multi_vect4_comp4_warp_bs.c"
  47 #endif
  48
  49 #define KXX_DECL  volatile
  50 #define sXXX_DECL volatile
  51
  52 //#define myselx(a,b,c) ((c) ? (b) : (a))
  53 //#define myselx(a,b,c) ((b & c) | (a & ~c))
  54 #define myselx(a,b,c) bitselect ((a), (b), (c))
  55
  56 /*
  57  * Bitslice DES S-boxes making use of a vector conditional select operation
  58  * (e.g., vsel on PowerPC with AltiVec).
  59  *
  60  * Gate counts: 36 33 33 26 35 34 34 32
  61  * Average: 32.875
  62  *
  63  * Several same-gate-count expressions for each S-box are included (for use on
  64  * different CPUs/GPUs).
  65  *
  66  * These Boolean expressions corresponding to DES S-boxes have been generated
  67  * by Roman Rusakov <roman_rus at openwall.com> for use in Openwall's
  68  * John the Ripper password cracker: http://www.openwall.com/john/
  69  * Being mathematical formulas, they are not copyrighted and are free for reuse
  70  * by anyone.
  71  *
  72  * This file (a specific representation of the S-box expressions, surrounding
  73  * logic) is Copyright (c) 2011 by Solar Designer <solar at openwall.com>.
  74  * Redistribution and use in source and binary forms, with or without
  75  * modification, are permitted.  (This is a heavily cut-down "BSD license".)
  76  *
  77  * The effort has been sponsored by Rapid7: http://www.rapid7.com
  78  */
  79
  80 #define vnot(dst, a)                                            (dst) = ~(a)
  81 #define vand(dst, a, b)                                 (dst) = (a) & (b)
  82 #define vor(dst, a, b)                                  (dst) = (a) | (b)
  83 #define vandn(dst, a, b)                                (dst) = (a) & ~(b)
  84 #define vxor(dst, a, b)                                 (dst) = (a) ^ (b)
  85 #define vsel(dst, a, b, c)                      (dst) = bitselect((a),(b),(c))
  86
  87 static void
  88 s1(u32 a1, u32 a2, u32 a3, u32 a4, u32 a5, u32 a6,
  89     u32 * out1, u32 * out2, u32 * out3, u32 * out4)
  90 {
  91         u32 x0F0F3333, x3C3C3C3C, x55FF55FF, x69C369C3, x0903B73F, x09FCB7C0,
  92             x5CA9E295;
  93         u32 x55AFD1B7, x3C3C69C3, x6993B874;
  94         u32 x5CEDE59F, x09FCE295, x5D91A51E, x529E962D;
  95         u32 x29EEADC0, x4B8771A3, x428679F3, x6B68D433;
  96         u32 x5BA7E193, x026F12F3, x6B27C493, x94D83B6C;
  97         u32 x965E0B0F, x3327A113, x847F0A1F, xD6E19C32;
  98         u32 x0DBCE883, x3A25A215, x37994A96;
  99         u32 x8A487EA7, x8B480F07, xB96C2D16;
 100         u32 x0, x1, x2, x3;
 101
 102         vsel(x0F0F3333, a3, a2, a5);
 103         vxor(x3C3C3C3C, a2, a3);
 104         vor(x55FF55FF, a1, a4);
 105         vxor(x69C369C3, x3C3C3C3C, x55FF55FF);
 106         vsel(x0903B73F, a5, x0F0F3333, x69C369C3);
 107         vxor(x09FCB7C0, a4, x0903B73F);
 108         vxor(x5CA9E295, a1, x09FCB7C0);
 109
 110         vsel(x55AFD1B7, x5CA9E295, x55FF55FF, x0F0F3333);
 111         vsel(x3C3C69C3, x3C3C3C3C, x69C369C3, a5);
 112         vxor(x6993B874, x55AFD1B7, x3C3C69C3);
 113
 114         vsel(x5CEDE59F, x55FF55FF, x5CA9E295, x6993B874);
 115         vsel(x09FCE295, x09FCB7C0, x5CA9E295, a5);
 116         vsel(x5D91A51E, x5CEDE59F, x6993B874, x09FCE295);
 117         vxor(x529E962D, x0F0F3333, x5D91A51E);
 118
 119         vsel(x29EEADC0, x69C369C3, x09FCB7C0, x5CEDE59F);
 120         vsel(x4B8771A3, x0F0F3333, x69C369C3, x5CA9E295);
 121         vsel(x428679F3, a5, x4B8771A3, x529E962D);
 122         vxor(x6B68D433, x29EEADC0, x428679F3);
 123
 124         vsel(x5BA7E193, x5CA9E295, x4B8771A3, a3);
 125         vsel(x026F12F3, a4, x0F0F3333, x529E962D);
 126         vsel(x6B27C493, x6B68D433, x5BA7E193, x026F12F3);
 127         vnot(x94D83B6C, x6B27C493);
 128         vsel(x0, x94D83B6C, x6B68D433, a6);
 129         vxor(*out1, *out1, x0);
 130
 131         vsel(x965E0B0F, x94D83B6C, a3, x428679F3);
 132         vsel(x3327A113, x5BA7E193, a2, x69C369C3);
 133         vsel(x847F0A1F, x965E0B0F, a4, x3327A113);
 134         vxor(xD6E19C32, x529E962D, x847F0A1F);
 135         vsel(x1, xD6E19C32, x5CA9E295, a6);
 136         vxor(*out2, *out2, x1);
 137
 138         vsel(x0DBCE883, x09FCE295, x3C3C69C3, x847F0A1F);
 139         vsel(x3A25A215, x3327A113, x5CA9E295, x0903B73F);
 140         vxor(x37994A96, x0DBCE883, x3A25A215);
 141         vsel(x3, x37994A96, x529E962D, a6);
 142         vxor(*out4, *out4, x3);
 143
 144         vxor(x8A487EA7, x5CA9E295, xD6E19C32);
 145         vsel(x8B480F07, a3, x8A487EA7, x847F0A1F);
 146         vsel(xB96C2D16, x8B480F07, x3C3C3C3C, x3A25A215);
 147         vsel(x2, xB96C2D16, x6993B874, a6);
 148         vxor(*out3, *out3, x2);
 149 }
 150
 151 static void
 152 s2(u32 a1, u32 a2, u32 a3, u32 a4, u32 a5, u32 a6,
 153     u32 * out1, u32 * out2, u32 * out3, u32 * out4)
 154 {
 155         u32 x55553333, x0055FF33, x33270F03, x66725A56, x00FFFF00, x668DA556;
 156         u32 x0F0F5A56, xF0F0A5A9, xA5A5969A, xA55A699A;
 157         u32 x0F5AF03C, x6600FF56, x87A5F09C;
 158         u32 xA55A963C, x3C69C30F, xB44BC32D;
 159         u32 x66D7CC56, x0F4B0F2D, x699CC37B, x996C66D2;
 160         u32 xB46C662D, x278DB412, xB66CB43B;
 161         u32 xD2DC4E52, x27993333, xD2994E33;
 162         u32 x278D0F2D, x2E0E547B, x09976748;
 163         u32 x0, x1, x2, x3;
 164
 165         vsel(x55553333, a1, a3, a6);
 166         vsel(x0055FF33, a6, x55553333, a5);
 167         vsel(x33270F03, a3, a4, x0055FF33);
 168         vxor(x66725A56, a1, x33270F03);
 169         vxor(x00FFFF00, a5, a6);
 170         vxor(x668DA556, x66725A56, x00FFFF00);
 171
 172         vsel(x0F0F5A56, a4, x66725A56, a6);
 173         vnot(xF0F0A5A9, x0F0F5A56);
 174         vxor(xA5A5969A, x55553333, xF0F0A5A9);
 175         vxor(xA55A699A, x00FFFF00, xA5A5969A);
 176         vsel(x1, xA55A699A, x668DA556, a2);
 177         vxor(*out2, *out2, x1);
 178
 179         vxor(x0F5AF03C, a4, x0055FF33);
 180         vsel(x6600FF56, x66725A56, a6, x00FFFF00);
 181         vsel(x87A5F09C, xA5A5969A, x0F5AF03C, x6600FF56);
 182
 183         vsel(xA55A963C, xA5A5969A, x0F5AF03C, a5);
 184         vxor(x3C69C30F, a3, x0F5AF03C);
 185         vsel(xB44BC32D, xA55A963C, x3C69C30F, a1);
 186
 187         vsel(x66D7CC56, x66725A56, x668DA556, xA5A5969A);
 188         vsel(x0F4B0F2D, a4, xB44BC32D, a5);
 189         vxor(x699CC37B, x66D7CC56, x0F4B0F2D);
 190         vxor(x996C66D2, xF0F0A5A9, x699CC37B);
 191         vsel(x0, x996C66D2, xB44BC32D, a2);
 192         vxor(*out1, *out1, x0);
 193
 194         vsel(xB46C662D, xB44BC32D, x996C66D2, x00FFFF00);
 195         vsel(x278DB412, x668DA556, xA5A5969A, a1);
 196         vsel(xB66CB43B, xB46C662D, x278DB412, x6600FF56);
 197
 198         vsel(xD2DC4E52, x66D7CC56, x996C66D2, xB44BC32D);
 199         vsel(x27993333, x278DB412, a3, x0055FF33);
 200         vsel(xD2994E33, xD2DC4E52, x27993333, a5);
 201         vsel(x3, x87A5F09C, xD2994E33, a2);
 202         vxor(*out4, *out4, x3);
 203
 204         vsel(x278D0F2D, x278DB412, x0F4B0F2D, a6);
 205         vsel(x2E0E547B, x0F0F5A56, xB66CB43B, x278D0F2D);
 206         vxor(x09976748, x27993333, x2E0E547B);
 207         vsel(x2, xB66CB43B, x09976748, a2);
 208         vxor(*out3, *out3, x2);
 209 }
 210
 211 static void
 212 s3(u32 a1, u32 a2, u32 a3, u32 a4, u32 a5, u32 a6,
 213     u32 * out1, u32 * out2, u32 * out3, u32 * out4)
 214 {
 215         u32 x0F330F33, x0F33F0CC, x5A66A599;
 216         u32 x2111B7BB, x03FF3033, x05BB50EE, x074F201F, x265E97A4;
 217         u32 x556BA09E, x665A93AC, x99A56C53;
 218         u32 x25A1A797, x5713754C, x66559355, x47B135C6;
 219         u32 x9A5A5C60, xD07AF8F8, x87698DB4, xE13C1EE1;
 220         u32 x9E48CDE4, x655B905E, x00A55CFF, x9E49915E;
 221         u32 xD6599874, x05330022, xD2699876;
 222         u32 x665F9364, xD573F0F2, xB32C6396;
 223         u32 x0, x1, x2, x3;
 224
 225         vsel(x0F330F33, a4, a3, a5);
 226         vxor(x0F33F0CC, a6, x0F330F33);
 227         vxor(x5A66A599, a2, x0F33F0CC);
 228
 229         vsel(x2111B7BB, a3, a6, x5A66A599);
 230         vsel(x03FF3033, a5, a3, x0F33F0CC);
 231         vsel(x05BB50EE, a5, x0F33F0CC, a2);
 232         vsel(x074F201F, x03FF3033, a4, x05BB50EE);
 233         vxor(x265E97A4, x2111B7BB, x074F201F);
 234
 235         vsel(x556BA09E, x5A66A599, x05BB50EE, a4);
 236         vsel(x665A93AC, x556BA09E, x265E97A4, a3);
 237         vnot(x99A56C53, x665A93AC);
 238         vsel(x1, x265E97A4, x99A56C53, a1);
 239         vxor(*out2, *out2, x1);
 240
 241         vxor(x25A1A797, x03FF3033, x265E97A4);
 242         vsel(x5713754C, a2, x0F33F0CC, x074F201F);
 243         vsel(x66559355, x665A93AC, a2, a5);
 244         vsel(x47B135C6, x25A1A797, x5713754C, x66559355);
 245
 246         vxor(x9A5A5C60, x03FF3033, x99A56C53);
 247         vsel(xD07AF8F8, x9A5A5C60, x556BA09E, x5A66A599);
 248         vxor(x87698DB4, x5713754C, xD07AF8F8);
 249         vxor(xE13C1EE1, x66559355, x87698DB4);
 250
 251         vsel(x9E48CDE4, x9A5A5C60, x87698DB4, x265E97A4);
 252         vsel(x655B905E, x66559355, x05BB50EE, a4);
 253         vsel(x00A55CFF, a5, a6, x9A5A5C60);
 254         vsel(x9E49915E, x9E48CDE4, x655B905E, x00A55CFF);
 255         vsel(x0, x9E49915E, xE13C1EE1, a1);
 256         vxor(*out1, *out1, x0);
 257
 258         vsel(xD6599874, xD07AF8F8, x66559355, x0F33F0CC);
 259         vand(x05330022, x0F330F33, x05BB50EE);
 260         vsel(xD2699876, xD6599874, x00A55CFF, x05330022);
 261         vsel(x3, x5A66A599, xD2699876, a1);
 262         vxor(*out4, *out4, x3);
 263
 264         vsel(x665F9364, x265E97A4, x66559355, x47B135C6);
 265         vsel(xD573F0F2, xD07AF8F8, x05330022, a4);
 266         vxor(xB32C6396, x665F9364, xD573F0F2);
 267         vsel(x2, xB32C6396, x47B135C6, a1);
 268         vxor(*out3, *out3, x2);
 269 }
 270
 271 static void
 272 s4(u32 a1, u32 a2, u32 a3, u32 a4, u32 a5, u32 a6,
 273     u32 * out1, u32 * out2, u32 * out3, u32 * out4)
 274 {
 275         u32 x0505AFAF, x0555AF55, x0A5AA05A, x46566456, x0A0A5F5F, x0AF55FA0,
 276             x0AF50F0F, x4CA36B59;
 277         u32 xB35C94A6;
 278         u32 x01BB23BB, x5050FAFA, xA31C26BE, xA91679E1;
 279         u32 x56E9861E;
 280         u32 x50E9FA1E, x0AF55F00, x827D9784, xD2946D9A;
 281         u32 x31F720B3, x11FB21B3, x4712A7AD, x9586CA37;
 282         u32 x0, x1, x2, x3;
 283
 284         vsel(x0505AFAF, a5, a3, a1);
 285         vsel(x0555AF55, x0505AFAF, a1, a4);
 286         vxor(x0A5AA05A, a3, x0555AF55);
 287         vsel(x46566456, a1, x0A5AA05A, a2);
 288         vsel(x0A0A5F5F, a3, a5, a1);
 289         vxor(x0AF55FA0, a4, x0A0A5F5F);
 290         vsel(x0AF50F0F, x0AF55FA0, a3, a5);
 291         vxor(x4CA36B59, x46566456, x0AF50F0F);
 292
 293         vnot(xB35C94A6, x4CA36B59);
 294
 295         vsel(x01BB23BB, a4, a2, x0555AF55);
 296         vxor(x5050FAFA, a1, x0505AFAF);
 297         vsel(xA31C26BE, xB35C94A6, x01BB23BB, x5050FAFA);
 298         vxor(xA91679E1, x0A0A5F5F, xA31C26BE);
 299
 300         vnot(x56E9861E, xA91679E1);
 301
 302         vsel(x50E9FA1E, x5050FAFA, x56E9861E, a4);
 303         vsel(x0AF55F00, x0AF50F0F, x0AF55FA0, x0A0A5F5F);
 304         vsel(x827D9784, xB35C94A6, x0AF55F00, a2);
 305         vxor(xD2946D9A, x50E9FA1E, x827D9784);
 306         vsel(x2, xD2946D9A, x4CA36B59, a6);
 307         vxor(*out3, *out3, x2);
 308         vsel(x3, xB35C94A6, xD2946D9A, a6);
 309         vxor(*out4, *out4, x3);
 310
 311         vsel(x31F720B3, a2, a4, x0AF55FA0);
 312         vsel(x11FB21B3, x01BB23BB, x31F720B3, x5050FAFA);
 313         vxor(x4712A7AD, x56E9861E, x11FB21B3);
 314         vxor(x9586CA37, xD2946D9A, x4712A7AD);
 315         vsel(x0, x56E9861E, x9586CA37, a6);
 316         vxor(*out1, *out1, x0);
 317         vsel(x1, x9586CA37, xA91679E1, a6);
 318         vxor(*out2, *out2, x1);
 319 }
 320
 321 static void
 322 s5(u32 a1, u32 a2, u32 a3, u32 a4, u32 a5, u32 a6,
 323     u32 * out1, u32 * out2, u32 * out3, u32 * out4)
 324 {
 325         u32 x550F550F, xAAF0AAF0, xA5F5A5F5, x96C696C6, x00FFFF00, x963969C6;
 326         u32 x2E3C2E3C, xB73121F7, x1501DF0F, x00558A5F, x2E69A463;
 327         u32 x0679ED42, x045157FD, xB32077FF, x9D49D39C;
 328         u32 xAC81CFB2, xF72577AF, x5BA4B81D;
 329         u32 x5BA477AF, x4895469F, x3A35273A, x1A35669A;
 330         u32 x12E6283D, x9E47D3D4, x1A676AB4;
 331         u32 x891556DF, xE5E77F82, x6CF2295D;
 332         u32 x2E3CA5F5, x9697C1C6, x369CC1D6;
 333         u32 x0, x1, x2, x3;
 334
 335         vsel(x550F550F, a1, a3, a5);
 336         vnot(xAAF0AAF0, x550F550F);
 337         vsel(xA5F5A5F5, xAAF0AAF0, a1, a3);
 338         vxor(x96C696C6, a2, xA5F5A5F5);
 339         vxor(x00FFFF00, a5, a6);
 340         vxor(x963969C6, x96C696C6, x00FFFF00);
 341
 342         vsel(x2E3C2E3C, a3, xAAF0AAF0, a2);
 343         vsel(xB73121F7, a2, x963969C6, x96C696C6);
 344         vsel(x1501DF0F, a6, x550F550F, xB73121F7);
 345         vsel(x00558A5F, x1501DF0F, a5, a1);
 346         vxor(x2E69A463, x2E3C2E3C, x00558A5F);
 347
 348         vsel(x0679ED42, x00FFFF00, x2E69A463, x96C696C6);
 349         vsel(x045157FD, a6, a1, x0679ED42);
 350         vsel(xB32077FF, xB73121F7, a6, x045157FD);
 351         vxor(x9D49D39C, x2E69A463, xB32077FF);
 352         vsel(x2, x9D49D39C, x2E69A463, a4);
 353         vxor(*out3, *out3, x2);
 354
 355         vsel(xAC81CFB2, xAAF0AAF0, x1501DF0F, x0679ED42);
 356         vsel(xF72577AF, xB32077FF, x550F550F, a1);
 357         vxor(x5BA4B81D, xAC81CFB2, xF72577AF);
 358         vsel(x1, x5BA4B81D, x963969C6, a4);
 359         vxor(*out2, *out2, x1);
 360
 361         vsel(x5BA477AF, x5BA4B81D, xF72577AF, a6);
 362         vsel(x4895469F, x5BA477AF, x00558A5F, a2);
 363         vsel(x3A35273A, x2E3C2E3C, a2, x963969C6);
 364         vsel(x1A35669A, x4895469F, x3A35273A, x5BA4B81D);
 365
 366         vsel(x12E6283D, a5, x5BA4B81D, x963969C6);
 367         vsel(x9E47D3D4, x96C696C6, x9D49D39C, xAC81CFB2);
 368         vsel(x1A676AB4, x12E6283D, x9E47D3D4, x4895469F);
 369
 370         vsel(x891556DF, xB32077FF, x4895469F, x3A35273A);
 371         vsel(xE5E77F82, xF72577AF, x00FFFF00, x12E6283D);
 372         vxor(x6CF2295D, x891556DF, xE5E77F82);
 373         vsel(x3, x1A35669A, x6CF2295D, a4);
 374         vxor(*out4, *out4, x3);
 375
 376         vsel(x2E3CA5F5, x2E3C2E3C, xA5F5A5F5, a6);
 377         vsel(x9697C1C6, x96C696C6, x963969C6, x045157FD);
 378         vsel(x369CC1D6, x2E3CA5F5, x9697C1C6, x5BA477AF);
 379         vsel(x0, x369CC1D6, x1A676AB4, a4);
 380         vxor(*out1, *out1, x0);
 381 }
 382
 383 static void
 384 s6(u32 a1, u32 a2, u32 a3, u32 a4, u32 a5, u32 a6,
 385     u32 * out1, u32 * out2, u32 * out3, u32 * out4)
 386 {
 387         u32 x555500FF, x666633CC, x606F30CF, x353A659A, x353A9A65, xCAC5659A;
 388         u32 x353A6565, x0A3F0A6F, x6C5939A3, x5963A3C6;
 389         u32 x35FF659A, x3AF06A95, x05CF0A9F, x16E94A97;
 390         u32 x86CD4C9B, x12E0FFFD, x942D9A67;
 391         u32 x142956AB, x455D45DF, x1C3EE619;
 392         u32 x2AEA70D5, x20CF7A9F, x3CF19C86, x69A49C79;
 393         u32 x840DBB67, x6DA19C1E, x925E63E1;
 394         u32 x9C3CA761, x257A75D5, xB946D2B4;
 395         u32 x0, x1, x2, x3;
 396
 397         vsel(x555500FF, a1, a4, a5);
 398         vxor(x666633CC, a2, x555500FF);
 399         vsel(x606F30CF, x666633CC, a4, a3);
 400         vxor(x353A659A, a1, x606F30CF);
 401         vxor(x353A9A65, a5, x353A659A);
 402         vnot(xCAC5659A, x353A9A65);
 403
 404         vsel(x353A6565, x353A659A, x353A9A65, a4);
 405         vsel(x0A3F0A6F, a3, a4, x353A6565);
 406         vxor(x6C5939A3, x666633CC, x0A3F0A6F);
 407         vxor(x5963A3C6, x353A9A65, x6C5939A3);
 408
 409         vsel(x35FF659A, a4, x353A659A, x353A6565);
 410         vxor(x3AF06A95, a3, x35FF659A);
 411         vsel(x05CF0A9F, a4, a3, x353A9A65);
 412         vsel(x16E94A97, x3AF06A95, x05CF0A9F, x6C5939A3);
 413
 414         vsel(x86CD4C9B, xCAC5659A, x05CF0A9F, x6C5939A3);
 415         vsel(x12E0FFFD, a5, x3AF06A95, x16E94A97);
 416         vsel(x942D9A67, x86CD4C9B, x353A9A65, x12E0FFFD);
 417         vsel(x0, xCAC5659A, x942D9A67, a6);
 418         vxor(*out1, *out1, x0);
 419
 420         vsel(x142956AB, x353A659A, x942D9A67, a2);
 421         vsel(x455D45DF, a1, x86CD4C9B, x142956AB);
 422         vxor(x1C3EE619, x5963A3C6, x455D45DF);
 423         vsel(x3, x5963A3C6, x1C3EE619, a6);
 424         vxor(*out4, *out4, x3);
 425
 426         vsel(x2AEA70D5, x3AF06A95, x606F30CF, x353A9A65);
 427         vsel(x20CF7A9F, x2AEA70D5, x05CF0A9F, x0A3F0A6F);
 428         vxor(x3CF19C86, x1C3EE619, x20CF7A9F);
 429         vxor(x69A49C79, x555500FF, x3CF19C86);
 430
 431         vsel(x840DBB67, a5, x942D9A67, x86CD4C9B);
 432         vsel(x6DA19C1E, x69A49C79, x3CF19C86, x840DBB67);
 433         vnot(x925E63E1, x6DA19C1E);
 434         vsel(x1, x925E63E1, x69A49C79, a6);
 435         vxor(*out2, *out2, x1);
 436
 437         vsel(x9C3CA761, x840DBB67, x1C3EE619, x3CF19C86);
 438         vsel(x257A75D5, x455D45DF, x2AEA70D5, x606F30CF);
 439         vxor(xB946D2B4, x9C3CA761, x257A75D5);
 440         vsel(x2, x16E94A97, xB946D2B4, a6);
 441         vxor(*out3, *out3, x2);
 442 }
 443
 444 static void
 445 s7(u32 a1, u32 a2, u32 a3, u32 a4, u32 a5, u32 a6,
 446     u32 * out1, u32 * out2, u32 * out3, u32 * out4)
 447 {
 448         u32 x44447777, x4B4B7878, x22772277, x0505F5F5, x220522F5, x694E5A8D;
 449         u32 x00FFFF00, x66666666, x32353235, x26253636, x26DAC936;
 450         u32 x738F9C63, x11EF9867, x26DA9867;
 451         u32 x4B4B9C63, x4B666663, x4E639396;
 452         u32 x4E4B393C, xFF00FF00, xFF05DD21, xB14EE41D;
 453         u32 xD728827B, x6698807B, x699C585B;
 454         u32 x738C847B, xA4A71E18, x74878E78;
 455         u32 x333D9639, x74879639, x8B7869C6;
 456         u32 x0, x1, x2, x3;
 457
 458         vsel(x44447777, a2, a6, a3);
 459         vxor(x4B4B7878, a4, x44447777);
 460         vsel(x22772277, a3, a5, a2);
 461         vsel(x0505F5F5, a6, a2, a4);
 462         vsel(x220522F5, x22772277, x0505F5F5, a5);
 463         vxor(x694E5A8D, x4B4B7878, x220522F5);
 464
 465         vxor(x00FFFF00, a5, a6);
 466         vxor(x66666666, a2, a3);
 467         vsel(x32353235, a3, x220522F5, a4);
 468         vsel(x26253636, x66666666, x32353235, x4B4B7878);
 469         vxor(x26DAC936, x00FFFF00, x26253636);
 470         vsel(x0, x26DAC936, x694E5A8D, a1);
 471         vxor(*out1, *out1, x0);
 472
 473         vxor(x738F9C63, a2, x26DAC936);
 474         vsel(x11EF9867, x738F9C63, a5, x66666666);
 475         vsel(x26DA9867, x26DAC936, x11EF9867, a6);
 476
 477         vsel(x4B4B9C63, x4B4B7878, x738F9C63, a6);
 478         vsel(x4B666663, x4B4B9C63, x66666666, x00FFFF00);
 479         vxor(x4E639396, x0505F5F5, x4B666663);
 480
 481         vsel(x4E4B393C, x4B4B7878, x4E639396, a2);
 482         vnot(xFF00FF00, a5);
 483         vsel(xFF05DD21, xFF00FF00, x738F9C63, x32353235);
 484         vxor(xB14EE41D, x4E4B393C, xFF05DD21);
 485         vsel(x1, xB14EE41D, x26DA9867, a1);
 486         vxor(*out2, *out2, x1);
 487
 488         vxor(xD728827B, x66666666, xB14EE41D);
 489         vsel(x6698807B, x26DA9867, xD728827B, x4E4B393C);
 490         vsel(x699C585B, x6698807B, x694E5A8D, xFF05DD21);
 491         vsel(x2, x699C585B, x4E639396, a1);
 492         vxor(*out3, *out3, x2);
 493
 494         vsel(x738C847B, x738F9C63, xD728827B, x4B4B7878);
 495         vxor(xA4A71E18, x738F9C63, xD728827B);
 496         vsel(x74878E78, x738C847B, xA4A71E18, a4);
 497
 498         vsel(x333D9639, x32353235, x738C847B, xB14EE41D);
 499         vsel(x74879639, x74878E78, x333D9639, a6);
 500         vnot(x8B7869C6, x74879639);
 501         vsel(x3, x74878E78, x8B7869C6, a1);
 502         vxor(*out4, *out4, x3);
 503 }
 504
 505 static void
 506 s8(u32 a1, u32 a2, u32 a3, u32 a4, u32 a5, u32 a6,
 507     u32 * out1, u32 * out2, u32 * out3, u32 * out4)
 508 {
 509         u32 x0505F5F5, x05FAF50A, x0F0F00FF, x22227777, x07DA807F, x34E9B34C;
 510         u32 x00FFF00F, x0033FCCF, x5565B15C, x0C0C3F3F, x59698E63;
 511         u32 x3001F74E, x30555745, x693CD926;
 512         u32 x0C0CD926, x0C3F25E9, x38D696A5;
 513         u32 xC729695A;
 514         u32 x03D2117B, xC778395B, xCB471CB2;
 515         u32 x5425B13F, x56B3803F, x919AE965;
 516         u32 x17B3023F, x75555755, x62E6556A, xA59E6C31;
 517         u32 x0, x1, x2, x3;
 518
 519         vsel(x0505F5F5, a5, a1, a3);
 520         vxor(x05FAF50A, a4, x0505F5F5);
 521         vsel(x0F0F00FF, a3, a4, a5);
 522         vsel(x22227777, a2, a5, a1);
 523         vsel(x07DA807F, x05FAF50A, x0F0F00FF, x22227777);
 524         vxor(x34E9B34C, a2, x07DA807F);
 525
 526         vsel(x00FFF00F, x05FAF50A, a4, a3);
 527         vsel(x0033FCCF, a5, x00FFF00F, a2);
 528         vsel(x5565B15C, a1, x34E9B34C, x0033FCCF);
 529         vsel(x0C0C3F3F, a3, a5, a2);
 530         vxor(x59698E63, x5565B15C, x0C0C3F3F);
 531
 532         vsel(x3001F74E, x34E9B34C, a5, x05FAF50A);
 533         vsel(x30555745, x3001F74E, a1, x00FFF00F);
 534         vxor(x693CD926, x59698E63, x30555745);
 535         vsel(x2, x693CD926, x59698E63, a6);
 536         vxor(*out3, *out3, x2);
 537
 538         vsel(x0C0CD926, x0C0C3F3F, x693CD926, a5);
 539         vxor(x0C3F25E9, x0033FCCF, x0C0CD926);
 540         vxor(x38D696A5, x34E9B34C, x0C3F25E9);
 541
 542         vnot(xC729695A, x38D696A5);
 543
 544         vsel(x03D2117B, x07DA807F, a2, x0C0CD926);
 545         vsel(xC778395B, xC729695A, x03D2117B, x30555745);
 546         vxor(xCB471CB2, x0C3F25E9, xC778395B);
 547         vsel(x1, xCB471CB2, x34E9B34C, a6);
 548         vxor(*out2, *out2, x1);
 549
 550         vsel(x5425B13F, x5565B15C, x0C0C3F3F, x03D2117B);
 551         vsel(x56B3803F, x07DA807F, x5425B13F, x59698E63);
 552         vxor(x919AE965, xC729695A, x56B3803F);
 553         vsel(x3, xC729695A, x919AE965, a6);
 554         vxor(*out4, *out4, x3);
 555
 556         vsel(x17B3023F, x07DA807F, a2, x59698E63);
 557         vor(x75555755, a1, x30555745);
 558         vxor(x62E6556A, x17B3023F, x75555755);
 559         vxor(xA59E6C31, xC778395B, x62E6556A);
 560         vsel(x0, xA59E6C31, x38D696A5, a6);
 561         vxor(*out1, *out1, x0);
 562 }
 563
 564 #define SWAP(a, b) { u32 tmp=a;a=b;b=tmp; }
 565
 566 #define DATASWAP  \
 567   SWAP(D00, D32); \
 568   SWAP(D01, D33); \
 569   SWAP(D02, D34); \
 570   SWAP(D03, D35); \
 571   SWAP(D04, D36); \
 572   SWAP(D05, D37); \
 573   SWAP(D06, D38); \
 574   SWAP(D07, D39); \
 575   SWAP(D08, D40); \
 576   SWAP(D09, D41); \
 577   SWAP(D10, D42); \
 578   SWAP(D11, D43); \
 579   SWAP(D12, D44); \
 580   SWAP(D13, D45); \
 581   SWAP(D14, D46); \
 582   SWAP(D15, D47); \
 583   SWAP(D16, D48); \
 584   SWAP(D17, D49); \
 585   SWAP(D18, D50); \
 586   SWAP(D19, D51); \
 587   SWAP(D20, D52); \
 588   SWAP(D21, D53); \
 589   SWAP(D22, D54); \
 590   SWAP(D23, D55); \
 591   SWAP(D24, D56); \
 592   SWAP(D25, D57); \
 593   SWAP(D26, D58); \
 594   SWAP(D27, D59); \
 595   SWAP(D28, D60); \
 596   SWAP(D29, D61); \
 597   SWAP(D30, D62); \
 598   SWAP(D31, D63);
 599
 600 #define KEYSET00 { k00 = K08; k01 = K44; k02 = K29; k03 = K52; k04 = K42; k05 = K14; k06 = K28; k07 = K49; k08 = K01; k09 = K07; k10 = K16; k11 = K36; k12 = K02; k13 = K30; k14 = K22; k15 = K21; k16 = K38; k17 = K50; k18 = K51; k19 = K00; k20 = K31; k21 = K23; k22 = K15; k23 = K35; k24 = K19; k25 = K24; k26 = K34; k27 = K47; k28 = K32; k29 = K03; k30 = K41; k31 = K26; k32 = K04; k33 = K46; k34 = K20; k35 = K25; k36 = K53; k37 = K18; k38 = K33; k39 = K55; k40 = K13; k41 = K17; k42 = K39; k43 = K12; k44 = K11; k45 = K54; k46 = K48; k47 = K27; }
 601 #define KEYSET10 { k00 = K49; k01 = K28; k02 = K45; k03 = K36; k04 = K01; k05 = K30; k06 = K44; k07 = K08; k08 = K42; k09 = K23; k10 = K00; k11 = K52; k12 = K43; k13 = K14; k14 = K38; k15 = K37; k16 = K22; k17 = K09; k18 = K35; k19 = K16; k20 = K15; k21 = K07; k22 = K31; k23 = K51; k24 = K03; k25 = K40; k26 = K46; k27 = K04; k28 = K20; k29 = K19; k30 = K53; k31 = K10; k32 = K47; k33 = K34; k34 = K32; k35 = K13; k36 = K41; k37 = K06; k38 = K17; k39 = K12; k40 = K25; k41 = K33; k42 = K27; k43 = K55; k44 = K54; k45 = K11; k46 = K05; k47 = K39; }
 602 #define KEYSET01 { k00 = K01; k01 = K37; k02 = K22; k03 = K45; k04 = K35; k05 = K07; k06 = K21; k07 = K42; k08 = K51; k09 = K00; k10 = K09; k11 = K29; k12 = K52; k13 = K23; k14 = K15; k15 = K14; k16 = K31; k17 = K43; k18 = K44; k19 = K50; k20 = K49; k21 = K16; k22 = K08; k23 = K28; k24 = K12; k25 = K17; k26 = K27; k27 = K40; k28 = K25; k29 = K55; k30 = K34; k31 = K19; k32 = K24; k33 = K39; k34 = K13; k35 = K18; k36 = K46; k37 = K11; k38 = K26; k39 = K48; k40 = K06; k41 = K10; k42 = K32; k43 = K05; k44 = K04; k45 = K47; k46 = K41; k47 = K20; }
 603 #define KEYSET11 { k00 = K35; k01 = K14; k02 = K31; k03 = K22; k04 = K44; k05 = K16; k06 = K30; k07 = K51; k08 = K28; k09 = K09; k10 = K43; k11 = K38; k12 = K29; k13 = K00; k14 = K49; k15 = K23; k16 = K08; k17 = K52; k18 = K21; k19 = K02; k20 = K01; k21 = K50; k22 = K42; k23 = K37; k24 = K48; k25 = K26; k26 = K32; k27 = K17; k28 = K06; k29 = K05; k30 = K39; k31 = K55; k32 = K33; k33 = K20; k34 = K18; k35 = K54; k36 = K27; k37 = K47; k38 = K03; k39 = K53; k40 = K11; k41 = K19; k42 = K13; k43 = K41; k44 = K40; k45 = K24; k46 = K46; k47 = K25; }
 604 #define KEYSET02 { k00 = K44; k01 = K23; k02 = K08; k03 = K31; k04 = K21; k05 = K50; k06 = K07; k07 = K28; k08 = K37; k09 = K43; k10 = K52; k11 = K15; k12 = K38; k13 = K09; k14 = K01; k15 = K00; k16 = K42; k17 = K29; k18 = K30; k19 = K36; k20 = K35; k21 = K02; k22 = K51; k23 = K14; k24 = K53; k25 = K03; k26 = K13; k27 = K26; k28 = K11; k29 = K41; k30 = K20; k31 = K05; k32 = K10; k33 = K25; k34 = K54; k35 = K04; k36 = K32; k37 = K24; k38 = K12; k39 = K34; k40 = K47; k41 = K55; k42 = K18; k43 = K46; k44 = K17; k45 = K33; k46 = K27; k47 = K06; }
 605 #define KEYSET12 { k00 = K21; k01 = K00; k02 = K42; k03 = K08; k04 = K30; k05 = K02; k06 = K16; k07 = K37; k08 = K14; k09 = K52; k10 = K29; k11 = K49; k12 = K15; k13 = K43; k14 = K35; k15 = K09; k16 = K51; k17 = K38; k18 = K07; k19 = K45; k20 = K44; k21 = K36; k22 = K28; k23 = K23; k24 = K34; k25 = K12; k26 = K18; k27 = K03; k28 = K47; k29 = K46; k30 = K25; k31 = K41; k32 = K19; k33 = K06; k34 = K04; k35 = K40; k36 = K13; k37 = K33; k38 = K48; k39 = K39; k40 = K24; k41 = K05; k42 = K54; k43 = K27; k44 = K26; k45 = K10; k46 = K32; k47 = K11; }
 606 #define KEYSET03 { k00 = K30; k01 = K09; k02 = K51; k03 = K42; k04 = K07; k05 = K36; k06 = K50; k07 = K14; k08 = K23; k09 = K29; k10 = K38; k11 = K01; k12 = K49; k13 = K52; k14 = K44; k15 = K43; k16 = K28; k17 = K15; k18 = K16; k19 = K22; k20 = K21; k21 = K45; k22 = K37; k23 = K00; k24 = K39; k25 = K48; k26 = K54; k27 = K12; k28 = K24; k29 = K27; k30 = K06; k31 = K46; k32 = K55; k33 = K11; k34 = K40; k35 = K17; k36 = K18; k37 = K10; k38 = K53; k39 = K20; k40 = K33; k41 = K41; k42 = K04; k43 = K32; k44 = K03; k45 = K19; k46 = K13; k47 = K47; }
 607 #define KEYSET13 { k00 = K07; k01 = K43; k02 = K28; k03 = K51; k04 = K16; k05 = K45; k06 = K02; k07 = K23; k08 = K00; k09 = K38; k10 = K15; k11 = K35; k12 = K01; k13 = K29; k14 = K21; k15 = K52; k16 = K37; k17 = K49; k18 = K50; k19 = K31; k20 = K30; k21 = K22; k22 = K14; k23 = K09; k24 = K20; k25 = K53; k26 = K04; k27 = K48; k28 = K33; k29 = K32; k30 = K11; k31 = K27; k32 = K05; k33 = K47; k34 = K17; k35 = K26; k36 = K54; k37 = K19; k38 = K34; k39 = K25; k40 = K10; k41 = K46; k42 = K40; k43 = K13; k44 = K12; k45 = K55; k46 = K18; k47 = K24; }
 608 #define KEYSET04 { k00 = K16; k01 = K52; k02 = K37; k03 = K28; k04 = K50; k05 = K22; k06 = K36; k07 = K00; k08 = K09; k09 = K15; k10 = K49; k11 = K44; k12 = K35; k13 = K38; k14 = K30; k15 = K29; k16 = K14; k17 = K01; k18 = K02; k19 = K08; k20 = K07; k21 = K31; k22 = K23; k23 = K43; k24 = K25; k25 = K34; k26 = K40; k27 = K53; k28 = K10; k29 = K13; k30 = K47; k31 = K32; k32 = K41; k33 = K24; k34 = K26; k35 = K03; k36 = K04; k37 = K55; k38 = K39; k39 = K06; k40 = K19; k41 = K27; k42 = K17; k43 = K18; k44 = K48; k45 = K05; k46 = K54; k47 = K33; }
 609 #define KEYSET14 { k00 = K50; k01 = K29; k02 = K14; k03 = K37; k04 = K02; k05 = K31; k06 = K45; k07 = K09; k08 = K43; k09 = K49; k10 = K01; k11 = K21; k12 = K44; k13 = K15; k14 = K07; k15 = K38; k16 = K23; k17 = K35; k18 = K36; k19 = K42; k20 = K16; k21 = K08; k22 = K00; k23 = K52; k24 = K06; k25 = K39; k26 = K17; k27 = K34; k28 = K19; k29 = K18; k30 = K24; k31 = K13; k32 = K46; k33 = K33; k34 = K03; k35 = K12; k36 = K40; k37 = K05; k38 = K20; k39 = K11; k40 = K55; k41 = K32; k42 = K26; k43 = K54; k44 = K53; k45 = K41; k46 = K04; k47 = K10; }
 610 #define KEYSET05 { k00 = K02; k01 = K38; k02 = K23; k03 = K14; k04 = K36; k05 = K08; k06 = K22; k07 = K43; k08 = K52; k09 = K01; k10 = K35; k11 = K30; k12 = K21; k13 = K49; k14 = K16; k15 = K15; k16 = K00; k17 = K44; k18 = K45; k19 = K51; k20 = K50; k21 = K42; k22 = K09; k23 = K29; k24 = K11; k25 = K20; k26 = K26; k27 = K39; k28 = K55; k29 = K54; k30 = K33; k31 = K18; k32 = K27; k33 = K10; k34 = K12; k35 = K48; k36 = K17; k37 = K41; k38 = K25; k39 = K47; k40 = K05; k41 = K13; k42 = K03; k43 = K04; k44 = K34; k45 = K46; k46 = K40; k47 = K19; }
 611 #define KEYSET15 { k00 = K36; k01 = K15; k02 = K00; k03 = K23; k04 = K45; k05 = K42; k06 = K31; k07 = K52; k08 = K29; k09 = K35; k10 = K44; k11 = K07; k12 = K30; k13 = K01; k14 = K50; k15 = K49; k16 = K09; k17 = K21; k18 = K22; k19 = K28; k20 = K02; k21 = K51; k22 = K43; k23 = K38; k24 = K47; k25 = K25; k26 = K03; k27 = K20; k28 = K05; k29 = K04; k30 = K10; k31 = K54; k32 = K32; k33 = K19; k34 = K48; k35 = K53; k36 = K26; k37 = K46; k38 = K06; k39 = K24; k40 = K41; k41 = K18; k42 = K12; k43 = K40; k44 = K39; k45 = K27; k46 = K17; k47 = K55; }
 612 #define KEYSET06 { k00 = K45; k01 = K49; k02 = K09; k03 = K00; k04 = K22; k05 = K51; k06 = K08; k07 = K29; k08 = K38; k09 = K44; k10 = K21; k11 = K16; k12 = K07; k13 = K35; k14 = K02; k15 = K01; k16 = K43; k17 = K30; k18 = K31; k19 = K37; k20 = K36; k21 = K28; k22 = K52; k23 = K15; k24 = K24; k25 = K06; k26 = K12; k27 = K25; k28 = K41; k29 = K40; k30 = K19; k31 = K04; k32 = K13; k33 = K55; k34 = K53; k35 = K34; k36 = K03; k37 = K27; k38 = K11; k39 = K33; k40 = K46; k41 = K54; k42 = K48; k43 = K17; k44 = K20; k45 = K32; k46 = K26; k47 = K05; }
 613 #define KEYSET16 { k00 = K22; k01 = K01; k02 = K43; k03 = K09; k04 = K31; k05 = K28; k06 = K42; k07 = K38; k08 = K15; k09 = K21; k10 = K30; k11 = K50; k12 = K16; k13 = K44; k14 = K36; k15 = K35; k16 = K52; k17 = K07; k18 = K08; k19 = K14; k20 = K45; k21 = K37; k22 = K29; k23 = K49; k24 = K33; k25 = K11; k26 = K48; k27 = K06; k28 = K46; k29 = K17; k30 = K55; k31 = K40; k32 = K18; k33 = K05; k34 = K34; k35 = K39; k36 = K12; k37 = K32; k38 = K47; k39 = K10; k40 = K27; k41 = K04; k42 = K53; k43 = K26; k44 = K25; k45 = K13; k46 = K03; k47 = K41; }
 614 #define KEYSET07 { k00 = K31; k01 = K35; k02 = K52; k03 = K43; k04 = K08; k05 = K37; k06 = K51; k07 = K15; k08 = K49; k09 = K30; k10 = K07; k11 = K02; k12 = K50; k13 = K21; k14 = K45; k15 = K44; k16 = K29; k17 = K16; k18 = K42; k19 = K23; k20 = K22; k21 = K14; k22 = K38; k23 = K01; k24 = K10; k25 = K47; k26 = K53; k27 = K11; k28 = K27; k29 = K26; k30 = K05; k31 = K17; k32 = K54; k33 = K41; k34 = K39; k35 = K20; k36 = K48; k37 = K13; k38 = K24; k39 = K19; k40 = K32; k41 = K40; k42 = K34; k43 = K03; k44 = K06; k45 = K18; k46 = K12; k47 = K46; }
 615 #define KEYSET17 { k00 = K15; k01 = K51; k02 = K36; k03 = K02; k04 = K49; k05 = K21; k06 = K35; k07 = K31; k08 = K08; k09 = K14; k10 = K23; k11 = K43; k12 = K09; k13 = K37; k14 = K29; k15 = K28; k16 = K45; k17 = K00; k18 = K01; k19 = K07; k20 = K38; k21 = K30; k22 = K22; k23 = K42; k24 = K26; k25 = K04; k26 = K41; k27 = K54; k28 = K39; k29 = K10; k30 = K48; k31 = K33; k32 = K11; k33 = K53; k34 = K27; k35 = K32; k36 = K05; k37 = K25; k38 = K40; k39 = K03; k40 = K20; k41 = K24; k42 = K46; k43 = K19; k44 = K18; k45 = K06; k46 = K55; k47 = K34; }
 616
 617 static void DESCrypt (const u32 SALT, const u32 K00, const u32 K01, const u32 K02, const u32 K03, const u32 K04, const u32 K05, const u32 K06, const u32 K07, const u32 K08, const u32 K09, const u32 K10, const u32 K11, const u32 K12, const u32 K13, const u32 K14, const u32 K15, const u32 K16, const u32 K17, const u32 K18, const u32 K19, const u32 K20, const u32 K21, const u32 K22, const u32 K23, const u32 K24, const u32 K25, const u32 K26, const u32 K27, const u32 K28, const u32 K29, const u32 K30, const u32 K31, const u32 K32, const u32 K33, const u32 K34, const u32 K35, const u32 K36, const u32 K37, const u32 K38, const u32 K39, const u32 K40, const u32 K41, const u32 K42, const u32 K43, const u32 K44, const u32 K45, const u32 K46, const u32 K47, const u32 K48, const u32 K49, const u32 K50, const u32 K51, const u32 K52, const u32 K53, const u32 K54, const u32 K55, u32 &D00, u32 &D01, u32 &D02, u32 &D03, u32 &D04, u32 &D05, u32 &D06, u32 &D07, u32 &D08, u32 &D09, u32 &D10, u32 &D11, u32 &D12, u32 &D13, u32 &D14, u32 &D15, u32 &D16, u32 &D17, u32 &D18, u32 &D19, u32 &D20, u32 &D21, u32 &D22, u32 &D23, u32 &D24, u32 &D25, u32 &D26, u32 &D27, u32 &D28, u32 &D29, u32 &D30, u32 &D31, u32 &D32, u32 &D33, u32 &D34, u32 &D35, u32 &D36, u32 &D37, u32 &D38, u32 &D39, u32 &D40, u32 &D41, u32 &D42, u32 &D43, u32 &D44, u32 &D45, u32 &D46, u32 &D47, u32 &D48, u32 &D49, u32 &D50, u32 &D51, u32 &D52, u32 &D53, u32 &D54, u32 &D55, u32 &D56, u32 &D57, u32 &D58, u32 &D59, u32 &D60, u32 &D61, u32 &D62, u32 &D63)
 618 {
 619   sXXX_DECL u32 s001 = (0x001 & SALT) ? 0xffffffff : 0;
 620   sXXX_DECL u32 s002 = (0x002 & SALT) ? 0xffffffff : 0;
 621   sXXX_DECL u32 s004 = (0x004 & SALT) ? 0xffffffff : 0;
 622   sXXX_DECL u32 s008 = (0x008 & SALT) ? 0xffffffff : 0;
 623   sXXX_DECL u32 s010 = (0x010 & SALT) ? 0xffffffff : 0;
 624   sXXX_DECL u32 s020 = (0x020 & SALT) ? 0xffffffff : 0;
 625   sXXX_DECL u32 s040 = (0x040 & SALT) ? 0xffffffff : 0;
 626   sXXX_DECL u32 s080 = (0x080 & SALT) ? 0xffffffff : 0;
 627   sXXX_DECL u32 s100 = (0x100 & SALT) ? 0xffffffff : 0;
 628   sXXX_DECL u32 s200 = (0x200 & SALT) ? 0xffffffff : 0;
 629   sXXX_DECL u32 s400 = (0x400 & SALT) ? 0xffffffff : 0;
 630   sXXX_DECL u32 s800 = (0x800 & SALT) ? 0xffffffff : 0;
 631
 632   KXX_DECL u32 k00, k01, k02, k03, k04, k05;
 633   KXX_DECL u32 k06, k07, k08, k09, k10, k11;
 634   KXX_DECL u32 k12, k13, k14, k15, k16, k17;
 635   KXX_DECL u32 k18, k19, k20, k21, k22, k23;
 636   KXX_DECL u32 k24, k25, k26, k27, k28, k29;
 637   KXX_DECL u32 k30, k31, k32, k33, k34, k35;
 638   KXX_DECL u32 k36, k37, k38, k39, k40, k41;
 639   KXX_DECL u32 k42, k43, k44, k45, k46, k47;
 640
 641   /*
 642    * descrypt uses all zero data input, so we can optimize this first round of des
 643    */
 644
 645   KEYSET00;
 646
 647   s1(k00, k01, k02, k03, k04, k05, &D08, &D16, &D22, &D30);
 648   s2(k06, k07, k08, k09, k10, k11, &D12, &D27, &D01, &D17);
 649   s3(k12, k13, k14, k15, k16, k17, &D23, &D15, &D29, &D05);
 650   s4(k18, k19, k20, k21, k22, k23, &D25, &D19, &D09, &D00);
 651   s5(k24, k25, k26, k27, k28, k29, &D07, &D13, &D24, &D02);
 652   s6(k30, k31, k32, k33, k34, k35, &D03, &D28, &D10, &D18);
 653   s7(k36, k37, k38, k39, k40, k41, &D31, &D11, &D21, &D06);
 654   s8(k42, k43, k44, k45, k46, k47, &D04, &D26, &D14, &D20);
 655
 656   DATASWAP;
 657
 658   for (u32 i = 1; i < 16; i++)
 659   {
 660     switch (i)
 661     {
 662       case  0: KEYSET00; break;
 663       case  1: KEYSET01; break;
 664       case  2: KEYSET02; break;
 665       case  3: KEYSET03; break;
 666       case  4: KEYSET04; break;
 667       case  5: KEYSET05; break;
 668       case  6: KEYSET06; break;
 669       case  7: KEYSET07; break;
 670       case  8: KEYSET10; break;
 671       case  9: KEYSET11; break;
 672       case 10: KEYSET12; break;
 673       case 11: KEYSET13; break;
 674       case 12: KEYSET14; break;
 675       case 13: KEYSET15; break;
 676       case 14: KEYSET16; break;
 677       case 15: KEYSET17; break;
 678     }
 679
 680     s1(myselx (D63, D47, s001) ^ k00, myselx (D32, D48, s002) ^ k01, myselx (D33, D49, s004) ^ k02, myselx (D34, D50, s008) ^ k03, myselx (D35, D51, s010) ^ k04, myselx (D36, D52, s020) ^ k05, &D08, &D16, &D22, &D30);
 681     s2(myselx (D35, D51, s040) ^ k06, myselx (D36, D52, s080) ^ k07, myselx (D37, D53, s100) ^ k08, myselx (D38, D54, s200) ^ k09, myselx (D39, D55, s400) ^ k10, myselx (D40, D56, s800) ^ k11, &D12, &D27, &D01, &D17);
 682     s3(             D39        ^ k12,              D40        ^ k13,              D41        ^ k14,              D42        ^ k15,              D43        ^ k16,              D44        ^ k17, &D23, &D15, &D29, &D05);
 683     s4(             D43        ^ k18,              D44        ^ k19,              D45        ^ k20,              D46        ^ k21,              D47        ^ k22,              D48        ^ k23, &D25, &D19, &D09, &D00);
 684     s5(myselx (D47, D63, s001) ^ k24, myselx (D48, D32, s002) ^ k25, myselx (D49, D33, s004) ^ k26, myselx (D50, D34, s008) ^ k27, myselx (D51, D35, s010) ^ k28, myselx (D52, D36, s020) ^ k29, &D07, &D13, &D24, &D02);
 685     s6(myselx (D51, D35, s040) ^ k30, myselx (D52, D36, s080) ^ k31, myselx (D53, D37, s100) ^ k32, myselx (D54, D38, s200) ^ k33, myselx (D55, D39, s400) ^ k34, myselx (D56, D40, s800) ^ k35, &D03, &D28, &D10, &D18);
 686     s7(             D55        ^ k36,              D56        ^ k37,              D57        ^ k38,              D58        ^ k39,              D59        ^ k40,              D60        ^ k41, &D31, &D11, &D21, &D06);
 687     s8(             D59        ^ k42,              D60        ^ k43,              D61        ^ k44,              D62        ^ k45,              D63        ^ k46,              D32        ^ k47, &D04, &D26, &D14, &D20);
 688
 689     DATASWAP;
 690   }
 691
 692   DATASWAP;
 693
 694   for (u32 ii = 1; ii < 25; ii++)
 695   {
 696     for (u32 i = 0; i < 16; i++)
 697     {
 698       switch (i)
 699       {
 700         case  0: KEYSET00; break;
 701         case  1: KEYSET01; break;
 702         case  2: KEYSET02; break;
 703         case  3: KEYSET03; break;
 704         case  4: KEYSET04; break;
 705         case  5: KEYSET05; break;
 706         case  6: KEYSET06; break;
 707         case  7: KEYSET07; break;
 708         case  8: KEYSET10; break;
 709         case  9: KEYSET11; break;
 710         case 10: KEYSET12; break;
 711         case 11: KEYSET13; break;
 712         case 12: KEYSET14; break;
 713         case 13: KEYSET15; break;
 714         case 14: KEYSET16; break;
 715         case 15: KEYSET17; break;
 716       }
 717
 718       s1(myselx (D63, D47, s001) ^ k00, myselx (D32, D48, s002) ^ k01, myselx (D33, D49, s004) ^ k02, myselx (D34, D50, s008) ^ k03, myselx (D35, D51, s010) ^ k04, myselx (D36, D52, s020) ^ k05, &D08, &D16, &D22, &D30);
 719       s2(myselx (D35, D51, s040) ^ k06, myselx (D36, D52, s080) ^ k07, myselx (D37, D53, s100) ^ k08, myselx (D38, D54, s200) ^ k09, myselx (D39, D55, s400) ^ k10, myselx (D40, D56, s800) ^ k11, &D12, &D27, &D01, &D17);
 720       s3(             D39        ^ k12,              D40        ^ k13,              D41        ^ k14,              D42        ^ k15,              D43        ^ k16,              D44        ^ k17, &D23, &D15, &D29, &D05);
 721       s4(             D43        ^ k18,              D44        ^ k19,              D45        ^ k20,              D46        ^ k21,              D47        ^ k22,              D48        ^ k23, &D25, &D19, &D09, &D00);
 722       s5(myselx (D47, D63, s001) ^ k24, myselx (D48, D32, s002) ^ k25, myselx (D49, D33, s004) ^ k26, myselx (D50, D34, s008) ^ k27, myselx (D51, D35, s010) ^ k28, myselx (D52, D36, s020) ^ k29, &D07, &D13, &D24, &D02);
 723       s6(myselx (D51, D35, s040) ^ k30, myselx (D52, D36, s080) ^ k31, myselx (D53, D37, s100) ^ k32, myselx (D54, D38, s200) ^ k33, myselx (D55, D39, s400) ^ k34, myselx (D56, D40, s800) ^ k35, &D03, &D28, &D10, &D18);
 724       s7(             D55        ^ k36,              D56        ^ k37,              D57        ^ k38,              D58        ^ k39,              D59        ^ k40,              D60        ^ k41, &D31, &D11, &D21, &D06);
 725       s8(             D59        ^ k42,              D60        ^ k43,              D61        ^ k44,              D62        ^ k45,              D63        ^ k46,              D32        ^ k47, &D04, &D26, &D14, &D20);
 726
 727       DATASWAP;
 728     }
 729
 730     DATASWAP;
 731   }
 732
 733   DATASWAP;
 734 }
 735
 736 static void transpose32c (u32 data[32])
 737 {
 738   #define swap(x,y,j,m)               \
 739      t  = ((x) ^ ((y) >> (j))) & (m); \
 740     (x) = (x) ^ t;                    \
 741     (y) = (y) ^ (t << (j));
 742
 743   u32 t;
 744
 745   swap (data[ 0], data[16], 16, 0x0000ffff);
 746   swap (data[ 1], data[17], 16, 0x0000ffff);
 747   swap (data[ 2], data[18], 16, 0x0000ffff);
 748   swap (data[ 3], data[19], 16, 0x0000ffff);
 749   swap (data[ 4], data[20], 16, 0x0000ffff);
 750   swap (data[ 5], data[21], 16, 0x0000ffff);
 751   swap (data[ 6], data[22], 16, 0x0000ffff);
 752   swap (data[ 7], data[23], 16, 0x0000ffff);
 753   swap (data[ 8], data[24], 16, 0x0000ffff);
 754   swap (data[ 9], data[25], 16, 0x0000ffff);
 755   swap (data[10], data[26], 16, 0x0000ffff);
 756   swap (data[11], data[27], 16, 0x0000ffff);
 757   swap (data[12], data[28], 16, 0x0000ffff);
 758   swap (data[13], data[29], 16, 0x0000ffff);
 759   swap (data[14], data[30], 16, 0x0000ffff);
 760   swap (data[15], data[31], 16, 0x0000ffff);
 761   swap (data[ 0], data[ 8],  8, 0x00ff00ff);
 762   swap (data[ 1], data[ 9],  8, 0x00ff00ff);
 763   swap (data[ 2], data[10],  8, 0x00ff00ff);
 764   swap (data[ 3], data[11],  8, 0x00ff00ff);
 765   swap (data[ 4], data[12],  8, 0x00ff00ff);
 766   swap (data[ 5], data[13],  8, 0x00ff00ff);
 767   swap (data[ 6], data[14],  8, 0x00ff00ff);
 768   swap (data[ 7], data[15],  8, 0x00ff00ff);
 769   swap (data[ 0], data[ 4],  4, 0x0f0f0f0f);
 770   swap (data[ 1], data[ 5],  4, 0x0f0f0f0f);
 771   swap (data[ 2], data[ 6],  4, 0x0f0f0f0f);
 772   swap (data[ 3], data[ 7],  4, 0x0f0f0f0f);
 773   swap (data[ 0], data[ 2],  2, 0x33333333);
 774   swap (data[ 1], data[ 3],  2, 0x33333333);
 775   swap (data[ 0], data[ 1],  1, 0x55555555);
 776   swap (data[ 2], data[ 3],  1, 0x55555555);
 777   swap (data[ 4], data[ 6],  2, 0x33333333);
 778   swap (data[ 5], data[ 7],  2, 0x33333333);
 779   swap (data[ 4], data[ 5],  1, 0x55555555);
 780   swap (data[ 6], data[ 7],  1, 0x55555555);
 781   swap (data[ 8], data[12],  4, 0x0f0f0f0f);
 782   swap (data[ 9], data[13],  4, 0x0f0f0f0f);
 783   swap (data[10], data[14],  4, 0x0f0f0f0f);
 784   swap (data[11], data[15],  4, 0x0f0f0f0f);
 785   swap (data[ 8], data[10],  2, 0x33333333);
 786   swap (data[ 9], data[11],  2, 0x33333333);
 787   swap (data[ 8], data[ 9],  1, 0x55555555);
 788   swap (data[10], data[11],  1, 0x55555555);
 789   swap (data[12], data[14],  2, 0x33333333);
 790   swap (data[13], data[15],  2, 0x33333333);
 791   swap (data[12], data[13],  1, 0x55555555);
 792   swap (data[14], data[15],  1, 0x55555555);
 793   swap (data[16], data[24],  8, 0x00ff00ff);
 794   swap (data[17], data[25],  8, 0x00ff00ff);
 795   swap (data[18], data[26],  8, 0x00ff00ff);
 796   swap (data[19], data[27],  8, 0x00ff00ff);
 797   swap (data[20], data[28],  8, 0x00ff00ff);
 798   swap (data[21], data[29],  8, 0x00ff00ff);
 799   swap (data[22], data[30],  8, 0x00ff00ff);
 800   swap (data[23], data[31],  8, 0x00ff00ff);
 801   swap (data[16], data[20],  4, 0x0f0f0f0f);
 802   swap (data[17], data[21],  4, 0x0f0f0f0f);
 803   swap (data[18], data[22],  4, 0x0f0f0f0f);
 804   swap (data[19], data[23],  4, 0x0f0f0f0f);
 805   swap (data[16], data[18],  2, 0x33333333);
 806   swap (data[17], data[19],  2, 0x33333333);
 807   swap (data[16], data[17],  1, 0x55555555);
 808   swap (data[18], data[19],  1, 0x55555555);
 809   swap (data[20], data[22],  2, 0x33333333);
 810   swap (data[21], data[23],  2, 0x33333333);
 811   swap (data[20], data[21],  1, 0x55555555);
 812   swap (data[22], data[23],  1, 0x55555555);
 813   swap (data[24], data[28],  4, 0x0f0f0f0f);
 814   swap (data[25], data[29],  4, 0x0f0f0f0f);
 815   swap (data[26], data[30],  4, 0x0f0f0f0f);
 816   swap (data[27], data[31],  4, 0x0f0f0f0f);
 817   swap (data[24], data[26],  2, 0x33333333);
 818   swap (data[25], data[27],  2, 0x33333333);
 819   swap (data[24], data[25],  1, 0x55555555);
 820   swap (data[26], data[27],  1, 0x55555555);
 821   swap (data[28], data[30],  2, 0x33333333);
 822   swap (data[29], data[31],  2, 0x33333333);
 823   swap (data[28], data[29],  1, 0x55555555);
 824   swap (data[30], data[31],  1, 0x55555555);
 825 }
 826
 827 static void m01500m (__local u32 *s_S, __global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bs_word_t * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 828 {
 829   /**
 830    * base
 831    */
 832
 833   const u32 gid = get_global_id (0);
 834   const u32 lid = get_local_id (0);
 835
 836   /**
 837    * salt
 838    */
 839
 840   const u32 salt = salt_bufs[salt_pos].salt_buf[0];
 841
 842   /**
 843    * keys
 844    */
 845
 846   const u32 K00 = pws[gid].i[ 0];
 847   const u32 K01 = pws[gid].i[ 1];
 848   const u32 K02 = pws[gid].i[ 2];
 849   const u32 K03 = pws[gid].i[ 3];
 850   const u32 K04 = pws[gid].i[ 4];
 851   const u32 K05 = pws[gid].i[ 5];
 852   const u32 K06 = pws[gid].i[ 6];
 853   const u32 K07 = pws[gid].i[ 7];
 854   const u32 K08 = pws[gid].i[ 8];
 855   const u32 K09 = pws[gid].i[ 9];
 856   const u32 K10 = pws[gid].i[10];
 857   const u32 K11 = pws[gid].i[11];
 858   const u32 K12 = pws[gid].i[12];
 859   const u32 K13 = pws[gid].i[13];
 860   const u32 K14 = pws[gid].i[14];
 861   const u32 K15 = pws[gid].i[15];
 862   const u32 K16 = pws[gid].i[16];
 863   const u32 K17 = pws[gid].i[17];
 864   const u32 K18 = pws[gid].i[18];
 865   const u32 K19 = pws[gid].i[19];
 866   const u32 K20 = pws[gid].i[20];
 867   const u32 K21 = pws[gid].i[21];
 868   const u32 K22 = pws[gid].i[22];
 869   const u32 K23 = pws[gid].i[23];
 870   const u32 K24 = pws[gid].i[24];
 871   const u32 K25 = pws[gid].i[25];
 872   const u32 K26 = pws[gid].i[26];
 873   const u32 K27 = pws[gid].i[27];
 874   const u32 K28 = pws[gid].i[28];
 875   const u32 K29 = pws[gid].i[29];
 876   const u32 K30 = pws[gid].i[30];
 877   const u32 K31 = pws[gid].i[31];
 878   const u32 K32 = pws[gid].i[32];
 879   const u32 K33 = pws[gid].i[33];
 880   const u32 K34 = pws[gid].i[34];
 881   const u32 K35 = pws[gid].i[35];
 882   const u32 K36 = pws[gid].i[36];
 883   const u32 K37 = pws[gid].i[37];
 884   const u32 K38 = pws[gid].i[38];
 885   const u32 K39 = pws[gid].i[39];
 886   const u32 K40 = pws[gid].i[40];
 887   const u32 K41 = pws[gid].i[41];
 888   const u32 K42 = pws[gid].i[42];
 889   const u32 K43 = pws[gid].i[43];
 890   const u32 K44 = pws[gid].i[44];
 891   const u32 K45 = pws[gid].i[45];
 892   const u32 K46 = pws[gid].i[46];
 893   const u32 K47 = pws[gid].i[47];
 894   const u32 K48 = pws[gid].i[48];
 895   const u32 K49 = pws[gid].i[49];
 896   const u32 K50 = pws[gid].i[50];
 897   const u32 K51 = pws[gid].i[51];
 898   const u32 K52 = pws[gid].i[52];
 899   const u32 K53 = pws[gid].i[53];
 900   const u32 K54 = pws[gid].i[54];
 901   const u32 K55 = pws[gid].i[55];
 902
 903   /**
 904    * inner loop
 905    */
 906
 907   const u32 bf_loops = bfs_cnt;
 908
 909   const u32 pc_pos = get_local_id (1);
 910
 911   const u32 il_pos = pc_pos * 32;
 912
 913   u32 k00 = K00;
 914   u32 k01 = K01;
 915   u32 k02 = K02;
 916   u32 k03 = K03;
 917   u32 k04 = K04;
 918   u32 k05 = K05;
 919   u32 k06 = K06;
 920   u32 k07 = K07;
 921   u32 k08 = K08;
 922   u32 k09 = K09;
 923   u32 k10 = K10;
 924   u32 k11 = K11;
 925   u32 k12 = K12;
 926   u32 k13 = K13;
 927   u32 k14 = K14;
 928   u32 k15 = K15;
 929   u32 k16 = K16;
 930   u32 k17 = K17;
 931   u32 k18 = K18;
 932   u32 k19 = K19;
 933   u32 k20 = K20;
 934   u32 k21 = K21;
 935   u32 k22 = K22;
 936   u32 k23 = K23;
 937   u32 k24 = K24;
 938   u32 k25 = K25;
 939   u32 k26 = K26;
 940   u32 k27 = K27;
 941
 942   k00 |= words_buf_r[pc_pos].b[ 0];
 943   k01 |= words_buf_r[pc_pos].b[ 1];
 944   k02 |= words_buf_r[pc_pos].b[ 2];
 945   k03 |= words_buf_r[pc_pos].b[ 3];
 946   k04 |= words_buf_r[pc_pos].b[ 4];
 947   k05 |= words_buf_r[pc_pos].b[ 5];
 948   k06 |= words_buf_r[pc_pos].b[ 6];
 949   k07 |= words_buf_r[pc_pos].b[ 7];
 950   k08 |= words_buf_r[pc_pos].b[ 8];
 951   k09 |= words_buf_r[pc_pos].b[ 9];
 952   k10 |= words_buf_r[pc_pos].b[10];
 953   k11 |= words_buf_r[pc_pos].b[11];
 954   k12 |= words_buf_r[pc_pos].b[12];
 955   k13 |= words_buf_r[pc_pos].b[13];
 956   k14 |= words_buf_r[pc_pos].b[14];
 957   k15 |= words_buf_r[pc_pos].b[15];
 958   k16 |= words_buf_r[pc_pos].b[16];
 959   k17 |= words_buf_r[pc_pos].b[17];
 960   k18 |= words_buf_r[pc_pos].b[18];
 961   k19 |= words_buf_r[pc_pos].b[19];
 962   k20 |= words_buf_r[pc_pos].b[20];
 963   k21 |= words_buf_r[pc_pos].b[21];
 964   k22 |= words_buf_r[pc_pos].b[22];
 965   k23 |= words_buf_r[pc_pos].b[23];
 966   k24 |= words_buf_r[pc_pos].b[24];
 967   k25 |= words_buf_r[pc_pos].b[25];
 968   k26 |= words_buf_r[pc_pos].b[26];
 969   k27 |= words_buf_r[pc_pos].b[27];
 970
 971   u32 D00 = 0;
 972   u32 D01 = 0;
 973   u32 D02 = 0;
 974   u32 D03 = 0;
 975   u32 D04 = 0;
 976   u32 D05 = 0;
 977   u32 D06 = 0;
 978   u32 D07 = 0;
 979   u32 D08 = 0;
 980   u32 D09 = 0;
 981   u32 D10 = 0;
 982   u32 D11 = 0;
 983   u32 D12 = 0;
 984   u32 D13 = 0;
 985   u32 D14 = 0;
 986   u32 D15 = 0;
 987   u32 D16 = 0;
 988   u32 D17 = 0;
 989   u32 D18 = 0;
 990   u32 D19 = 0;
 991   u32 D20 = 0;
 992   u32 D21 = 0;
 993   u32 D22 = 0;
 994   u32 D23 = 0;
 995   u32 D24 = 0;
 996   u32 D25 = 0;
 997   u32 D26 = 0;
 998   u32 D27 = 0;
 999   u32 D28 = 0;
1000   u32 D29 = 0;
1001   u32 D30 = 0;
1002   u32 D31 = 0;
1003   u32 D32 = 0;
1004   u32 D33 = 0;
1005   u32 D34 = 0;
1006   u32 D35 = 0;
1007   u32 D36 = 0;
1008   u32 D37 = 0;
1009   u32 D38 = 0;
1010   u32 D39 = 0;
1011   u32 D40 = 0;
1012   u32 D41 = 0;
1013   u32 D42 = 0;
1014   u32 D43 = 0;
1015   u32 D44 = 0;
1016   u32 D45 = 0;
1017   u32 D46 = 0;
1018   u32 D47 = 0;
1019   u32 D48 = 0;
1020   u32 D49 = 0;
1021   u32 D50 = 0;
1022   u32 D51 = 0;
1023   u32 D52 = 0;
1024   u32 D53 = 0;
1025   u32 D54 = 0;
1026   u32 D55 = 0;
1027   u32 D56 = 0;
1028   u32 D57 = 0;
1029   u32 D58 = 0;
1030   u32 D59 = 0;
1031   u32 D60 = 0;
1032   u32 D61 = 0;
1033   u32 D62 = 0;
1034   u32 D63 = 0;
1035
1036   DESCrypt
1037   (
1038     salt,
1039     k00, k01, k02, k03, k04, k05, k06,
1040     k07, k08, k09, k10, k11, k12, k13,
1041     k14, k15, k16, k17, k18, k19, k20,
1042     k21, k22, k23, k24, k25, k26, k27,
1043     K28, K29, K30, K31, K32, K33, K34,
1044     K35, K36, K37, K38, K39, K40, K41,
1045     K42, K43, K44, K45, K46, K47, K48,
1046     K49, K50, K51, K52, K53, K54, K55,
1047     D00, D01, D02, D03, D04, D05, D06, D07,
1048     D08, D09, D10, D11, D12, D13, D14, D15,
1049     D16, D17, D18, D19, D20, D21, D22, D23,
1050     D24, D25, D26, D27, D28, D29, D30, D31,
1051     D32, D33, D34, D35, D36, D37, D38, D39,
1052     D40, D41, D42, D43, D44, D45, D46, D47,
1053     D48, D49, D50, D51, D52, D53, D54, D55,
1054     D56, D57, D58, D59, D60, D61, D62, D63
1055   );
1056
1057   u32 out[64];
1058
1059   out[ 0] = D00;
1060   out[ 1] = D01;
1061   out[ 2] = D02;
1062   out[ 3] = D03;
1063   out[ 4] = D04;
1064   out[ 5] = D05;
1065   out[ 6] = D06;
1066   out[ 7] = D07;
1067   out[ 8] = D08;
1068   out[ 9] = D09;
1069   out[10] = D10;
1070   out[11] = D11;
1071   out[12] = D12;
1072   out[13] = D13;
1073   out[14] = D14;
1074   out[15] = D15;
1075   out[16] = D16;
1076   out[17] = D17;
1077   out[18] = D18;
1078   out[19] = D19;
1079   out[20] = D20;
1080   out[21] = D21;
1081   out[22] = D22;
1082   out[23] = D23;
1083   out[24] = D24;
1084   out[25] = D25;
1085   out[26] = D26;
1086   out[27] = D27;
1087   out[28] = D28;
1088   out[29] = D29;
1089   out[30] = D30;
1090   out[31] = D31;
1091   out[32] = D32;
1092   out[33] = D33;
1093   out[34] = D34;
1094   out[35] = D35;
1095   out[36] = D36;
1096   out[37] = D37;
1097   out[38] = D38;
1098   out[39] = D39;
1099   out[40] = D40;
1100   out[41] = D41;
1101   out[42] = D42;
1102   out[43] = D43;
1103   out[44] = D44;
1104   out[45] = D45;
1105   out[46] = D46;
1106   out[47] = D47;
1107   out[48] = D48;
1108   out[49] = D49;
1109   out[50] = D50;
1110   out[51] = D51;
1111   out[52] = D52;
1112   out[53] = D53;
1113   out[54] = D54;
1114   out[55] = D55;
1115   out[56] = D56;
1116   out[57] = D57;
1117   out[58] = D58;
1118   out[59] = D59;
1119   out[60] = D60;
1120   out[61] = D61;
1121   out[62] = D62;
1122   out[63] = D63;
1123
1124   if (digests_cnt < 16)
1125   {
1126     for (u32 d = 0; d < digests_cnt; d++)
1127     {
1128       const u32 final_hash_pos = digests_offset + d;
1129
1130       if (hashes_shown[final_hash_pos]) continue;
1131
1132       u32 search[2];
1133
1134       search[0] = digests_buf[final_hash_pos].digest_buf[DGST_R0];
1135       search[1] = digests_buf[final_hash_pos].digest_buf[DGST_R1];
1136
1137       u32 tmpResult = 0;
1138
1139       #pragma unroll
1140       for (int i = 0; i < 32; i++)
1141       {
1142         const u32 b0 = -((search[0] >> i) & 1);
1143         const u32 b1 = -((search[1] >> i) & 1);
1144
1145         tmpResult |= out[ 0 + i] ^ b0;
1146         tmpResult |= out[32 + i] ^ b1;
1147       }
1148
1149       if (tmpResult == 0xffffffff) continue;
1150
1151       const u32 slice = 31 - clz (~tmpResult);
1152
1153       const u32x r0 = search[0];
1154       const u32x r1 = search[1];
1155       const u32x r2 = 0;
1156       const u32x r3 = 0;
1157
1158       #include VECT_COMPARE_M
1159     }
1160   }
1161   else
1162   {
1163     u32 out0[32];
1164     u32 out1[32];
1165
1166     #pragma unroll
1167     for (int i = 0; i < 32; i++)
1168     {
1169       out0[i] = out[ 0 + 31 - i];
1170       out1[i] = out[32 + 31 - i];
1171     }
1172
1173     transpose32c (out0);
1174     transpose32c (out1);
1175
1176     #pragma unroll
1177     for (int slice = 0; slice < 32; slice++)
1178     {
1179       const u32x r0 = out0[31 - slice];
1180       const u32x r1 = out1[31 - slice];
1181       const u32x r2 = 0;
1182       const u32x r3 = 0;
1183
1184       #include VECT_COMPARE_M
1185     }
1186   }
1187 }
1188
1189 static void m01500s (__local u32 *s_S, __global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bs_word_t * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
1190 {
1191   /**
1192    * base
1193    */
1194
1195   const u32 gid = get_global_id (0);
1196   const u32 lid = get_local_id (0);
1197
1198   /**
1199    * salt
1200    */
1201
1202   const u32 salt = salt_bufs[salt_pos].salt_buf[0];
1203
1204   /**
1205    * digest
1206    */
1207
1208   #define S00 s_S[ 0]
1209   #define S01 s_S[ 1]
1210   #define S02 s_S[ 2]
1211   #define S03 s_S[ 3]
1212   #define S04 s_S[ 4]
1213   #define S05 s_S[ 5]
1214   #define S06 s_S[ 6]
1215   #define S07 s_S[ 7]
1216   #define S08 s_S[ 8]
1217   #define S09 s_S[ 9]
1218   #define S10 s_S[10]
1219   #define S11 s_S[11]
1220   #define S12 s_S[12]
1221   #define S13 s_S[13]
1222   #define S14 s_S[14]
1223   #define S15 s_S[15]
1224   #define S16 s_S[16]
1225   #define S17 s_S[17]
1226   #define S18 s_S[18]
1227   #define S19 s_S[19]
1228   #define S20 s_S[20]
1229   #define S21 s_S[21]
1230   #define S22 s_S[22]
1231   #define S23 s_S[23]
1232   #define S24 s_S[24]
1233   #define S25 s_S[25]
1234   #define S26 s_S[26]
1235   #define S27 s_S[27]
1236   #define S28 s_S[28]
1237   #define S29 s_S[29]
1238   #define S30 s_S[30]
1239   #define S31 s_S[31]
1240   #define S32 s_S[32]
1241   #define S33 s_S[33]
1242   #define S34 s_S[34]
1243   #define S35 s_S[35]
1244   #define S36 s_S[36]
1245   #define S37 s_S[37]
1246   #define S38 s_S[38]
1247   #define S39 s_S[39]
1248   #define S40 s_S[40]
1249   #define S41 s_S[41]
1250   #define S42 s_S[42]
1251   #define S43 s_S[43]
1252   #define S44 s_S[44]
1253   #define S45 s_S[45]
1254   #define S46 s_S[46]
1255   #define S47 s_S[47]
1256   #define S48 s_S[48]
1257   #define S49 s_S[49]
1258   #define S50 s_S[50]
1259   #define S51 s_S[51]
1260   #define S52 s_S[52]
1261   #define S53 s_S[53]
1262   #define S54 s_S[54]
1263   #define S55 s_S[55]
1264   #define S56 s_S[56]
1265   #define S57 s_S[57]
1266   #define S58 s_S[58]
1267   #define S59 s_S[59]
1268   #define S60 s_S[60]
1269   #define S61 s_S[61]
1270   #define S62 s_S[62]
1271   #define S63 s_S[63]
1272
1273   /**
1274    * keys
1275    */
1276
1277   const u32 K00 = pws[gid].i[ 0];
1278   const u32 K01 = pws[gid].i[ 1];
1279   const u32 K02 = pws[gid].i[ 2];
1280   const u32 K03 = pws[gid].i[ 3];
1281   const u32 K04 = pws[gid].i[ 4];
1282   const u32 K05 = pws[gid].i[ 5];
1283   const u32 K06 = pws[gid].i[ 6];
1284   const u32 K07 = pws[gid].i[ 7];
1285   const u32 K08 = pws[gid].i[ 8];
1286   const u32 K09 = pws[gid].i[ 9];
1287   const u32 K10 = pws[gid].i[10];
1288   const u32 K11 = pws[gid].i[11];
1289   const u32 K12 = pws[gid].i[12];
1290   const u32 K13 = pws[gid].i[13];
1291   const u32 K14 = pws[gid].i[14];
1292   const u32 K15 = pws[gid].i[15];
1293   const u32 K16 = pws[gid].i[16];
1294   const u32 K17 = pws[gid].i[17];
1295   const u32 K18 = pws[gid].i[18];
1296   const u32 K19 = pws[gid].i[19];
1297   const u32 K20 = pws[gid].i[20];
1298   const u32 K21 = pws[gid].i[21];
1299   const u32 K22 = pws[gid].i[22];
1300   const u32 K23 = pws[gid].i[23];
1301   const u32 K24 = pws[gid].i[24];
1302   const u32 K25 = pws[gid].i[25];
1303   const u32 K26 = pws[gid].i[26];
1304   const u32 K27 = pws[gid].i[27];
1305   const u32 K28 = pws[gid].i[28];
1306   const u32 K29 = pws[gid].i[29];
1307   const u32 K30 = pws[gid].i[30];
1308   const u32 K31 = pws[gid].i[31];
1309   const u32 K32 = pws[gid].i[32];
1310   const u32 K33 = pws[gid].i[33];
1311   const u32 K34 = pws[gid].i[34];
1312   const u32 K35 = pws[gid].i[35];
1313   const u32 K36 = pws[gid].i[36];
1314   const u32 K37 = pws[gid].i[37];
1315   const u32 K38 = pws[gid].i[38];
1316   const u32 K39 = pws[gid].i[39];
1317   const u32 K40 = pws[gid].i[40];
1318   const u32 K41 = pws[gid].i[41];
1319   const u32 K42 = pws[gid].i[42];
1320   const u32 K43 = pws[gid].i[43];
1321   const u32 K44 = pws[gid].i[44];
1322   const u32 K45 = pws[gid].i[45];
1323   const u32 K46 = pws[gid].i[46];
1324   const u32 K47 = pws[gid].i[47];
1325   const u32 K48 = pws[gid].i[48];
1326   const u32 K49 = pws[gid].i[49];
1327   const u32 K50 = pws[gid].i[50];
1328   const u32 K51 = pws[gid].i[51];
1329   const u32 K52 = pws[gid].i[52];
1330   const u32 K53 = pws[gid].i[53];
1331   const u32 K54 = pws[gid].i[54];
1332   const u32 K55 = pws[gid].i[55];
1333
1334   /**
1335    * inner loop
1336    */
1337
1338   const u32 pc_pos = get_local_id (1);
1339
1340   const u32 il_pos = pc_pos * 32;
1341
1342   u32 k00 = K00;
1343   u32 k01 = K01;
1344   u32 k02 = K02;
1345   u32 k03 = K03;
1346   u32 k04 = K04;
1347   u32 k05 = K05;
1348   u32 k06 = K06;
1349   u32 k07 = K07;
1350   u32 k08 = K08;
1351   u32 k09 = K09;
1352   u32 k10 = K10;
1353   u32 k11 = K11;
1354   u32 k12 = K12;
1355   u32 k13 = K13;
1356   u32 k14 = K14;
1357   u32 k15 = K15;
1358   u32 k16 = K16;
1359   u32 k17 = K17;
1360   u32 k18 = K18;
1361   u32 k19 = K19;
1362   u32 k20 = K20;
1363   u32 k21 = K21;
1364   u32 k22 = K22;
1365   u32 k23 = K23;
1366   u32 k24 = K24;
1367   u32 k25 = K25;
1368   u32 k26 = K26;
1369   u32 k27 = K27;
1370
1371   k00 |= words_buf_r[pc_pos].b[ 0];
1372   k01 |= words_buf_r[pc_pos].b[ 1];
1373   k02 |= words_buf_r[pc_pos].b[ 2];
1374   k03 |= words_buf_r[pc_pos].b[ 3];
1375   k04 |= words_buf_r[pc_pos].b[ 4];
1376   k05 |= words_buf_r[pc_pos].b[ 5];
1377   k06 |= words_buf_r[pc_pos].b[ 6];
1378   k07 |= words_buf_r[pc_pos].b[ 7];
1379   k08 |= words_buf_r[pc_pos].b[ 8];
1380   k09 |= words_buf_r[pc_pos].b[ 9];
1381   k10 |= words_buf_r[pc_pos].b[10];
1382   k11 |= words_buf_r[pc_pos].b[11];
1383   k12 |= words_buf_r[pc_pos].b[12];
1384   k13 |= words_buf_r[pc_pos].b[13];
1385   k14 |= words_buf_r[pc_pos].b[14];
1386   k15 |= words_buf_r[pc_pos].b[15];
1387   k16 |= words_buf_r[pc_pos].b[16];
1388   k17 |= words_buf_r[pc_pos].b[17];
1389   k18 |= words_buf_r[pc_pos].b[18];
1390   k19 |= words_buf_r[pc_pos].b[19];
1391   k20 |= words_buf_r[pc_pos].b[20];
1392   k21 |= words_buf_r[pc_pos].b[21];
1393   k22 |= words_buf_r[pc_pos].b[22];
1394   k23 |= words_buf_r[pc_pos].b[23];
1395   k24 |= words_buf_r[pc_pos].b[24];
1396   k25 |= words_buf_r[pc_pos].b[25];
1397   k26 |= words_buf_r[pc_pos].b[26];
1398   k27 |= words_buf_r[pc_pos].b[27];
1399
1400   u32 D00 = 0;
1401   u32 D01 = 0;
1402   u32 D02 = 0;
1403   u32 D03 = 0;
1404   u32 D04 = 0;
1405   u32 D05 = 0;
1406   u32 D06 = 0;
1407   u32 D07 = 0;
1408   u32 D08 = 0;
1409   u32 D09 = 0;
1410   u32 D10 = 0;
1411   u32 D11 = 0;
1412   u32 D12 = 0;
1413   u32 D13 = 0;
1414   u32 D14 = 0;
1415   u32 D15 = 0;
1416   u32 D16 = 0;
1417   u32 D17 = 0;
1418   u32 D18 = 0;
1419   u32 D19 = 0;
1420   u32 D20 = 0;
1421   u32 D21 = 0;
1422   u32 D22 = 0;
1423   u32 D23 = 0;
1424   u32 D24 = 0;
1425   u32 D25 = 0;
1426   u32 D26 = 0;
1427   u32 D27 = 0;
1428   u32 D28 = 0;
1429   u32 D29 = 0;
1430   u32 D30 = 0;
1431   u32 D31 = 0;
1432   u32 D32 = 0;
1433   u32 D33 = 0;
1434   u32 D34 = 0;
1435   u32 D35 = 0;
1436   u32 D36 = 0;
1437   u32 D37 = 0;
1438   u32 D38 = 0;
1439   u32 D39 = 0;
1440   u32 D40 = 0;
1441   u32 D41 = 0;
1442   u32 D42 = 0;
1443   u32 D43 = 0;
1444   u32 D44 = 0;
1445   u32 D45 = 0;
1446   u32 D46 = 0;
1447   u32 D47 = 0;
1448   u32 D48 = 0;
1449   u32 D49 = 0;
1450   u32 D50 = 0;
1451   u32 D51 = 0;
1452   u32 D52 = 0;
1453   u32 D53 = 0;
1454   u32 D54 = 0;
1455   u32 D55 = 0;
1456   u32 D56 = 0;
1457   u32 D57 = 0;
1458   u32 D58 = 0;
1459   u32 D59 = 0;
1460   u32 D60 = 0;
1461   u32 D61 = 0;
1462   u32 D62 = 0;
1463   u32 D63 = 0;
1464
1465   DESCrypt
1466   (
1467     salt,
1468     k00, k01, k02, k03, k04, k05, k06,
1469     k07, k08, k09, k10, k11, k12, k13,
1470     k14, k15, k16, k17, k18, k19, k20,
1471     k21, k22, k23, k24, k25, k26, k27,
1472     K28, K29, K30, K31, K32, K33, K34,
1473     K35, K36, K37, K38, K39, K40, K41,
1474     K42, K43, K44, K45, K46, K47, K48,
1475     K49, K50, K51, K52, K53, K54, K55,
1476     D00, D01, D02, D03, D04, D05, D06, D07,
1477     D08, D09, D10, D11, D12, D13, D14, D15,
1478     D16, D17, D18, D19, D20, D21, D22, D23,
1479     D24, D25, D26, D27, D28, D29, D30, D31,
1480     D32, D33, D34, D35, D36, D37, D38, D39,
1481     D40, D41, D42, D43, D44, D45, D46, D47,
1482     D48, D49, D50, D51, D52, D53, D54, D55,
1483     D56, D57, D58, D59, D60, D61, D62, D63
1484   );
1485
1486   u32 tmpResult = 0;
1487
1488   tmpResult |= D00 ^ S00;
1489   tmpResult |= D01 ^ S01;
1490   tmpResult |= D02 ^ S02;
1491   tmpResult |= D03 ^ S03;
1492   tmpResult |= D04 ^ S04;
1493   tmpResult |= D05 ^ S05;
1494   tmpResult |= D06 ^ S06;
1495   tmpResult |= D07 ^ S07;
1496   tmpResult |= D08 ^ S08;
1497   tmpResult |= D09 ^ S09;
1498   tmpResult |= D10 ^ S10;
1499   tmpResult |= D11 ^ S11;
1500   tmpResult |= D12 ^ S12;
1501   tmpResult |= D13 ^ S13;
1502   tmpResult |= D14 ^ S14;
1503   tmpResult |= D15 ^ S15;
1504   tmpResult |= D16 ^ S16;
1505   tmpResult |= D17 ^ S17;
1506   tmpResult |= D18 ^ S18;
1507   tmpResult |= D19 ^ S19;
1508   tmpResult |= D20 ^ S20;
1509   tmpResult |= D21 ^ S21;
1510   tmpResult |= D22 ^ S22;
1511   tmpResult |= D23 ^ S23;
1512   tmpResult |= D24 ^ S24;
1513   tmpResult |= D25 ^ S25;
1514   tmpResult |= D26 ^ S26;
1515   tmpResult |= D27 ^ S27;
1516   tmpResult |= D28 ^ S28;
1517   tmpResult |= D29 ^ S29;
1518   tmpResult |= D30 ^ S30;
1519   tmpResult |= D31 ^ S31;
1520   tmpResult |= D32 ^ S32;
1521   tmpResult |= D33 ^ S33;
1522   tmpResult |= D34 ^ S34;
1523   tmpResult |= D35 ^ S35;
1524   tmpResult |= D36 ^ S36;
1525   tmpResult |= D37 ^ S37;
1526   tmpResult |= D38 ^ S38;
1527   tmpResult |= D39 ^ S39;
1528   tmpResult |= D40 ^ S40;
1529   tmpResult |= D41 ^ S41;
1530   tmpResult |= D42 ^ S42;
1531   tmpResult |= D43 ^ S43;
1532   tmpResult |= D44 ^ S44;
1533   tmpResult |= D45 ^ S45;
1534   tmpResult |= D46 ^ S46;
1535   tmpResult |= D47 ^ S47;
1536
1537   if (tmpResult == 0xffffffff) return;
1538
1539   tmpResult |= D48 ^ S48;
1540   tmpResult |= D49 ^ S49;
1541   tmpResult |= D50 ^ S50;
1542   tmpResult |= D51 ^ S51;
1543   tmpResult |= D52 ^ S52;
1544   tmpResult |= D53 ^ S53;
1545   tmpResult |= D54 ^ S54;
1546   tmpResult |= D55 ^ S55;
1547   tmpResult |= D56 ^ S56;
1548   tmpResult |= D57 ^ S57;
1549   tmpResult |= D58 ^ S58;
1550   tmpResult |= D59 ^ S59;
1551   tmpResult |= D60 ^ S60;
1552   tmpResult |= D61 ^ S61;
1553   tmpResult |= D62 ^ S62;
1554   tmpResult |= D63 ^ S63;
1555
1556   if (tmpResult == 0xffffffff) return;
1557
1558   const u32 slice = 31 - clz (~tmpResult);
1559
1560   #include VECT_COMPARE_S
1561 }
1562
1563 //
1564 // transpose bitslice base : easy because no overlapping buffers
1565 //                    mod  : attention race conditions, need different buffers for *in and *out
1566 //
1567
1568 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_tb (__global pw_t *pws)
1569 {
1570   const u32 gid = get_global_id (0);
1571
1572   const u32 w0 = pws[gid].i[0];
1573   const u32 w1 = pws[gid].i[1];
1574
1575   const u32 w0s = (w0 << 1) & 0xfefefefe;
1576   const u32 w1s = (w1 << 1) & 0xfefefefe;
1577
1578   #pragma unroll
1579   for (int i = 0, j = 0; i < 32; i += 8, j += 7)
1580   {
1581     pws[gid].i[j +  0 + 0] = -((w0s >> (i + 7)) & 1);
1582     pws[gid].i[j +  0 + 1] = -((w0s >> (i + 6)) & 1);
1583     pws[gid].i[j +  0 + 2] = -((w0s >> (i + 5)) & 1);
1584     pws[gid].i[j +  0 + 3] = -((w0s >> (i + 4)) & 1);
1585     pws[gid].i[j +  0 + 4] = -((w0s >> (i + 3)) & 1);
1586     pws[gid].i[j +  0 + 5] = -((w0s >> (i + 2)) & 1);
1587     pws[gid].i[j +  0 + 6] = -((w0s >> (i + 1)) & 1);
1588   }
1589
1590   #pragma unroll
1591   for (int i = 0, j = 0; i < 32; i += 8, j += 7)
1592   {
1593     pws[gid].i[j + 28 + 0] = -((w1s >> (i + 7)) & 1);
1594     pws[gid].i[j + 28 + 1] = -((w1s >> (i + 6)) & 1);
1595     pws[gid].i[j + 28 + 2] = -((w1s >> (i + 5)) & 1);
1596     pws[gid].i[j + 28 + 3] = -((w1s >> (i + 4)) & 1);
1597     pws[gid].i[j + 28 + 4] = -((w1s >> (i + 3)) & 1);
1598     pws[gid].i[j + 28 + 5] = -((w1s >> (i + 2)) & 1);
1599     pws[gid].i[j + 28 + 6] = -((w1s >> (i + 1)) & 1);
1600   }
1601 }
1602
1603 __kernel void __attribute__((reqd_work_group_size (32, 1, 1))) m01500_tm (__global u32 *mod, __global bs_word_t *words_buf_r)
1604 {
1605   const u32 gid = get_global_id (0);
1606   const u32 lid = get_local_id (0);
1607
1608   const u32 block = gid / 32;
1609   const u32 slice = gid % 32;
1610
1611   const u32 w0 = mod[gid];
1612
1613   const u32 w0s = (w0 << 1) & 0xfefefefe;
1614
1615   #pragma unroll
1616   for (int i = 0, j = 0; i < 32; i += 8, j += 7)
1617   {
1618     atomic_or (&words_buf_r[block].b[j + 0], (((w0s >> (i + 7)) & 1) << slice));
1619     atomic_or (&words_buf_r[block].b[j + 1], (((w0s >> (i + 6)) & 1) << slice));
1620     atomic_or (&words_buf_r[block].b[j + 2], (((w0s >> (i + 5)) & 1) << slice));
1621     atomic_or (&words_buf_r[block].b[j + 3], (((w0s >> (i + 4)) & 1) << slice));
1622     atomic_or (&words_buf_r[block].b[j + 4], (((w0s >> (i + 3)) & 1) << slice));
1623     atomic_or (&words_buf_r[block].b[j + 5], (((w0s >> (i + 2)) & 1) << slice));
1624     atomic_or (&words_buf_r[block].b[j + 6], (((w0s >> (i + 1)) & 1) << slice));
1625   }
1626 }
1627
1628 __kernel void __attribute__((reqd_work_group_size (2, 32, 1))) m01500_m04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bs_word_t * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1629 {
1630   /**
1631    * base
1632    */
1633
1634   const u32 gid = get_global_id (0);
1635   const u32 lid = get_local_id (0);
1636   const u32 vid = get_local_id (1);
1637
1638   const u32 s0 = digests_buf[digests_offset].digest_buf[0];
1639   const u32 s1 = digests_buf[digests_offset].digest_buf[1];
1640
1641   __local u32 s_S[64];
1642
1643   if (lid == 0)
1644   {
1645     s_S[ 0 + vid] = -((s0 >> vid) & 1);
1646   }
1647   else if (lid == 1)
1648   {
1649     s_S[32 + vid] = -((s1 >> vid) & 1);
1650   }
1651
1652   barrier (CLK_LOCAL_MEM_FENCE);
1653
1654   if (gid >= gid_max) return;
1655
1656   /**
1657    * main
1658    */
1659
1660   m01500m (s_S, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1661 }
1662
1663 __kernel void __attribute__((reqd_work_group_size (2, 32, 1))) m01500_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bs_word_t * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1664 {
1665 }
1666
1667 __kernel void __attribute__((reqd_work_group_size (2, 32, 1))) m01500_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bs_word_t * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1668 {
1669 }
1670
1671 __kernel void __attribute__((reqd_work_group_size (2, 32, 1))) m01500_s04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bs_word_t * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1672 {
1673   /**
1674    * base
1675    */
1676
1677   const u32 gid = get_global_id (0);
1678   const u32 lid = get_local_id (0);
1679   const u32 vid = get_local_id (1);
1680
1681   const u32 s0 = digests_buf[digests_offset].digest_buf[0];
1682   const u32 s1 = digests_buf[digests_offset].digest_buf[1];
1683
1684   __local u32 s_S[64];
1685
1686   if (lid == 0)
1687   {
1688     s_S[ 0 + vid] = -((s0 >> vid) & 1);
1689   }
1690   else if (lid == 1)
1691   {
1692     s_S[32 + vid] = -((s1 >> vid) & 1);
1693   }
1694
1695   barrier (CLK_LOCAL_MEM_FENCE);
1696
1697   if (gid >= gid_max) return;
1698
1699   /**
1700    * main
1701    */
1702
1703   m01500s (s_S, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1704 }
1705
1706 __kernel void __attribute__((reqd_work_group_size (2, 32, 1))) m01500_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bs_word_t * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1707 {
1708 }
1709
1710 __kernel void __attribute__((reqd_work_group_size (2, 32, 1))) m01500_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bs_word_t * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1711 {
1712 }