OpenCL/m03100_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *
   5  * License.....: MIT
   6  */
   7
   8 #define _DES_
   9
  10 #define NEW_SIMD_CODE
  11
  12 #include "include/constants.h"
  13 #include "include/kernel_vendor.h"
  14
  15 #define DGST_R0 0
  16 #define DGST_R1 1
  17 #define DGST_R2 2
  18 #define DGST_R3 3
  19
  20 #include "include/kernel_functions.c"
  21 #include "OpenCL/types_ocl.c"
  22 #include "OpenCL/common.c"
  23 #include "include/rp_kernel.h"
  24 #include "OpenCL/rp.c"
  25 #include "OpenCL/simd.c"
  26
  27 #define PERM_OP(a,b,tt,n,m) \
  28 {                           \
  29   tt = a >> n;              \
  30   tt = tt ^ b;              \
  31   tt = tt & m;              \
  32   b = b ^ tt;               \
  33   tt = tt << n;             \
  34   a = a ^ tt;               \
  35 }
  36
  37 #define HPERM_OP(a,tt,n,m)  \
  38 {                           \
  39   tt = a << (16 + n);       \
  40   tt = tt ^ a;              \
  41   tt = tt & m;              \
  42   a  = a ^ tt;              \
  43   tt = tt >> (16 + n);      \
  44   a  = a ^ tt;              \
  45 }
  46
  47 #define IP(l,r,tt)                     \
  48 {                                      \
  49   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  50   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  51   PERM_OP (r, l, tt,  2, 0x33333333);  \
  52   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  53   PERM_OP (r, l, tt,  1, 0x55555555);  \
  54 }
  55
  56 #define FP(l,r,tt)                     \
  57 {                                      \
  58   PERM_OP (l, r, tt,  1, 0x55555555);  \
  59   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  60   PERM_OP (l, r, tt,  2, 0x33333333);  \
  61   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  62   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  63 }
  64
  65 __constant u32 c_SPtrans[8][64] =
  66 {
  67   {
  68     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  69     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  70     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  71     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  72     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  73     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  74     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  75     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  76     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  77     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  78     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  79     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  80     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  81     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  82     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  83     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  84   },
  85   {
  86     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  87     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  88     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  89     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  90     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  91     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  92     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  93     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  94     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  95     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  96     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  97     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  98     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  99     0x00000010, 0x40108010, 0x00108000, 0x40100000,
 100     0x40100010, 0x00100000, 0x00008010, 0x40008000,
 101     0x40008010, 0x00000010, 0x40100000, 0x00108000,
 102   },
 103   {
 104     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 105     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 106     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 107     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 108     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 109     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 110     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 111     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 112     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 113     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 114     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 115     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 116     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 117     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 118     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 119     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 120   },
 121   {
 122     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 123     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 124     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 125     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 126     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 127     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 128     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 129     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 130     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 131     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 132     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 133     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 134     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 135     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 136     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 137     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 138   },
 139   {
 140     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 141     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 142     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 143     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 144     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 145     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 146     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 147     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 148     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 149     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 150     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 151     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 152     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 153     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 154     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 155     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 156   },
 157   {
 158     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 159     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 160     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 161     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 162     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 163     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 164     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 165     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 166     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 167     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 168     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 169     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 170     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 171     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 172     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 173     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 174   },
 175   {
 176     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 177     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 178     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 179     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 180     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 181     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 182     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 183     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 184     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 185     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 186     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 187     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 188     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 189     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 190     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 191     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 192   },
 193   {
 194     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 195     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 196     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 197     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 198     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 199     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 200     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 201     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 202     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 203     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 204     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 205     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 206     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 207     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 208     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 209     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 210   }
 211 };
 212
 213 __constant u32 c_skb[8][64] =
 214 {
 215   {
 216     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 217     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 218     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 219     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 220     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 221     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 222     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 223     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 224     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 225     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 226     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 227     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 228     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 229     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 230     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 231     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 232   },
 233   {
 234     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 235     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 236     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 237     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 238     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 239     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 240     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 241     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 242     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 243     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 244     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 245     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 246     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 247     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 248     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 249     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 250   },
 251   {
 252     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 253     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 254     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 255     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 256     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 257     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 258     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 259     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 260     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 261     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 262     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 263     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 264     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 265     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 266     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 267     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 268   },
 269   {
 270     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 271     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 272     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 273     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 274     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 275     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 276     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 277     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 278     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 279     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 280     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 281     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 282     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 283     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 284     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 285     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 286   },
 287   {
 288     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 289     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 290     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 291     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 292     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 293     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 294     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 295     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 296     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 297     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 298     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 299     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 300     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 301     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 302     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 303     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 304   },
 305   {
 306     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 307     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 308     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 309     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 310     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 311     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 312     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 313     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 314     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 315     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 316     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 317     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 318     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 319     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 320     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 321     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 322   },
 323   {
 324     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 325     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 326     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 327     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 328     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 329     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 330     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 331     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 332     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 333     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 334     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 335     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 336     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 337     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 338     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 339     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 340   },
 341   {
 342     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 343     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 344     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 345     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 346     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 347     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 348     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 349     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 350     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 351     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 352     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 353     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 354     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 355     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 356     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 357     0x00002822, 0x04002822, 0x00042822, 0x04042822
 358   }
 359 };
 360
 361 #if   VECT_SIZE == 1
 362 #define BOX(i,n,S) (S)[(n)][(i)]
 363 #elif VECT_SIZE == 2
 364 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 365 #elif VECT_SIZE == 4
 366 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 367 #elif VECT_SIZE == 8
 368 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 369 #endif
 370
 371 static void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 372 {
 373   u32x tt;
 374
 375   u32x r = data[0];
 376   u32x l = data[1];
 377
 378   IP (r, l, tt);
 379
 380   r = rotl32 (r, 3u);
 381   l = rotl32 (l, 3u);
 382
 383   #pragma unroll 16
 384   for (u32 i = 0; i < 16; i += 2)
 385   {
 386     u32x u;
 387     u32x t;
 388
 389     u = Kc[i + 0] ^ r;
 390     t = Kd[i + 0] ^ rotl32 (r, 28u);
 391
 392     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 393        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 394        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 395        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 396        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 397        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 398        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 399        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 400
 401     u = Kc[i + 1] ^ l;
 402     t = Kd[i + 1] ^ rotl32 (l, 28u);
 403
 404     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 405        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 406        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 407        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 408        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 409        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 410        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 411        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 412   }
 413
 414   l = rotl32 (l, 29u);
 415   r = rotl32 (r, 29u);
 416
 417   FP (r, l, tt);
 418
 419   iv[0] = l;
 420   iv[1] = r;
 421 }
 422
 423 static void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 424 {
 425   u32x tt;
 426
 427   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 428   HPERM_OP (c,    tt, 2, 0xcccc0000);
 429   HPERM_OP (d,    tt, 2, 0xcccc0000);
 430   PERM_OP  (d, c, tt, 1, 0x55555555);
 431   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 432   PERM_OP  (d, c, tt, 1, 0x55555555);
 433
 434   d = ((d & 0x000000ff) << 16)
 435     | ((d & 0x0000ff00) <<  0)
 436     | ((d & 0x00ff0000) >> 16)
 437     | ((c & 0xf0000000) >>  4);
 438
 439   c = c & 0x0fffffff;
 440
 441   #pragma unroll 16
 442   for (u32 i = 0; i < 16; i++)
 443   {
 444     if ((i < 2) || (i == 8) || (i == 15))
 445     {
 446       c = ((c >> 1) | (c << 27));
 447       d = ((d >> 1) | (d << 27));
 448     }
 449     else
 450     {
 451       c = ((c >> 2) | (c << 26));
 452       d = ((d >> 2) | (d << 26));
 453     }
 454
 455     c = c & 0x0fffffff;
 456     d = d & 0x0fffffff;
 457
 458     const u32x c00 = (c >>  0) & 0x0000003f;
 459     const u32x c06 = (c >>  6) & 0x00383003;
 460     const u32x c07 = (c >>  7) & 0x0000003c;
 461     const u32x c13 = (c >> 13) & 0x0000060f;
 462     const u32x c20 = (c >> 20) & 0x00000001;
 463
 464     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 465            | BOX (((c06 >>  0) & 0xff)
 466                  |((c07 >>  0) & 0xff), 1, s_skb)
 467            | BOX (((c13 >>  0) & 0xff)
 468                  |((c06 >>  8) & 0xff), 2, s_skb)
 469            | BOX (((c20 >>  0) & 0xff)
 470                  |((c13 >>  8) & 0xff)
 471                  |((c06 >> 16) & 0xff), 3, s_skb);
 472
 473     const u32x d00 = (d >>  0) & 0x00003c3f;
 474     const u32x d07 = (d >>  7) & 0x00003f03;
 475     const u32x d21 = (d >> 21) & 0x0000000f;
 476     const u32x d22 = (d >> 22) & 0x00000030;
 477
 478     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 479            | BOX (((d07 >>  0) & 0xff)
 480                  |((d00 >>  8) & 0xff), 5, s_skb)
 481            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 482            | BOX (((d21 >>  0) & 0xff)
 483                  |((d22 >>  0) & 0xff), 7, s_skb);
 484
 485     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 486     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 487
 488     Kc[i] = rotl32 (Kc[i], 2u);
 489     Kd[i] = rotl32 (Kd[i], 2u);
 490   }
 491 }
 492
 493 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 494 {
 495   /**
 496    * modifier
 497    */
 498
 499   const u32 gid = get_global_id (0);
 500   const u32 lid = get_local_id (0);
 501   const u32 lsz = get_local_size (0);
 502
 503   /**
 504    * sbox, kbox
 505    */
 506
 507   __local u32 s_SPtrans[8][64];
 508   __local u32 s_skb[8][64];
 509
 510   for (u32 i = lid; i < 64; i += lsz)
 511   {
 512     s_SPtrans[0][i] = c_SPtrans[0][i];
 513     s_SPtrans[1][i] = c_SPtrans[1][i];
 514     s_SPtrans[2][i] = c_SPtrans[2][i];
 515     s_SPtrans[3][i] = c_SPtrans[3][i];
 516     s_SPtrans[4][i] = c_SPtrans[4][i];
 517     s_SPtrans[5][i] = c_SPtrans[5][i];
 518     s_SPtrans[6][i] = c_SPtrans[6][i];
 519     s_SPtrans[7][i] = c_SPtrans[7][i];
 520
 521     s_skb[0][i] = c_skb[0][i];
 522     s_skb[1][i] = c_skb[1][i];
 523     s_skb[2][i] = c_skb[2][i];
 524     s_skb[3][i] = c_skb[3][i];
 525     s_skb[4][i] = c_skb[4][i];
 526     s_skb[5][i] = c_skb[5][i];
 527     s_skb[6][i] = c_skb[6][i];
 528     s_skb[7][i] = c_skb[7][i];
 529   }
 530
 531   barrier (CLK_LOCAL_MEM_FENCE);
 532
 533   if (gid >= gid_max) return;
 534
 535   /**
 536    * base
 537    */
 538
 539   u32 pw_buf0[4];
 540
 541   pw_buf0[0] = pws[gid].i[ 0];
 542   pw_buf0[1] = pws[gid].i[ 1];
 543   pw_buf0[2] = pws[gid].i[ 2];
 544   pw_buf0[3] = pws[gid].i[ 3];
 545
 546   u32 pw_buf1[4];
 547
 548   pw_buf1[0] = pws[gid].i[ 4];
 549   pw_buf1[1] = pws[gid].i[ 5];
 550   pw_buf1[2] = pws[gid].i[ 6];
 551   pw_buf1[3] = pws[gid].i[ 7];
 552
 553   const u32 pw_len = pws[gid].pw_len;
 554
 555   /**
 556    * salt
 557    */
 558
 559   u32 salt_buf0[4];
 560
 561   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 562   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 563   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 564   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 565
 566   u32 salt_buf1[4];
 567
 568   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 569   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 570   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 571   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 572
 573   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 574
 575   /**
 576    * loop
 577    */
 578
 579   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos += VECT_SIZE)
 580   {
 581     u32x w0[4] = { 0 };
 582     u32x w1[4] = { 0 };
 583     u32x w2[4] = { 0 };
 584     u32x w3[4] = { 0 };
 585
 586     const u32 out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 587
 588     const u32 salt_word_len = (salt_len + out_len) * 2;
 589
 590     /**
 591      * prepend salt
 592      */
 593
 594     u32x w0_t[4];
 595
 596     w0_t[0] = w0[0];
 597     w0_t[1] = w0[1];
 598     w0_t[2] = w0[2];
 599     w0_t[3] = w0[3];
 600
 601     u32x w1_t[4];
 602
 603     w1_t[0] = w1[0];
 604     w1_t[1] = w1[1];
 605     w1_t[2] = w1[2];
 606     w1_t[3] = w1[3];
 607
 608     u32x w2_t[4];
 609
 610     w2_t[0] = w2[0];
 611     w2_t[1] = w2[1];
 612     w2_t[2] = w2[2];
 613     w2_t[3] = w2[3];
 614
 615     u32x w3_t[4];
 616
 617     w3_t[0] = w3[0];
 618     w3_t[1] = w3[1];
 619     w3_t[2] = w3[2];
 620     w3_t[3] = w3[3];
 621
 622     switch_buffer_by_offset_le (w0_t, w1_t, w2_t, w3_t, salt_len);
 623
 624     w0_t[0] |= salt_buf0[0];
 625     w0_t[1] |= salt_buf0[1];
 626     w0_t[2] |= salt_buf0[2];
 627     w0_t[3] |= salt_buf0[3];
 628     w1_t[0] |= salt_buf1[0];
 629     w1_t[1] |= salt_buf1[1];
 630     w1_t[2] |= salt_buf1[2];
 631     w1_t[3] |= salt_buf1[3];
 632
 633     u32x dst[16];
 634
 635     dst[ 0] = w0_t[0];
 636     dst[ 1] = w0_t[1];
 637     dst[ 2] = w0_t[2];
 638     dst[ 3] = w0_t[3];
 639     dst[ 4] = w1_t[0];
 640     dst[ 5] = w1_t[1];
 641     dst[ 6] = w1_t[2];
 642     dst[ 7] = w1_t[3];
 643     dst[ 8] = w2_t[0];
 644     dst[ 9] = w2_t[1];
 645     dst[10] = w2_t[2];
 646     dst[11] = w2_t[3];
 647     dst[12] = 0;
 648     dst[13] = 0;
 649     dst[14] = 0;
 650     dst[15] = 0;
 651
 652     /**
 653      * precompute key1 since key is static: 0x0123456789abcdef
 654      * plus LEFT_ROTATE by 2
 655      */
 656
 657     u32x Kc[16];
 658
 659     Kc[ 0] = 0x64649040;
 660     Kc[ 1] = 0x14909858;
 661     Kc[ 2] = 0xc4b44888;
 662     Kc[ 3] = 0x9094e438;
 663     Kc[ 4] = 0xd8a004f0;
 664     Kc[ 5] = 0xa8f02810;
 665     Kc[ 6] = 0xc84048d8;
 666     Kc[ 7] = 0x68d804a8;
 667     Kc[ 8] = 0x0490e40c;
 668     Kc[ 9] = 0xac183024;
 669     Kc[10] = 0x24c07c10;
 670     Kc[11] = 0x8c88c038;
 671     Kc[12] = 0xc048c824;
 672     Kc[13] = 0x4c0470a8;
 673     Kc[14] = 0x584020b4;
 674     Kc[15] = 0x00742c4c;
 675
 676     u32x Kd[16];
 677
 678     Kd[ 0] = 0xa42ce40c;
 679     Kd[ 1] = 0x64689858;
 680     Kd[ 2] = 0x484050b8;
 681     Kd[ 3] = 0xe8184814;
 682     Kd[ 4] = 0x405cc070;
 683     Kd[ 5] = 0xa010784c;
 684     Kd[ 6] = 0x6074a800;
 685     Kd[ 7] = 0x80701c1c;
 686     Kd[ 8] = 0x9cd49430;
 687     Kd[ 9] = 0x4c8ce078;
 688     Kd[10] = 0x5c18c088;
 689     Kd[11] = 0x28a8a4c8;
 690     Kd[12] = 0x3c180838;
 691     Kd[13] = 0xb0b86c20;
 692     Kd[14] = 0xac84a094;
 693     Kd[15] = 0x4ce0c0c4;
 694
 695     /**
 696      * key1 (generate key)
 697      */
 698
 699     u32x iv[2];
 700
 701     iv[0] = 0;
 702     iv[1] = 0;
 703
 704     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 705     {
 706       u32x data[2];
 707
 708       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 709       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 710
 711       data[0] ^= iv[0];
 712       data[1] ^= iv[1];
 713
 714       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 715     }
 716
 717     /**
 718      * key2 (generate hash)
 719      */
 720
 721     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 722
 723     iv[0] = 0;
 724     iv[1] = 0;
 725
 726     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 727     {
 728       u32x data[2];
 729
 730       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 731       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 732
 733       data[0] ^= iv[0];
 734       data[1] ^= iv[1];
 735
 736       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 737     }
 738
 739     /**
 740      * cmp
 741      */
 742
 743     const u32x r0 = iv[0];
 744     const u32x r1 = iv[1];
 745     const u32x r2 = 0;
 746     const u32x r3 = 0;
 747
 748     COMPARE_M_SIMD (r0, r1, r2, r3);
 749   }
 750 }
 751
 752 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 753 {
 754 }
 755
 756 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 757 {
 758 }
 759
 760 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 761 {
 762   /**
 763    * modifier
 764    */
 765
 766   const u32 gid = get_global_id (0);
 767   const u32 lid = get_local_id (0);
 768   const u32 lsz = get_local_size (0);
 769
 770   /**
 771    * sbox, kbox
 772    */
 773
 774   __local u32 s_SPtrans[8][64];
 775   __local u32 s_skb[8][64];
 776
 777   for (u32 i = lid; i < 64; i += lsz)
 778   {
 779     s_SPtrans[0][i] = c_SPtrans[0][i];
 780     s_SPtrans[1][i] = c_SPtrans[1][i];
 781     s_SPtrans[2][i] = c_SPtrans[2][i];
 782     s_SPtrans[3][i] = c_SPtrans[3][i];
 783     s_SPtrans[4][i] = c_SPtrans[4][i];
 784     s_SPtrans[5][i] = c_SPtrans[5][i];
 785     s_SPtrans[6][i] = c_SPtrans[6][i];
 786     s_SPtrans[7][i] = c_SPtrans[7][i];
 787
 788     s_skb[0][i] = c_skb[0][i];
 789     s_skb[1][i] = c_skb[1][i];
 790     s_skb[2][i] = c_skb[2][i];
 791     s_skb[3][i] = c_skb[3][i];
 792     s_skb[4][i] = c_skb[4][i];
 793     s_skb[5][i] = c_skb[5][i];
 794     s_skb[6][i] = c_skb[6][i];
 795     s_skb[7][i] = c_skb[7][i];
 796   }
 797
 798   barrier (CLK_LOCAL_MEM_FENCE);
 799
 800   if (gid >= gid_max) return;
 801
 802   /**
 803    * base
 804    */
 805
 806   u32 pw_buf0[4];
 807
 808   pw_buf0[0] = pws[gid].i[ 0];
 809   pw_buf0[1] = pws[gid].i[ 1];
 810   pw_buf0[2] = pws[gid].i[ 2];
 811   pw_buf0[3] = pws[gid].i[ 3];
 812
 813   u32 pw_buf1[4];
 814
 815   pw_buf1[0] = pws[gid].i[ 4];
 816   pw_buf1[1] = pws[gid].i[ 5];
 817   pw_buf1[2] = pws[gid].i[ 6];
 818   pw_buf1[3] = pws[gid].i[ 7];
 819
 820   const u32 pw_len = pws[gid].pw_len;
 821
 822   /**
 823    * salt
 824    */
 825
 826   u32 salt_buf0[4];
 827
 828   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 829   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 830   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 831   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 832
 833   u32 salt_buf1[4];
 834
 835   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 836   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 837   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 838   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 839
 840   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 841
 842   /**
 843    * digest
 844    */
 845
 846   const u32 search[4] =
 847   {
 848     digests_buf[digests_offset].digest_buf[DGST_R0],
 849     digests_buf[digests_offset].digest_buf[DGST_R1],
 850     digests_buf[digests_offset].digest_buf[DGST_R2],
 851     digests_buf[digests_offset].digest_buf[DGST_R3]
 852   };
 853
 854   /**
 855    * loop
 856    */
 857
 858   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos += VECT_SIZE)
 859   {
 860     u32x w0[4] = { 0 };
 861     u32x w1[4] = { 0 };
 862     u32x w2[4] = { 0 };
 863     u32x w3[4] = { 0 };
 864
 865     const u32 out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 866
 867     const u32 salt_word_len = (salt_len + out_len) * 2;
 868
 869     /**
 870      * prepend salt
 871      */
 872
 873     u32x w0_t[4];
 874
 875     w0_t[0] = w0[0];
 876     w0_t[1] = w0[1];
 877     w0_t[2] = w0[2];
 878     w0_t[3] = w0[3];
 879
 880     u32x w1_t[4];
 881
 882     w1_t[0] = w1[0];
 883     w1_t[1] = w1[1];
 884     w1_t[2] = w1[2];
 885     w1_t[3] = w1[3];
 886
 887     u32x w2_t[4];
 888
 889     w2_t[0] = w2[0];
 890     w2_t[1] = w2[1];
 891     w2_t[2] = w2[2];
 892     w2_t[3] = w2[3];
 893
 894     u32x w3_t[4];
 895
 896     w3_t[0] = w3[0];
 897     w3_t[1] = w3[1];
 898     w3_t[2] = w3[2];
 899     w3_t[3] = w3[3];
 900
 901     switch_buffer_by_offset_le (w0_t, w1_t, w2_t, w3_t, salt_len);
 902
 903     w0_t[0] |= salt_buf0[0];
 904     w0_t[1] |= salt_buf0[1];
 905     w0_t[2] |= salt_buf0[2];
 906     w0_t[3] |= salt_buf0[3];
 907     w1_t[0] |= salt_buf1[0];
 908     w1_t[1] |= salt_buf1[1];
 909     w1_t[2] |= salt_buf1[2];
 910     w1_t[3] |= salt_buf1[3];
 911
 912     u32x dst[16];
 913
 914     dst[ 0] = w0_t[0];
 915     dst[ 1] = w0_t[1];
 916     dst[ 2] = w0_t[2];
 917     dst[ 3] = w0_t[3];
 918     dst[ 4] = w1_t[0];
 919     dst[ 5] = w1_t[1];
 920     dst[ 6] = w1_t[2];
 921     dst[ 7] = w1_t[3];
 922     dst[ 8] = w2_t[0];
 923     dst[ 9] = w2_t[1];
 924     dst[10] = w2_t[2];
 925     dst[11] = w2_t[3];
 926     dst[12] = 0;
 927     dst[13] = 0;
 928     dst[14] = 0;
 929     dst[15] = 0;
 930
 931     /**
 932      * precompute key1 since key is static: 0x0123456789abcdef
 933      * plus LEFT_ROTATE by 2
 934      */
 935
 936     u32x Kc[16];
 937
 938     Kc[ 0] = 0x64649040;
 939     Kc[ 1] = 0x14909858;
 940     Kc[ 2] = 0xc4b44888;
 941     Kc[ 3] = 0x9094e438;
 942     Kc[ 4] = 0xd8a004f0;
 943     Kc[ 5] = 0xa8f02810;
 944     Kc[ 6] = 0xc84048d8;
 945     Kc[ 7] = 0x68d804a8;
 946     Kc[ 8] = 0x0490e40c;
 947     Kc[ 9] = 0xac183024;
 948     Kc[10] = 0x24c07c10;
 949     Kc[11] = 0x8c88c038;
 950     Kc[12] = 0xc048c824;
 951     Kc[13] = 0x4c0470a8;
 952     Kc[14] = 0x584020b4;
 953     Kc[15] = 0x00742c4c;
 954
 955     u32x Kd[16];
 956
 957     Kd[ 0] = 0xa42ce40c;
 958     Kd[ 1] = 0x64689858;
 959     Kd[ 2] = 0x484050b8;
 960     Kd[ 3] = 0xe8184814;
 961     Kd[ 4] = 0x405cc070;
 962     Kd[ 5] = 0xa010784c;
 963     Kd[ 6] = 0x6074a800;
 964     Kd[ 7] = 0x80701c1c;
 965     Kd[ 8] = 0x9cd49430;
 966     Kd[ 9] = 0x4c8ce078;
 967     Kd[10] = 0x5c18c088;
 968     Kd[11] = 0x28a8a4c8;
 969     Kd[12] = 0x3c180838;
 970     Kd[13] = 0xb0b86c20;
 971     Kd[14] = 0xac84a094;
 972     Kd[15] = 0x4ce0c0c4;
 973
 974     /**
 975      * key1 (generate key)
 976      */
 977
 978     u32x iv[2];
 979
 980     iv[0] = 0;
 981     iv[1] = 0;
 982
 983     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 984     {
 985       u32x data[2];
 986
 987       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 988       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 989
 990       data[0] ^= iv[0];
 991       data[1] ^= iv[1];
 992
 993       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 994     }
 995
 996     /**
 997      * key2 (generate hash)
 998      */
 999
1000     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
1001
1002     iv[0] = 0;
1003     iv[1] = 0;
1004
1005     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1006     {
1007       u32x data[2];
1008
1009       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1010       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1011
1012       data[0] ^= iv[0];
1013       data[1] ^= iv[1];
1014
1015       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1016     }
1017
1018     /**
1019      * cmp
1020      */
1021
1022     const u32x r0 = iv[0];
1023     const u32x r1 = iv[1];
1024     const u32x r2 = 0;
1025     const u32x r3 = 0;
1026
1027     COMPARE_M_SIMD (r0, r1, r2, r3);
1028   }
1029 }
1030
1031 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1032 {
1033 }
1034
1035 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1036 {
1037 }