OpenCL/m03100_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _DES_
  10
  11 #define NEW_SIMD_CODE
  12
  13 #include "include/constants.h"
  14 #include "include/kernel_vendor.h"
  15
  16 #define DGST_R0 0
  17 #define DGST_R1 1
  18 #define DGST_R2 2
  19 #define DGST_R3 3
  20
  21 #include "include/kernel_functions.c"
  22 #include "OpenCL/types_ocl.c"
  23 #include "OpenCL/common.c"
  24 #include "include/rp_kernel.h"
  25 #include "OpenCL/rp.c"
  26 #include "OpenCL/simd.c"
  27
  28 #define PERM_OP(a,b,tt,n,m) \
  29 {                           \
  30   tt = a >> n;              \
  31   tt = tt ^ b;              \
  32   tt = tt & m;              \
  33   b = b ^ tt;               \
  34   tt = tt << n;             \
  35   a = a ^ tt;               \
  36 }
  37
  38 #define HPERM_OP(a,tt,n,m)  \
  39 {                           \
  40   tt = a << (16 + n);       \
  41   tt = tt ^ a;              \
  42   tt = tt & m;              \
  43   a  = a ^ tt;              \
  44   tt = tt >> (16 + n);      \
  45   a  = a ^ tt;              \
  46 }
  47
  48 #define IP(l,r,tt)                     \
  49 {                                      \
  50   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  51   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  52   PERM_OP (r, l, tt,  2, 0x33333333);  \
  53   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  54   PERM_OP (r, l, tt,  1, 0x55555555);  \
  55 }
  56
  57 #define FP(l,r,tt)                     \
  58 {                                      \
  59   PERM_OP (l, r, tt,  1, 0x55555555);  \
  60   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  61   PERM_OP (l, r, tt,  2, 0x33333333);  \
  62   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  63   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  64 }
  65
  66 __constant u32 c_SPtrans[8][64] =
  67 {
  68   {
  69     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  70     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  71     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  72     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  73     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  74     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  75     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  76     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  77     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  78     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  79     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  80     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  81     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  82     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  83     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  84     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  85   },
  86   {
  87     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  88     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  89     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  90     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  91     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  92     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  93     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  94     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  95     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  96     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  97     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  98     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  99     0x40108000, 0x00008000, 0x00000000, 0x40000010,
 100     0x00000010, 0x40108010, 0x00108000, 0x40100000,
 101     0x40100010, 0x00100000, 0x00008010, 0x40008000,
 102     0x40008010, 0x00000010, 0x40100000, 0x00108000,
 103   },
 104   {
 105     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 106     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 107     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 108     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 109     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 110     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 111     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 112     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 113     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 114     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 115     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 116     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 117     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 118     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 119     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 120     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 121   },
 122   {
 123     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 124     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 125     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 126     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 127     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 128     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 129     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 130     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 131     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 132     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 133     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 134     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 135     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 136     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 137     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 138     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 139   },
 140   {
 141     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 142     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 143     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 144     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 145     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 146     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 147     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 148     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 149     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 150     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 151     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 152     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 153     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 154     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 155     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 156     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 157   },
 158   {
 159     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 160     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 161     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 162     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 163     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 164     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 165     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 166     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 167     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 168     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 169     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 170     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 171     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 172     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 173     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 174     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 175   },
 176   {
 177     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 178     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 179     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 180     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 181     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 182     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 183     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 184     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 185     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 186     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 187     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 188     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 189     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 190     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 191     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 192     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 193   },
 194   {
 195     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 196     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 197     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 198     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 199     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 200     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 201     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 202     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 203     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 204     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 205     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 206     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 207     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 208     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 209     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 210     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 211   }
 212 };
 213
 214 __constant u32 c_skb[8][64] =
 215 {
 216   {
 217     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 218     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 219     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 220     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 221     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 222     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 223     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 224     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 225     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 226     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 227     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 228     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 229     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 230     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 231     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 232     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 233   },
 234   {
 235     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 236     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 237     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 238     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 239     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 240     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 241     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 242     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 243     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 244     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 245     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 246     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 247     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 248     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 249     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 250     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 251   },
 252   {
 253     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 254     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 255     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 256     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 257     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 258     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 259     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 260     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 261     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 262     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 263     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 264     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 265     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 266     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 267     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 268     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 269   },
 270   {
 271     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 272     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 273     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 274     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 275     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 276     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 277     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 278     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 279     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 280     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 281     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 282     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 283     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 284     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 285     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 286     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 287   },
 288   {
 289     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 290     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 291     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 292     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 293     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 294     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 295     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 296     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 297     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 298     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 299     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 300     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 301     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 302     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 303     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 304     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 305   },
 306   {
 307     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 308     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 309     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 310     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 311     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 312     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 313     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 314     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 315     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 316     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 317     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 318     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 319     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 320     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 321     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 322     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 323   },
 324   {
 325     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 326     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 327     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 328     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 329     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 330     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 331     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 332     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 333     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 334     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 335     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 336     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 337     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 338     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 339     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 340     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 341   },
 342   {
 343     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 344     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 345     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 346     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 347     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 348     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 349     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 350     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 351     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 352     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 353     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 354     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 355     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 356     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 357     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 358     0x00002822, 0x04002822, 0x00042822, 0x04042822
 359   }
 360 };
 361
 362 #if   VECT_SIZE == 1
 363 #define BOX(i,n,S) (S)[(n)][(i)]
 364 #elif VECT_SIZE == 2
 365 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 366 #elif VECT_SIZE == 4
 367 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 368 #elif VECT_SIZE == 8
 369 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 370 #elif VECT_SIZE == 16
 371 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 372 #endif
 373
 374 static void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 375 {
 376   u32x tt;
 377
 378   u32x r = data[0];
 379   u32x l = data[1];
 380
 381   IP (r, l, tt);
 382
 383   r = rotl32 (r, 3u);
 384   l = rotl32 (l, 3u);
 385
 386   #pragma unroll 16
 387   for (u32 i = 0; i < 16; i += 2)
 388   {
 389     u32x u;
 390     u32x t;
 391
 392     u = Kc[i + 0] ^ r;
 393     t = Kd[i + 0] ^ rotl32 (r, 28u);
 394
 395     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 396        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 397        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 398        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 399        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 400        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 401        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 402        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 403
 404     u = Kc[i + 1] ^ l;
 405     t = Kd[i + 1] ^ rotl32 (l, 28u);
 406
 407     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 408        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 409        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 410        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 411        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 412        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 413        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 414        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 415   }
 416
 417   l = rotl32 (l, 29u);
 418   r = rotl32 (r, 29u);
 419
 420   FP (r, l, tt);
 421
 422   iv[0] = l;
 423   iv[1] = r;
 424 }
 425
 426 static void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 427 {
 428   u32x tt;
 429
 430   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 431   HPERM_OP (c,    tt, 2, 0xcccc0000);
 432   HPERM_OP (d,    tt, 2, 0xcccc0000);
 433   PERM_OP  (d, c, tt, 1, 0x55555555);
 434   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 435   PERM_OP  (d, c, tt, 1, 0x55555555);
 436
 437   d = ((d & 0x000000ff) << 16)
 438     | ((d & 0x0000ff00) <<  0)
 439     | ((d & 0x00ff0000) >> 16)
 440     | ((c & 0xf0000000) >>  4);
 441
 442   c = c & 0x0fffffff;
 443
 444   #pragma unroll 16
 445   for (u32 i = 0; i < 16; i++)
 446   {
 447     if ((i < 2) || (i == 8) || (i == 15))
 448     {
 449       c = ((c >> 1) | (c << 27));
 450       d = ((d >> 1) | (d << 27));
 451     }
 452     else
 453     {
 454       c = ((c >> 2) | (c << 26));
 455       d = ((d >> 2) | (d << 26));
 456     }
 457
 458     c = c & 0x0fffffff;
 459     d = d & 0x0fffffff;
 460
 461     const u32x c00 = (c >>  0) & 0x0000003f;
 462     const u32x c06 = (c >>  6) & 0x00383003;
 463     const u32x c07 = (c >>  7) & 0x0000003c;
 464     const u32x c13 = (c >> 13) & 0x0000060f;
 465     const u32x c20 = (c >> 20) & 0x00000001;
 466
 467     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 468            | BOX (((c06 >>  0) & 0xff)
 469                  |((c07 >>  0) & 0xff), 1, s_skb)
 470            | BOX (((c13 >>  0) & 0xff)
 471                  |((c06 >>  8) & 0xff), 2, s_skb)
 472            | BOX (((c20 >>  0) & 0xff)
 473                  |((c13 >>  8) & 0xff)
 474                  |((c06 >> 16) & 0xff), 3, s_skb);
 475
 476     const u32x d00 = (d >>  0) & 0x00003c3f;
 477     const u32x d07 = (d >>  7) & 0x00003f03;
 478     const u32x d21 = (d >> 21) & 0x0000000f;
 479     const u32x d22 = (d >> 22) & 0x00000030;
 480
 481     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 482            | BOX (((d07 >>  0) & 0xff)
 483                  |((d00 >>  8) & 0xff), 5, s_skb)
 484            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 485            | BOX (((d21 >>  0) & 0xff)
 486                  |((d22 >>  0) & 0xff), 7, s_skb);
 487
 488     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 489     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 490
 491     Kc[i] = rotl32 (Kc[i], 2u);
 492     Kd[i] = rotl32 (Kd[i], 2u);
 493   }
 494 }
 495
 496 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 497 {
 498   /**
 499    * modifier
 500    */
 501
 502   const u32 gid = get_global_id (0);
 503   const u32 lid = get_local_id (0);
 504   const u32 lsz = get_local_size (0);
 505
 506   /**
 507    * sbox, kbox
 508    */
 509
 510   __local u32 s_SPtrans[8][64];
 511   __local u32 s_skb[8][64];
 512
 513   for (u32 i = lid; i < 64; i += lsz)
 514   {
 515     s_SPtrans[0][i] = c_SPtrans[0][i];
 516     s_SPtrans[1][i] = c_SPtrans[1][i];
 517     s_SPtrans[2][i] = c_SPtrans[2][i];
 518     s_SPtrans[3][i] = c_SPtrans[3][i];
 519     s_SPtrans[4][i] = c_SPtrans[4][i];
 520     s_SPtrans[5][i] = c_SPtrans[5][i];
 521     s_SPtrans[6][i] = c_SPtrans[6][i];
 522     s_SPtrans[7][i] = c_SPtrans[7][i];
 523
 524     s_skb[0][i] = c_skb[0][i];
 525     s_skb[1][i] = c_skb[1][i];
 526     s_skb[2][i] = c_skb[2][i];
 527     s_skb[3][i] = c_skb[3][i];
 528     s_skb[4][i] = c_skb[4][i];
 529     s_skb[5][i] = c_skb[5][i];
 530     s_skb[6][i] = c_skb[6][i];
 531     s_skb[7][i] = c_skb[7][i];
 532   }
 533
 534   barrier (CLK_LOCAL_MEM_FENCE);
 535
 536   if (gid >= gid_max) return;
 537
 538   /**
 539    * base
 540    */
 541
 542   u32 pw_buf0[4];
 543
 544   pw_buf0[0] = pws[gid].i[ 0];
 545   pw_buf0[1] = pws[gid].i[ 1];
 546   pw_buf0[2] = pws[gid].i[ 2];
 547   pw_buf0[3] = pws[gid].i[ 3];
 548
 549   u32 pw_buf1[4];
 550
 551   pw_buf1[0] = pws[gid].i[ 4];
 552   pw_buf1[1] = pws[gid].i[ 5];
 553   pw_buf1[2] = pws[gid].i[ 6];
 554   pw_buf1[3] = pws[gid].i[ 7];
 555
 556   const u32 pw_len = pws[gid].pw_len;
 557
 558   /**
 559    * salt
 560    */
 561
 562   u32 salt_buf0[4];
 563
 564   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 565   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 566   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 567   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 568
 569   u32 salt_buf1[4];
 570
 571   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 572   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 573   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 574   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 575
 576   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 577
 578   /**
 579    * loop
 580    */
 581
 582   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos += VECT_SIZE)
 583   {
 584     u32x w0[4] = { 0 };
 585     u32x w1[4] = { 0 };
 586     u32x w2[4] = { 0 };
 587     u32x w3[4] = { 0 };
 588
 589     const u32 out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 590
 591     const u32 salt_word_len = (salt_len + out_len) * 2;
 592
 593     /**
 594      * prepend salt
 595      */
 596
 597     u32x w0_t[4];
 598
 599     w0_t[0] = w0[0];
 600     w0_t[1] = w0[1];
 601     w0_t[2] = w0[2];
 602     w0_t[3] = w0[3];
 603
 604     u32x w1_t[4];
 605
 606     w1_t[0] = w1[0];
 607     w1_t[1] = w1[1];
 608     w1_t[2] = w1[2];
 609     w1_t[3] = w1[3];
 610
 611     u32x w2_t[4];
 612
 613     w2_t[0] = w2[0];
 614     w2_t[1] = w2[1];
 615     w2_t[2] = w2[2];
 616     w2_t[3] = w2[3];
 617
 618     u32x w3_t[4];
 619
 620     w3_t[0] = w3[0];
 621     w3_t[1] = w3[1];
 622     w3_t[2] = w3[2];
 623     w3_t[3] = w3[3];
 624
 625     switch_buffer_by_offset_le (w0_t, w1_t, w2_t, w3_t, salt_len);
 626
 627     w0_t[0] |= salt_buf0[0];
 628     w0_t[1] |= salt_buf0[1];
 629     w0_t[2] |= salt_buf0[2];
 630     w0_t[3] |= salt_buf0[3];
 631     w1_t[0] |= salt_buf1[0];
 632     w1_t[1] |= salt_buf1[1];
 633     w1_t[2] |= salt_buf1[2];
 634     w1_t[3] |= salt_buf1[3];
 635
 636     u32x dst[16];
 637
 638     dst[ 0] = w0_t[0];
 639     dst[ 1] = w0_t[1];
 640     dst[ 2] = w0_t[2];
 641     dst[ 3] = w0_t[3];
 642     dst[ 4] = w1_t[0];
 643     dst[ 5] = w1_t[1];
 644     dst[ 6] = w1_t[2];
 645     dst[ 7] = w1_t[3];
 646     dst[ 8] = w2_t[0];
 647     dst[ 9] = w2_t[1];
 648     dst[10] = w2_t[2];
 649     dst[11] = w2_t[3];
 650     dst[12] = 0;
 651     dst[13] = 0;
 652     dst[14] = 0;
 653     dst[15] = 0;
 654
 655     /**
 656      * precompute key1 since key is static: 0x0123456789abcdef
 657      * plus LEFT_ROTATE by 2
 658      */
 659
 660     u32x Kc[16];
 661
 662     Kc[ 0] = 0x64649040;
 663     Kc[ 1] = 0x14909858;
 664     Kc[ 2] = 0xc4b44888;
 665     Kc[ 3] = 0x9094e438;
 666     Kc[ 4] = 0xd8a004f0;
 667     Kc[ 5] = 0xa8f02810;
 668     Kc[ 6] = 0xc84048d8;
 669     Kc[ 7] = 0x68d804a8;
 670     Kc[ 8] = 0x0490e40c;
 671     Kc[ 9] = 0xac183024;
 672     Kc[10] = 0x24c07c10;
 673     Kc[11] = 0x8c88c038;
 674     Kc[12] = 0xc048c824;
 675     Kc[13] = 0x4c0470a8;
 676     Kc[14] = 0x584020b4;
 677     Kc[15] = 0x00742c4c;
 678
 679     u32x Kd[16];
 680
 681     Kd[ 0] = 0xa42ce40c;
 682     Kd[ 1] = 0x64689858;
 683     Kd[ 2] = 0x484050b8;
 684     Kd[ 3] = 0xe8184814;
 685     Kd[ 4] = 0x405cc070;
 686     Kd[ 5] = 0xa010784c;
 687     Kd[ 6] = 0x6074a800;
 688     Kd[ 7] = 0x80701c1c;
 689     Kd[ 8] = 0x9cd49430;
 690     Kd[ 9] = 0x4c8ce078;
 691     Kd[10] = 0x5c18c088;
 692     Kd[11] = 0x28a8a4c8;
 693     Kd[12] = 0x3c180838;
 694     Kd[13] = 0xb0b86c20;
 695     Kd[14] = 0xac84a094;
 696     Kd[15] = 0x4ce0c0c4;
 697
 698     /**
 699      * key1 (generate key)
 700      */
 701
 702     u32x iv[2];
 703
 704     iv[0] = 0;
 705     iv[1] = 0;
 706
 707     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 708     {
 709       u32x data[2];
 710
 711       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 712       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 713
 714       data[0] ^= iv[0];
 715       data[1] ^= iv[1];
 716
 717       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 718     }
 719
 720     /**
 721      * key2 (generate hash)
 722      */
 723
 724     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 725
 726     iv[0] = 0;
 727     iv[1] = 0;
 728
 729     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 730     {
 731       u32x data[2];
 732
 733       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 734       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 735
 736       data[0] ^= iv[0];
 737       data[1] ^= iv[1];
 738
 739       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 740     }
 741
 742     /**
 743      * cmp
 744      */
 745
 746     const u32x r0 = iv[0];
 747     const u32x r1 = iv[1];
 748     const u32x r2 = 0;
 749     const u32x r3 = 0;
 750
 751     COMPARE_M_SIMD (r0, r1, r2, r3);
 752   }
 753 }
 754
 755 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 756 {
 757 }
 758
 759 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 760 {
 761 }
 762
 763 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 764 {
 765   /**
 766    * modifier
 767    */
 768
 769   const u32 gid = get_global_id (0);
 770   const u32 lid = get_local_id (0);
 771   const u32 lsz = get_local_size (0);
 772
 773   /**
 774    * sbox, kbox
 775    */
 776
 777   __local u32 s_SPtrans[8][64];
 778   __local u32 s_skb[8][64];
 779
 780   for (u32 i = lid; i < 64; i += lsz)
 781   {
 782     s_SPtrans[0][i] = c_SPtrans[0][i];
 783     s_SPtrans[1][i] = c_SPtrans[1][i];
 784     s_SPtrans[2][i] = c_SPtrans[2][i];
 785     s_SPtrans[3][i] = c_SPtrans[3][i];
 786     s_SPtrans[4][i] = c_SPtrans[4][i];
 787     s_SPtrans[5][i] = c_SPtrans[5][i];
 788     s_SPtrans[6][i] = c_SPtrans[6][i];
 789     s_SPtrans[7][i] = c_SPtrans[7][i];
 790
 791     s_skb[0][i] = c_skb[0][i];
 792     s_skb[1][i] = c_skb[1][i];
 793     s_skb[2][i] = c_skb[2][i];
 794     s_skb[3][i] = c_skb[3][i];
 795     s_skb[4][i] = c_skb[4][i];
 796     s_skb[5][i] = c_skb[5][i];
 797     s_skb[6][i] = c_skb[6][i];
 798     s_skb[7][i] = c_skb[7][i];
 799   }
 800
 801   barrier (CLK_LOCAL_MEM_FENCE);
 802
 803   if (gid >= gid_max) return;
 804
 805   /**
 806    * base
 807    */
 808
 809   u32 pw_buf0[4];
 810
 811   pw_buf0[0] = pws[gid].i[ 0];
 812   pw_buf0[1] = pws[gid].i[ 1];
 813   pw_buf0[2] = pws[gid].i[ 2];
 814   pw_buf0[3] = pws[gid].i[ 3];
 815
 816   u32 pw_buf1[4];
 817
 818   pw_buf1[0] = pws[gid].i[ 4];
 819   pw_buf1[1] = pws[gid].i[ 5];
 820   pw_buf1[2] = pws[gid].i[ 6];
 821   pw_buf1[3] = pws[gid].i[ 7];
 822
 823   const u32 pw_len = pws[gid].pw_len;
 824
 825   /**
 826    * salt
 827    */
 828
 829   u32 salt_buf0[4];
 830
 831   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 832   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 833   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 834   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 835
 836   u32 salt_buf1[4];
 837
 838   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 839   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 840   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 841   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 842
 843   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 844
 845   /**
 846    * digest
 847    */
 848
 849   const u32 search[4] =
 850   {
 851     digests_buf[digests_offset].digest_buf[DGST_R0],
 852     digests_buf[digests_offset].digest_buf[DGST_R1],
 853     digests_buf[digests_offset].digest_buf[DGST_R2],
 854     digests_buf[digests_offset].digest_buf[DGST_R3]
 855   };
 856
 857   /**
 858    * loop
 859    */
 860
 861   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos += VECT_SIZE)
 862   {
 863     u32x w0[4] = { 0 };
 864     u32x w1[4] = { 0 };
 865     u32x w2[4] = { 0 };
 866     u32x w3[4] = { 0 };
 867
 868     const u32 out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 869
 870     const u32 salt_word_len = (salt_len + out_len) * 2;
 871
 872     /**
 873      * prepend salt
 874      */
 875
 876     u32x w0_t[4];
 877
 878     w0_t[0] = w0[0];
 879     w0_t[1] = w0[1];
 880     w0_t[2] = w0[2];
 881     w0_t[3] = w0[3];
 882
 883     u32x w1_t[4];
 884
 885     w1_t[0] = w1[0];
 886     w1_t[1] = w1[1];
 887     w1_t[2] = w1[2];
 888     w1_t[3] = w1[3];
 889
 890     u32x w2_t[4];
 891
 892     w2_t[0] = w2[0];
 893     w2_t[1] = w2[1];
 894     w2_t[2] = w2[2];
 895     w2_t[3] = w2[3];
 896
 897     u32x w3_t[4];
 898
 899     w3_t[0] = w3[0];
 900     w3_t[1] = w3[1];
 901     w3_t[2] = w3[2];
 902     w3_t[3] = w3[3];
 903
 904     switch_buffer_by_offset_le (w0_t, w1_t, w2_t, w3_t, salt_len);
 905
 906     w0_t[0] |= salt_buf0[0];
 907     w0_t[1] |= salt_buf0[1];
 908     w0_t[2] |= salt_buf0[2];
 909     w0_t[3] |= salt_buf0[3];
 910     w1_t[0] |= salt_buf1[0];
 911     w1_t[1] |= salt_buf1[1];
 912     w1_t[2] |= salt_buf1[2];
 913     w1_t[3] |= salt_buf1[3];
 914
 915     u32x dst[16];
 916
 917     dst[ 0] = w0_t[0];
 918     dst[ 1] = w0_t[1];
 919     dst[ 2] = w0_t[2];
 920     dst[ 3] = w0_t[3];
 921     dst[ 4] = w1_t[0];
 922     dst[ 5] = w1_t[1];
 923     dst[ 6] = w1_t[2];
 924     dst[ 7] = w1_t[3];
 925     dst[ 8] = w2_t[0];
 926     dst[ 9] = w2_t[1];
 927     dst[10] = w2_t[2];
 928     dst[11] = w2_t[3];
 929     dst[12] = 0;
 930     dst[13] = 0;
 931     dst[14] = 0;
 932     dst[15] = 0;
 933
 934     /**
 935      * precompute key1 since key is static: 0x0123456789abcdef
 936      * plus LEFT_ROTATE by 2
 937      */
 938
 939     u32x Kc[16];
 940
 941     Kc[ 0] = 0x64649040;
 942     Kc[ 1] = 0x14909858;
 943     Kc[ 2] = 0xc4b44888;
 944     Kc[ 3] = 0x9094e438;
 945     Kc[ 4] = 0xd8a004f0;
 946     Kc[ 5] = 0xa8f02810;
 947     Kc[ 6] = 0xc84048d8;
 948     Kc[ 7] = 0x68d804a8;
 949     Kc[ 8] = 0x0490e40c;
 950     Kc[ 9] = 0xac183024;
 951     Kc[10] = 0x24c07c10;
 952     Kc[11] = 0x8c88c038;
 953     Kc[12] = 0xc048c824;
 954     Kc[13] = 0x4c0470a8;
 955     Kc[14] = 0x584020b4;
 956     Kc[15] = 0x00742c4c;
 957
 958     u32x Kd[16];
 959
 960     Kd[ 0] = 0xa42ce40c;
 961     Kd[ 1] = 0x64689858;
 962     Kd[ 2] = 0x484050b8;
 963     Kd[ 3] = 0xe8184814;
 964     Kd[ 4] = 0x405cc070;
 965     Kd[ 5] = 0xa010784c;
 966     Kd[ 6] = 0x6074a800;
 967     Kd[ 7] = 0x80701c1c;
 968     Kd[ 8] = 0x9cd49430;
 969     Kd[ 9] = 0x4c8ce078;
 970     Kd[10] = 0x5c18c088;
 971     Kd[11] = 0x28a8a4c8;
 972     Kd[12] = 0x3c180838;
 973     Kd[13] = 0xb0b86c20;
 974     Kd[14] = 0xac84a094;
 975     Kd[15] = 0x4ce0c0c4;
 976
 977     /**
 978      * key1 (generate key)
 979      */
 980
 981     u32x iv[2];
 982
 983     iv[0] = 0;
 984     iv[1] = 0;
 985
 986     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 987     {
 988       u32x data[2];
 989
 990       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 991       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 992
 993       data[0] ^= iv[0];
 994       data[1] ^= iv[1];
 995
 996       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 997     }
 998
 999     /**
1000      * key2 (generate hash)
1001      */
1002
1003     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
1004
1005     iv[0] = 0;
1006     iv[1] = 0;
1007
1008     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1009     {
1010       u32x data[2];
1011
1012       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1013       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1014
1015       data[0] ^= iv[0];
1016       data[1] ^= iv[1];
1017
1018       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1019     }
1020
1021     /**
1022      * cmp
1023      */
1024
1025     const u32x r0 = iv[0];
1026     const u32x r1 = iv[1];
1027     const u32x r2 = 0;
1028     const u32x r3 = 0;
1029
1030     COMPARE_M_SIMD (r0, r1, r2, r3);
1031   }
1032 }
1033
1034 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1035 {
1036 }
1037
1038 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1039 {
1040 }