OpenCL/m03100_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _DES_
  10
  11 //incompatible
  12 //#define NEW_SIMD_CODE
  13
  14 #include "include/constants.h"
  15 #include "include/kernel_vendor.h"
  16
  17 #define DGST_R0 0
  18 #define DGST_R1 1
  19 #define DGST_R2 2
  20 #define DGST_R3 3
  21
  22 #include "include/kernel_functions.c"
  23 #include "OpenCL/types_ocl.c"
  24 #include "OpenCL/common.c"
  25 #include "include/rp_kernel.h"
  26 #include "OpenCL/rp.c"
  27 #include "OpenCL/simd.c"
  28
  29 #define PERM_OP(a,b,tt,n,m) \
  30 {                           \
  31   tt = a >> n;              \
  32   tt = tt ^ b;              \
  33   tt = tt & m;              \
  34   b = b ^ tt;               \
  35   tt = tt << n;             \
  36   a = a ^ tt;               \
  37 }
  38
  39 #define HPERM_OP(a,tt,n,m)  \
  40 {                           \
  41   tt = a << (16 + n);       \
  42   tt = tt ^ a;              \
  43   tt = tt & m;              \
  44   a  = a ^ tt;              \
  45   tt = tt >> (16 + n);      \
  46   a  = a ^ tt;              \
  47 }
  48
  49 #define IP(l,r,tt)                     \
  50 {                                      \
  51   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  52   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  53   PERM_OP (r, l, tt,  2, 0x33333333);  \
  54   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  55   PERM_OP (r, l, tt,  1, 0x55555555);  \
  56 }
  57
  58 #define FP(l,r,tt)                     \
  59 {                                      \
  60   PERM_OP (l, r, tt,  1, 0x55555555);  \
  61   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  62   PERM_OP (l, r, tt,  2, 0x33333333);  \
  63   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  64   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  65 }
  66
  67 __constant u32 c_SPtrans[8][64] =
  68 {
  69   {
  70     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  71     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  72     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  73     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  74     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  75     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  76     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  77     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  78     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  79     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  80     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  81     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  82     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  83     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  84     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  85     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  86   },
  87   {
  88     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  89     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  90     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  91     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  92     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  93     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  94     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  95     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  96     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  97     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  98     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  99     0x00008000, 0x40000000, 0x00108010, 0x40008010,
 100     0x40108000, 0x00008000, 0x00000000, 0x40000010,
 101     0x00000010, 0x40108010, 0x00108000, 0x40100000,
 102     0x40100010, 0x00100000, 0x00008010, 0x40008000,
 103     0x40008010, 0x00000010, 0x40100000, 0x00108000,
 104   },
 105   {
 106     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 107     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 108     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 109     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 110     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 111     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 112     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 113     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 114     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 115     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 116     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 117     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 118     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 119     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 120     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 121     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 122   },
 123   {
 124     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 125     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 126     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 127     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 128     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 129     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 130     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 131     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 132     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 133     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 134     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 135     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 136     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 137     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 138     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 139     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 140   },
 141   {
 142     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 143     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 144     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 145     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 146     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 147     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 148     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 149     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 150     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 151     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 152     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 153     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 154     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 155     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 156     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 157     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 158   },
 159   {
 160     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 161     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 162     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 163     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 164     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 165     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 166     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 167     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 168     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 169     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 170     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 171     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 172     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 173     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 174     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 175     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 176   },
 177   {
 178     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 179     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 180     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 181     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 182     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 183     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 184     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 185     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 186     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 187     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 188     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 189     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 190     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 191     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 192     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 193     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 194   },
 195   {
 196     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 197     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 198     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 199     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 200     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 201     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 202     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 203     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 204     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 205     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 206     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 207     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 208     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 209     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 210     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 211     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 212   }
 213 };
 214
 215 __constant u32 c_skb[8][64] =
 216 {
 217   {
 218     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 219     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 220     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 221     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 222     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 223     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 224     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 225     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 226     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 227     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 228     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 229     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 230     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 231     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 232     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 233     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 234   },
 235   {
 236     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 237     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 238     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 239     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 240     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 241     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 242     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 243     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 244     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 245     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 246     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 247     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 248     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 249     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 250     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 251     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 252   },
 253   {
 254     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 255     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 256     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 257     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 258     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 259     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 260     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 261     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 262     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 263     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 264     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 265     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 266     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 267     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 268     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 269     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 270   },
 271   {
 272     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 273     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 274     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 275     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 276     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 277     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 278     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 279     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 280     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 281     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 282     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 283     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 284     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 285     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 286     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 287     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 288   },
 289   {
 290     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 291     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 292     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 293     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 294     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 295     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 296     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 297     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 298     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 299     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 300     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 301     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 302     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 303     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 304     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 305     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 306   },
 307   {
 308     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 309     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 310     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 311     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 312     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 313     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 314     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 315     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 316     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 317     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 318     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 319     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 320     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 321     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 322     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 323     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 324   },
 325   {
 326     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 327     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 328     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 329     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 330     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 331     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 332     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 333     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 334     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 335     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 336     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 337     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 338     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 339     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 340     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 341     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 342   },
 343   {
 344     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 345     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 346     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 347     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 348     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 349     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 350     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 351     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 352     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 353     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 354     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 355     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 356     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 357     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 358     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 359     0x00002822, 0x04002822, 0x00042822, 0x04042822
 360   }
 361 };
 362
 363 #if   VECT_SIZE == 1
 364 #define BOX(i,n,S) (S)[(n)][(i)]
 365 #elif VECT_SIZE == 2
 366 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 367 #elif VECT_SIZE == 4
 368 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 369 #elif VECT_SIZE == 8
 370 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 371 #elif VECT_SIZE == 16
 372 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 373 #endif
 374
 375 static void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 376 {
 377   u32x tt;
 378
 379   u32x r = data[0];
 380   u32x l = data[1];
 381
 382   IP (r, l, tt);
 383
 384   r = rotl32 (r, 3u);
 385   l = rotl32 (l, 3u);
 386
 387   #pragma unroll 16
 388   for (u32 i = 0; i < 16; i += 2)
 389   {
 390     u32x u;
 391     u32x t;
 392
 393     u = Kc[i + 0] ^ r;
 394     t = Kd[i + 0] ^ rotl32 (r, 28u);
 395
 396     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 397        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 398        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 399        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 400        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 401        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 402        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 403        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 404
 405     u = Kc[i + 1] ^ l;
 406     t = Kd[i + 1] ^ rotl32 (l, 28u);
 407
 408     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 409        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 410        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 411        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 412        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 413        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 414        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 415        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 416   }
 417
 418   l = rotl32 (l, 29u);
 419   r = rotl32 (r, 29u);
 420
 421   FP (r, l, tt);
 422
 423   iv[0] = l;
 424   iv[1] = r;
 425 }
 426
 427 static void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 428 {
 429   u32x tt;
 430
 431   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 432   HPERM_OP (c,    tt, 2, 0xcccc0000);
 433   HPERM_OP (d,    tt, 2, 0xcccc0000);
 434   PERM_OP  (d, c, tt, 1, 0x55555555);
 435   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 436   PERM_OP  (d, c, tt, 1, 0x55555555);
 437
 438   d = ((d & 0x000000ff) << 16)
 439     | ((d & 0x0000ff00) <<  0)
 440     | ((d & 0x00ff0000) >> 16)
 441     | ((c & 0xf0000000) >>  4);
 442
 443   c = c & 0x0fffffff;
 444
 445   #pragma unroll 16
 446   for (u32 i = 0; i < 16; i++)
 447   {
 448     if ((i < 2) || (i == 8) || (i == 15))
 449     {
 450       c = ((c >> 1) | (c << 27));
 451       d = ((d >> 1) | (d << 27));
 452     }
 453     else
 454     {
 455       c = ((c >> 2) | (c << 26));
 456       d = ((d >> 2) | (d << 26));
 457     }
 458
 459     c = c & 0x0fffffff;
 460     d = d & 0x0fffffff;
 461
 462     const u32x c00 = (c >>  0) & 0x0000003f;
 463     const u32x c06 = (c >>  6) & 0x00383003;
 464     const u32x c07 = (c >>  7) & 0x0000003c;
 465     const u32x c13 = (c >> 13) & 0x0000060f;
 466     const u32x c20 = (c >> 20) & 0x00000001;
 467
 468     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 469            | BOX (((c06 >>  0) & 0xff)
 470                  |((c07 >>  0) & 0xff), 1, s_skb)
 471            | BOX (((c13 >>  0) & 0xff)
 472                  |((c06 >>  8) & 0xff), 2, s_skb)
 473            | BOX (((c20 >>  0) & 0xff)
 474                  |((c13 >>  8) & 0xff)
 475                  |((c06 >> 16) & 0xff), 3, s_skb);
 476
 477     const u32x d00 = (d >>  0) & 0x00003c3f;
 478     const u32x d07 = (d >>  7) & 0x00003f03;
 479     const u32x d21 = (d >> 21) & 0x0000000f;
 480     const u32x d22 = (d >> 22) & 0x00000030;
 481
 482     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 483            | BOX (((d07 >>  0) & 0xff)
 484                  |((d00 >>  8) & 0xff), 5, s_skb)
 485            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 486            | BOX (((d21 >>  0) & 0xff)
 487                  |((d22 >>  0) & 0xff), 7, s_skb);
 488
 489     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 490     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 491
 492     Kc[i] = rotl32 (Kc[i], 2u);
 493     Kd[i] = rotl32 (Kd[i], 2u);
 494   }
 495 }
 496
 497 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 498 {
 499   /**
 500    * modifier
 501    */
 502
 503   const u32 gid = get_global_id (0);
 504   const u32 lid = get_local_id (0);
 505   const u32 lsz = get_local_size (0);
 506
 507   /**
 508    * sbox, kbox
 509    */
 510
 511   __local u32 s_SPtrans[8][64];
 512   __local u32 s_skb[8][64];
 513
 514   for (u32 i = lid; i < 64; i += lsz)
 515   {
 516     s_SPtrans[0][i] = c_SPtrans[0][i];
 517     s_SPtrans[1][i] = c_SPtrans[1][i];
 518     s_SPtrans[2][i] = c_SPtrans[2][i];
 519     s_SPtrans[3][i] = c_SPtrans[3][i];
 520     s_SPtrans[4][i] = c_SPtrans[4][i];
 521     s_SPtrans[5][i] = c_SPtrans[5][i];
 522     s_SPtrans[6][i] = c_SPtrans[6][i];
 523     s_SPtrans[7][i] = c_SPtrans[7][i];
 524
 525     s_skb[0][i] = c_skb[0][i];
 526     s_skb[1][i] = c_skb[1][i];
 527     s_skb[2][i] = c_skb[2][i];
 528     s_skb[3][i] = c_skb[3][i];
 529     s_skb[4][i] = c_skb[4][i];
 530     s_skb[5][i] = c_skb[5][i];
 531     s_skb[6][i] = c_skb[6][i];
 532     s_skb[7][i] = c_skb[7][i];
 533   }
 534
 535   barrier (CLK_LOCAL_MEM_FENCE);
 536
 537   if (gid >= gid_max) return;
 538
 539   /**
 540    * base
 541    */
 542
 543   u32 pw_buf0[4];
 544
 545   pw_buf0[0] = pws[gid].i[ 0];
 546   pw_buf0[1] = pws[gid].i[ 1];
 547   pw_buf0[2] = pws[gid].i[ 2];
 548   pw_buf0[3] = pws[gid].i[ 3];
 549
 550   u32 pw_buf1[4];
 551
 552   pw_buf1[0] = pws[gid].i[ 4];
 553   pw_buf1[1] = pws[gid].i[ 5];
 554   pw_buf1[2] = pws[gid].i[ 6];
 555   pw_buf1[3] = pws[gid].i[ 7];
 556
 557   const u32 pw_len = pws[gid].pw_len;
 558
 559   /**
 560    * salt
 561    */
 562
 563   u32 salt_buf0[4];
 564
 565   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 566   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 567   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 568   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 569
 570   u32 salt_buf1[4];
 571
 572   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 573   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 574   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 575   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 576
 577   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 578
 579   /**
 580    * loop
 581    */
 582
 583   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 584   {
 585     u32x w0[4] = { 0 };
 586     u32x w1[4] = { 0 };
 587     u32x w2[4] = { 0 };
 588     u32x w3[4] = { 0 };
 589
 590     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 591
 592     const u32x salt_word_len = (salt_len + out_len) * 2;
 593
 594     /**
 595      * prepend salt
 596      */
 597
 598     u32x w0_t[4];
 599
 600     w0_t[0] = w0[0];
 601     w0_t[1] = w0[1];
 602     w0_t[2] = w0[2];
 603     w0_t[3] = w0[3];
 604
 605     u32x w1_t[4];
 606
 607     w1_t[0] = w1[0];
 608     w1_t[1] = w1[1];
 609     w1_t[2] = w1[2];
 610     w1_t[3] = w1[3];
 611
 612     u32x w2_t[4];
 613
 614     w2_t[0] = w2[0];
 615     w2_t[1] = w2[1];
 616     w2_t[2] = w2[2];
 617     w2_t[3] = w2[3];
 618
 619     u32x w3_t[4];
 620
 621     w3_t[0] = w3[0];
 622     w3_t[1] = w3[1];
 623     w3_t[2] = w3[2];
 624     w3_t[3] = w3[3];
 625
 626     switch_buffer_by_offset_le (w0_t, w1_t, w2_t, w3_t, salt_len);
 627
 628     w0_t[0] |= salt_buf0[0];
 629     w0_t[1] |= salt_buf0[1];
 630     w0_t[2] |= salt_buf0[2];
 631     w0_t[3] |= salt_buf0[3];
 632     w1_t[0] |= salt_buf1[0];
 633     w1_t[1] |= salt_buf1[1];
 634     w1_t[2] |= salt_buf1[2];
 635     w1_t[3] |= salt_buf1[3];
 636
 637     u32x dst[16];
 638
 639     dst[ 0] = w0_t[0];
 640     dst[ 1] = w0_t[1];
 641     dst[ 2] = w0_t[2];
 642     dst[ 3] = w0_t[3];
 643     dst[ 4] = w1_t[0];
 644     dst[ 5] = w1_t[1];
 645     dst[ 6] = w1_t[2];
 646     dst[ 7] = w1_t[3];
 647     dst[ 8] = w2_t[0];
 648     dst[ 9] = w2_t[1];
 649     dst[10] = w2_t[2];
 650     dst[11] = w2_t[3];
 651     dst[12] = 0;
 652     dst[13] = 0;
 653     dst[14] = 0;
 654     dst[15] = 0;
 655
 656     /**
 657      * precompute key1 since key is static: 0x0123456789abcdef
 658      * plus LEFT_ROTATE by 2
 659      */
 660
 661     u32x Kc[16];
 662
 663     Kc[ 0] = 0x64649040;
 664     Kc[ 1] = 0x14909858;
 665     Kc[ 2] = 0xc4b44888;
 666     Kc[ 3] = 0x9094e438;
 667     Kc[ 4] = 0xd8a004f0;
 668     Kc[ 5] = 0xa8f02810;
 669     Kc[ 6] = 0xc84048d8;
 670     Kc[ 7] = 0x68d804a8;
 671     Kc[ 8] = 0x0490e40c;
 672     Kc[ 9] = 0xac183024;
 673     Kc[10] = 0x24c07c10;
 674     Kc[11] = 0x8c88c038;
 675     Kc[12] = 0xc048c824;
 676     Kc[13] = 0x4c0470a8;
 677     Kc[14] = 0x584020b4;
 678     Kc[15] = 0x00742c4c;
 679
 680     u32x Kd[16];
 681
 682     Kd[ 0] = 0xa42ce40c;
 683     Kd[ 1] = 0x64689858;
 684     Kd[ 2] = 0x484050b8;
 685     Kd[ 3] = 0xe8184814;
 686     Kd[ 4] = 0x405cc070;
 687     Kd[ 5] = 0xa010784c;
 688     Kd[ 6] = 0x6074a800;
 689     Kd[ 7] = 0x80701c1c;
 690     Kd[ 8] = 0x9cd49430;
 691     Kd[ 9] = 0x4c8ce078;
 692     Kd[10] = 0x5c18c088;
 693     Kd[11] = 0x28a8a4c8;
 694     Kd[12] = 0x3c180838;
 695     Kd[13] = 0xb0b86c20;
 696     Kd[14] = 0xac84a094;
 697     Kd[15] = 0x4ce0c0c4;
 698
 699     /**
 700      * key1 (generate key)
 701      */
 702
 703     u32x iv[2];
 704
 705     iv[0] = 0;
 706     iv[1] = 0;
 707
 708     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 709     {
 710       u32x data[2];
 711
 712       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 713       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 714
 715       data[0] ^= iv[0];
 716       data[1] ^= iv[1];
 717
 718       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 719     }
 720
 721     /**
 722      * key2 (generate hash)
 723      */
 724
 725     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 726
 727     iv[0] = 0;
 728     iv[1] = 0;
 729
 730     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 731     {
 732       u32x data[2];
 733
 734       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 735       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 736
 737       data[0] ^= iv[0];
 738       data[1] ^= iv[1];
 739
 740       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 741     }
 742
 743     /**
 744      * cmp
 745      */
 746
 747     const u32x r0 = iv[0];
 748     const u32x r1 = iv[1];
 749     const u32x r2 = 0;
 750     const u32x r3 = 0;
 751
 752     COMPARE_M_SIMD (r0, r1, r2, r3);
 753   }
 754 }
 755
 756 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 757 {
 758 }
 759
 760 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 761 {
 762 }
 763
 764 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 765 {
 766   /**
 767    * modifier
 768    */
 769
 770   const u32 gid = get_global_id (0);
 771   const u32 lid = get_local_id (0);
 772   const u32 lsz = get_local_size (0);
 773
 774   /**
 775    * sbox, kbox
 776    */
 777
 778   __local u32 s_SPtrans[8][64];
 779   __local u32 s_skb[8][64];
 780
 781   for (u32 i = lid; i < 64; i += lsz)
 782   {
 783     s_SPtrans[0][i] = c_SPtrans[0][i];
 784     s_SPtrans[1][i] = c_SPtrans[1][i];
 785     s_SPtrans[2][i] = c_SPtrans[2][i];
 786     s_SPtrans[3][i] = c_SPtrans[3][i];
 787     s_SPtrans[4][i] = c_SPtrans[4][i];
 788     s_SPtrans[5][i] = c_SPtrans[5][i];
 789     s_SPtrans[6][i] = c_SPtrans[6][i];
 790     s_SPtrans[7][i] = c_SPtrans[7][i];
 791
 792     s_skb[0][i] = c_skb[0][i];
 793     s_skb[1][i] = c_skb[1][i];
 794     s_skb[2][i] = c_skb[2][i];
 795     s_skb[3][i] = c_skb[3][i];
 796     s_skb[4][i] = c_skb[4][i];
 797     s_skb[5][i] = c_skb[5][i];
 798     s_skb[6][i] = c_skb[6][i];
 799     s_skb[7][i] = c_skb[7][i];
 800   }
 801
 802   barrier (CLK_LOCAL_MEM_FENCE);
 803
 804   if (gid >= gid_max) return;
 805
 806   /**
 807    * base
 808    */
 809
 810   u32 pw_buf0[4];
 811
 812   pw_buf0[0] = pws[gid].i[ 0];
 813   pw_buf0[1] = pws[gid].i[ 1];
 814   pw_buf0[2] = pws[gid].i[ 2];
 815   pw_buf0[3] = pws[gid].i[ 3];
 816
 817   u32 pw_buf1[4];
 818
 819   pw_buf1[0] = pws[gid].i[ 4];
 820   pw_buf1[1] = pws[gid].i[ 5];
 821   pw_buf1[2] = pws[gid].i[ 6];
 822   pw_buf1[3] = pws[gid].i[ 7];
 823
 824   const u32 pw_len = pws[gid].pw_len;
 825
 826   /**
 827    * salt
 828    */
 829
 830   u32 salt_buf0[4];
 831
 832   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 833   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 834   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 835   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 836
 837   u32 salt_buf1[4];
 838
 839   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 840   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 841   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 842   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 843
 844   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 845
 846   /**
 847    * digest
 848    */
 849
 850   const u32 search[4] =
 851   {
 852     digests_buf[digests_offset].digest_buf[DGST_R0],
 853     digests_buf[digests_offset].digest_buf[DGST_R1],
 854     digests_buf[digests_offset].digest_buf[DGST_R2],
 855     digests_buf[digests_offset].digest_buf[DGST_R3]
 856   };
 857
 858   /**
 859    * loop
 860    */
 861
 862   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 863   {
 864     u32x w0[4] = { 0 };
 865     u32x w1[4] = { 0 };
 866     u32x w2[4] = { 0 };
 867     u32x w3[4] = { 0 };
 868
 869     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 870
 871     const u32x salt_word_len = (salt_len + out_len) * 2;
 872
 873     /**
 874      * prepend salt
 875      */
 876
 877     u32x w0_t[4];
 878
 879     w0_t[0] = w0[0];
 880     w0_t[1] = w0[1];
 881     w0_t[2] = w0[2];
 882     w0_t[3] = w0[3];
 883
 884     u32x w1_t[4];
 885
 886     w1_t[0] = w1[0];
 887     w1_t[1] = w1[1];
 888     w1_t[2] = w1[2];
 889     w1_t[3] = w1[3];
 890
 891     u32x w2_t[4];
 892
 893     w2_t[0] = w2[0];
 894     w2_t[1] = w2[1];
 895     w2_t[2] = w2[2];
 896     w2_t[3] = w2[3];
 897
 898     u32x w3_t[4];
 899
 900     w3_t[0] = w3[0];
 901     w3_t[1] = w3[1];
 902     w3_t[2] = w3[2];
 903     w3_t[3] = w3[3];
 904
 905     switch_buffer_by_offset_le (w0_t, w1_t, w2_t, w3_t, salt_len);
 906
 907     w0_t[0] |= salt_buf0[0];
 908     w0_t[1] |= salt_buf0[1];
 909     w0_t[2] |= salt_buf0[2];
 910     w0_t[3] |= salt_buf0[3];
 911     w1_t[0] |= salt_buf1[0];
 912     w1_t[1] |= salt_buf1[1];
 913     w1_t[2] |= salt_buf1[2];
 914     w1_t[3] |= salt_buf1[3];
 915
 916     u32x dst[16];
 917
 918     dst[ 0] = w0_t[0];
 919     dst[ 1] = w0_t[1];
 920     dst[ 2] = w0_t[2];
 921     dst[ 3] = w0_t[3];
 922     dst[ 4] = w1_t[0];
 923     dst[ 5] = w1_t[1];
 924     dst[ 6] = w1_t[2];
 925     dst[ 7] = w1_t[3];
 926     dst[ 8] = w2_t[0];
 927     dst[ 9] = w2_t[1];
 928     dst[10] = w2_t[2];
 929     dst[11] = w2_t[3];
 930     dst[12] = 0;
 931     dst[13] = 0;
 932     dst[14] = 0;
 933     dst[15] = 0;
 934
 935     /**
 936      * precompute key1 since key is static: 0x0123456789abcdef
 937      * plus LEFT_ROTATE by 2
 938      */
 939
 940     u32x Kc[16];
 941
 942     Kc[ 0] = 0x64649040;
 943     Kc[ 1] = 0x14909858;
 944     Kc[ 2] = 0xc4b44888;
 945     Kc[ 3] = 0x9094e438;
 946     Kc[ 4] = 0xd8a004f0;
 947     Kc[ 5] = 0xa8f02810;
 948     Kc[ 6] = 0xc84048d8;
 949     Kc[ 7] = 0x68d804a8;
 950     Kc[ 8] = 0x0490e40c;
 951     Kc[ 9] = 0xac183024;
 952     Kc[10] = 0x24c07c10;
 953     Kc[11] = 0x8c88c038;
 954     Kc[12] = 0xc048c824;
 955     Kc[13] = 0x4c0470a8;
 956     Kc[14] = 0x584020b4;
 957     Kc[15] = 0x00742c4c;
 958
 959     u32x Kd[16];
 960
 961     Kd[ 0] = 0xa42ce40c;
 962     Kd[ 1] = 0x64689858;
 963     Kd[ 2] = 0x484050b8;
 964     Kd[ 3] = 0xe8184814;
 965     Kd[ 4] = 0x405cc070;
 966     Kd[ 5] = 0xa010784c;
 967     Kd[ 6] = 0x6074a800;
 968     Kd[ 7] = 0x80701c1c;
 969     Kd[ 8] = 0x9cd49430;
 970     Kd[ 9] = 0x4c8ce078;
 971     Kd[10] = 0x5c18c088;
 972     Kd[11] = 0x28a8a4c8;
 973     Kd[12] = 0x3c180838;
 974     Kd[13] = 0xb0b86c20;
 975     Kd[14] = 0xac84a094;
 976     Kd[15] = 0x4ce0c0c4;
 977
 978     /**
 979      * key1 (generate key)
 980      */
 981
 982     u32x iv[2];
 983
 984     iv[0] = 0;
 985     iv[1] = 0;
 986
 987     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 988     {
 989       u32x data[2];
 990
 991       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 992       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 993
 994       data[0] ^= iv[0];
 995       data[1] ^= iv[1];
 996
 997       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 998     }
 999
1000     /**
1001      * key2 (generate hash)
1002      */
1003
1004     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
1005
1006     iv[0] = 0;
1007     iv[1] = 0;
1008
1009     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1010     {
1011       u32x data[2];
1012
1013       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1014       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1015
1016       data[0] ^= iv[0];
1017       data[1] ^= iv[1];
1018
1019       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1020     }
1021
1022     /**
1023      * cmp
1024      */
1025
1026     const u32x r0 = iv[0];
1027     const u32x r1 = iv[1];
1028     const u32x r2 = 0;
1029     const u32x r3 = 0;
1030
1031     COMPARE_M_SIMD (r0, r1, r2, r3);
1032   }
1033 }
1034
1035 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1036 {
1037 }
1038
1039 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1040 {
1041 }