OpenCL/m03100_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _DES_
  10
  11 //incompatible
  12 //#define NEW_SIMD_CODE
  13
  14 #include "include/constants.h"
  15 #include "include/kernel_vendor.h"
  16
  17 #define DGST_R0 0
  18 #define DGST_R1 1
  19 #define DGST_R2 2
  20 #define DGST_R3 3
  21
  22 #include "include/kernel_functions.c"
  23 #include "OpenCL/types_ocl.c"
  24 #include "OpenCL/common.c"
  25 #include "include/rp_kernel.h"
  26 #include "OpenCL/rp.c"
  27 #include "OpenCL/simd.c"
  28
  29 #define PERM_OP(a,b,tt,n,m) \
  30 {                           \
  31   tt = a >> n;              \
  32   tt = tt ^ b;              \
  33   tt = tt & m;              \
  34   b = b ^ tt;               \
  35   tt = tt << n;             \
  36   a = a ^ tt;               \
  37 }
  38
  39 #define HPERM_OP(a,tt,n,m)  \
  40 {                           \
  41   tt = a << (16 + n);       \
  42   tt = tt ^ a;              \
  43   tt = tt & m;              \
  44   a  = a ^ tt;              \
  45   tt = tt >> (16 + n);      \
  46   a  = a ^ tt;              \
  47 }
  48
  49 #define IP(l,r,tt)                     \
  50 {                                      \
  51   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  52   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  53   PERM_OP (r, l, tt,  2, 0x33333333);  \
  54   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  55   PERM_OP (r, l, tt,  1, 0x55555555);  \
  56 }
  57
  58 #define FP(l,r,tt)                     \
  59 {                                      \
  60   PERM_OP (l, r, tt,  1, 0x55555555);  \
  61   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  62   PERM_OP (l, r, tt,  2, 0x33333333);  \
  63   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  64   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  65 }
  66
  67 __constant u32 c_SPtrans[8][64] =
  68 {
  69   {
  70     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  71     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  72     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  73     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  74     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  75     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  76     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  77     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  78     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  79     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  80     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  81     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  82     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  83     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  84     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  85     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  86   },
  87   {
  88     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  89     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  90     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  91     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  92     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  93     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  94     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  95     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  96     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  97     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  98     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  99     0x00008000, 0x40000000, 0x00108010, 0x40008010,
 100     0x40108000, 0x00008000, 0x00000000, 0x40000010,
 101     0x00000010, 0x40108010, 0x00108000, 0x40100000,
 102     0x40100010, 0x00100000, 0x00008010, 0x40008000,
 103     0x40008010, 0x00000010, 0x40100000, 0x00108000,
 104   },
 105   {
 106     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 107     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 108     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 109     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 110     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 111     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 112     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 113     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 114     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 115     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 116     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 117     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 118     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 119     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 120     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 121     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 122   },
 123   {
 124     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 125     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 126     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 127     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 128     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 129     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 130     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 131     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 132     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 133     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 134     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 135     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 136     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 137     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 138     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 139     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 140   },
 141   {
 142     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 143     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 144     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 145     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 146     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 147     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 148     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 149     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 150     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 151     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 152     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 153     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 154     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 155     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 156     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 157     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 158   },
 159   {
 160     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 161     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 162     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 163     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 164     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 165     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 166     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 167     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 168     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 169     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 170     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 171     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 172     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 173     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 174     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 175     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 176   },
 177   {
 178     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 179     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 180     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 181     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 182     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 183     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 184     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 185     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 186     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 187     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 188     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 189     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 190     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 191     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 192     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 193     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 194   },
 195   {
 196     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 197     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 198     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 199     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 200     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 201     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 202     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 203     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 204     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 205     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 206     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 207     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 208     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 209     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 210     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 211     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 212   }
 213 };
 214
 215 __constant u32 c_skb[8][64] =
 216 {
 217   {
 218     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 219     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 220     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 221     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 222     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 223     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 224     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 225     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 226     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 227     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 228     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 229     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 230     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 231     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 232     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 233     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 234   },
 235   {
 236     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 237     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 238     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 239     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 240     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 241     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 242     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 243     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 244     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 245     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 246     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 247     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 248     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 249     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 250     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 251     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 252   },
 253   {
 254     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 255     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 256     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 257     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 258     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 259     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 260     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 261     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 262     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 263     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 264     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 265     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 266     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 267     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 268     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 269     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 270   },
 271   {
 272     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 273     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 274     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 275     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 276     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 277     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 278     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 279     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 280     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 281     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 282     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 283     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 284     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 285     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 286     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 287     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 288   },
 289   {
 290     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 291     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 292     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 293     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 294     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 295     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 296     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 297     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 298     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 299     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 300     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 301     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 302     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 303     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 304     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 305     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 306   },
 307   {
 308     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 309     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 310     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 311     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 312     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 313     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 314     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 315     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 316     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 317     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 318     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 319     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 320     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 321     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 322     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 323     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 324   },
 325   {
 326     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 327     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 328     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 329     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 330     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 331     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 332     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 333     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 334     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 335     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 336     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 337     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 338     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 339     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 340     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 341     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 342   },
 343   {
 344     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 345     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 346     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 347     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 348     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 349     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 350     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 351     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 352     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 353     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 354     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 355     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 356     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 357     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 358     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 359     0x00002822, 0x04002822, 0x00042822, 0x04042822
 360   }
 361 };
 362
 363 #if   VECT_SIZE == 1
 364 #define BOX(i,n,S) (S)[(n)][(i)]
 365 #elif VECT_SIZE == 2
 366 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 367 #elif VECT_SIZE == 4
 368 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 369 #elif VECT_SIZE == 8
 370 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 371 #elif VECT_SIZE == 16
 372 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 373 #endif
 374
 375 void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 376 {
 377   u32x tt;
 378
 379   u32x r = data[0];
 380   u32x l = data[1];
 381
 382   IP (r, l, tt);
 383
 384   r = rotl32 (r, 3u);
 385   l = rotl32 (l, 3u);
 386
 387   #pragma unroll 16
 388   for (u32 i = 0; i < 16; i += 2)
 389   {
 390     u32x u;
 391     u32x t;
 392
 393     u = Kc[i + 0] ^ r;
 394     t = Kd[i + 0] ^ rotl32 (r, 28u);
 395
 396     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 397        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 398        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 399        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 400        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 401        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 402        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 403        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 404
 405     u = Kc[i + 1] ^ l;
 406     t = Kd[i + 1] ^ rotl32 (l, 28u);
 407
 408     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 409        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 410        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 411        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 412        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 413        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 414        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 415        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 416   }
 417
 418   l = rotl32 (l, 29u);
 419   r = rotl32 (r, 29u);
 420
 421   FP (r, l, tt);
 422
 423   iv[0] = l;
 424   iv[1] = r;
 425 }
 426
 427 void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 428 {
 429   u32x tt;
 430
 431   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 432   HPERM_OP (c,    tt, 2, 0xcccc0000);
 433   HPERM_OP (d,    tt, 2, 0xcccc0000);
 434   PERM_OP  (d, c, tt, 1, 0x55555555);
 435   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 436   PERM_OP  (d, c, tt, 1, 0x55555555);
 437
 438   d = ((d & 0x000000ff) << 16)
 439     | ((d & 0x0000ff00) <<  0)
 440     | ((d & 0x00ff0000) >> 16)
 441     | ((c & 0xf0000000) >>  4);
 442
 443   c = c & 0x0fffffff;
 444
 445   #pragma unroll 16
 446   for (u32 i = 0; i < 16; i++)
 447   {
 448     if ((i < 2) || (i == 8) || (i == 15))
 449     {
 450       c = ((c >> 1) | (c << 27));
 451       d = ((d >> 1) | (d << 27));
 452     }
 453     else
 454     {
 455       c = ((c >> 2) | (c << 26));
 456       d = ((d >> 2) | (d << 26));
 457     }
 458
 459     c = c & 0x0fffffff;
 460     d = d & 0x0fffffff;
 461
 462     const u32x c00 = (c >>  0) & 0x0000003f;
 463     const u32x c06 = (c >>  6) & 0x00383003;
 464     const u32x c07 = (c >>  7) & 0x0000003c;
 465     const u32x c13 = (c >> 13) & 0x0000060f;
 466     const u32x c20 = (c >> 20) & 0x00000001;
 467
 468     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 469            | BOX (((c06 >>  0) & 0xff)
 470                  |((c07 >>  0) & 0xff), 1, s_skb)
 471            | BOX (((c13 >>  0) & 0xff)
 472                  |((c06 >>  8) & 0xff), 2, s_skb)
 473            | BOX (((c20 >>  0) & 0xff)
 474                  |((c13 >>  8) & 0xff)
 475                  |((c06 >> 16) & 0xff), 3, s_skb);
 476
 477     const u32x d00 = (d >>  0) & 0x00003c3f;
 478     const u32x d07 = (d >>  7) & 0x00003f03;
 479     const u32x d21 = (d >> 21) & 0x0000000f;
 480     const u32x d22 = (d >> 22) & 0x00000030;
 481
 482     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 483            | BOX (((d07 >>  0) & 0xff)
 484                  |((d00 >>  8) & 0xff), 5, s_skb)
 485            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 486            | BOX (((d21 >>  0) & 0xff)
 487                  |((d22 >>  0) & 0xff), 7, s_skb);
 488
 489     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 490     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 491
 492     Kc[i] = rotl32 (Kc[i], 2u);
 493     Kd[i] = rotl32 (Kd[i], 2u);
 494   }
 495 }
 496
 497 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 498 {
 499   /**
 500    * modifier
 501    */
 502
 503   const u32 gid = get_global_id (0);
 504   const u32 lid = get_local_id (0);
 505   const u32 lsz = get_local_size (0);
 506
 507   /**
 508    * sbox, kbox
 509    */
 510
 511   __local u32 s_SPtrans[8][64];
 512   __local u32 s_skb[8][64];
 513
 514   for (u32 i = lid; i < 64; i += lsz)
 515   {
 516     s_SPtrans[0][i] = c_SPtrans[0][i];
 517     s_SPtrans[1][i] = c_SPtrans[1][i];
 518     s_SPtrans[2][i] = c_SPtrans[2][i];
 519     s_SPtrans[3][i] = c_SPtrans[3][i];
 520     s_SPtrans[4][i] = c_SPtrans[4][i];
 521     s_SPtrans[5][i] = c_SPtrans[5][i];
 522     s_SPtrans[6][i] = c_SPtrans[6][i];
 523     s_SPtrans[7][i] = c_SPtrans[7][i];
 524
 525     s_skb[0][i] = c_skb[0][i];
 526     s_skb[1][i] = c_skb[1][i];
 527     s_skb[2][i] = c_skb[2][i];
 528     s_skb[3][i] = c_skb[3][i];
 529     s_skb[4][i] = c_skb[4][i];
 530     s_skb[5][i] = c_skb[5][i];
 531     s_skb[6][i] = c_skb[6][i];
 532     s_skb[7][i] = c_skb[7][i];
 533   }
 534
 535   barrier (CLK_LOCAL_MEM_FENCE);
 536
 537   if (gid >= gid_max) return;
 538
 539   /**
 540    * base
 541    */
 542
 543   u32 pw_buf0[4];
 544   u32 pw_buf1[4];
 545
 546   pw_buf0[0] = pws[gid].i[0];
 547   pw_buf0[1] = pws[gid].i[1];
 548   pw_buf0[2] = pws[gid].i[2];
 549   pw_buf0[3] = pws[gid].i[3];
 550   pw_buf1[0] = pws[gid].i[4];
 551   pw_buf1[1] = pws[gid].i[5];
 552   pw_buf1[2] = pws[gid].i[6];
 553   pw_buf1[3] = pws[gid].i[7];
 554
 555   const u32 pw_len = pws[gid].pw_len;
 556
 557   /**
 558    * salt
 559    */
 560
 561   u32 salt_buf0[4];
 562   u32 salt_buf1[4];
 563
 564   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 565   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 566   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 567   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 568   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 569   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 570   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 571   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 572
 573   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 574
 575   /**
 576    * main
 577    */
 578
 579   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 580   {
 581     u32x w0[4] = { 0 };
 582     u32x w1[4] = { 0 };
 583     u32x w2[4] = { 0 };
 584     u32x w3[4] = { 0 };
 585
 586     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 587
 588     const u32x salt_word_len = (salt_len + out_len) * 2;
 589
 590     /**
 591      * prepend salt
 592      */
 593
 594     switch_buffer_by_offset_le (w0, w1, w2, w3, salt_len);
 595
 596     u32x dst[16];
 597
 598     dst[ 0] = w0[0] | salt_buf0[0];
 599     dst[ 1] = w0[1] | salt_buf0[1];
 600     dst[ 2] = w0[2] | salt_buf0[2];
 601     dst[ 3] = w0[3] | salt_buf0[3];
 602     dst[ 4] = w1[0] | salt_buf1[0];
 603     dst[ 5] = w1[1] | salt_buf1[1];
 604     dst[ 6] = w1[2] | salt_buf1[2];
 605     dst[ 7] = w1[3] | salt_buf1[3];
 606     dst[ 8] = w2[0];
 607     dst[ 9] = w2[1];
 608     dst[10] = w2[2];
 609     dst[11] = w2[3];
 610     dst[12] = w3[0];
 611     dst[13] = w3[1];
 612     dst[14] = w3[2];
 613     dst[15] = w3[3];
 614
 615     /**
 616      * precompute key1 since key is static: 0x0123456789abcdef
 617      * plus LEFT_ROTATE by 2
 618      */
 619
 620     u32x Kc[16];
 621
 622     Kc[ 0] = 0x64649040;
 623     Kc[ 1] = 0x14909858;
 624     Kc[ 2] = 0xc4b44888;
 625     Kc[ 3] = 0x9094e438;
 626     Kc[ 4] = 0xd8a004f0;
 627     Kc[ 5] = 0xa8f02810;
 628     Kc[ 6] = 0xc84048d8;
 629     Kc[ 7] = 0x68d804a8;
 630     Kc[ 8] = 0x0490e40c;
 631     Kc[ 9] = 0xac183024;
 632     Kc[10] = 0x24c07c10;
 633     Kc[11] = 0x8c88c038;
 634     Kc[12] = 0xc048c824;
 635     Kc[13] = 0x4c0470a8;
 636     Kc[14] = 0x584020b4;
 637     Kc[15] = 0x00742c4c;
 638
 639     u32x Kd[16];
 640
 641     Kd[ 0] = 0xa42ce40c;
 642     Kd[ 1] = 0x64689858;
 643     Kd[ 2] = 0x484050b8;
 644     Kd[ 3] = 0xe8184814;
 645     Kd[ 4] = 0x405cc070;
 646     Kd[ 5] = 0xa010784c;
 647     Kd[ 6] = 0x6074a800;
 648     Kd[ 7] = 0x80701c1c;
 649     Kd[ 8] = 0x9cd49430;
 650     Kd[ 9] = 0x4c8ce078;
 651     Kd[10] = 0x5c18c088;
 652     Kd[11] = 0x28a8a4c8;
 653     Kd[12] = 0x3c180838;
 654     Kd[13] = 0xb0b86c20;
 655     Kd[14] = 0xac84a094;
 656     Kd[15] = 0x4ce0c0c4;
 657
 658     /**
 659      * key1 (generate key)
 660      */
 661
 662     u32x iv[2];
 663
 664     iv[0] = 0;
 665     iv[1] = 0;
 666
 667     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 668     {
 669       u32x data[2];
 670
 671       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 672       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 673
 674       data[0] ^= iv[0];
 675       data[1] ^= iv[1];
 676
 677       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 678     }
 679
 680     /**
 681      * key2 (generate hash)
 682      */
 683
 684     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 685
 686     iv[0] = 0;
 687     iv[1] = 0;
 688
 689     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 690     {
 691       u32x data[2];
 692
 693       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 694       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 695
 696       data[0] ^= iv[0];
 697       data[1] ^= iv[1];
 698
 699       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 700     }
 701
 702     /**
 703      * cmp
 704      */
 705
 706     const u32x r0 = iv[0];
 707     const u32x r1 = iv[1];
 708     const u32x r2 = 0;
 709     const u32x r3 = 0;
 710
 711     COMPARE_M_SIMD (r0, r1, r2, r3);
 712   }
 713 }
 714
 715 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 716 {
 717 }
 718
 719 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 720 {
 721 }
 722
 723 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 724 {
 725   /**
 726    * modifier
 727    */
 728
 729   const u32 gid = get_global_id (0);
 730   const u32 lid = get_local_id (0);
 731   const u32 lsz = get_local_size (0);
 732
 733   /**
 734    * sbox, kbox
 735    */
 736
 737   __local u32 s_SPtrans[8][64];
 738   __local u32 s_skb[8][64];
 739
 740   for (u32 i = lid; i < 64; i += lsz)
 741   {
 742     s_SPtrans[0][i] = c_SPtrans[0][i];
 743     s_SPtrans[1][i] = c_SPtrans[1][i];
 744     s_SPtrans[2][i] = c_SPtrans[2][i];
 745     s_SPtrans[3][i] = c_SPtrans[3][i];
 746     s_SPtrans[4][i] = c_SPtrans[4][i];
 747     s_SPtrans[5][i] = c_SPtrans[5][i];
 748     s_SPtrans[6][i] = c_SPtrans[6][i];
 749     s_SPtrans[7][i] = c_SPtrans[7][i];
 750
 751     s_skb[0][i] = c_skb[0][i];
 752     s_skb[1][i] = c_skb[1][i];
 753     s_skb[2][i] = c_skb[2][i];
 754     s_skb[3][i] = c_skb[3][i];
 755     s_skb[4][i] = c_skb[4][i];
 756     s_skb[5][i] = c_skb[5][i];
 757     s_skb[6][i] = c_skb[6][i];
 758     s_skb[7][i] = c_skb[7][i];
 759   }
 760
 761   barrier (CLK_LOCAL_MEM_FENCE);
 762
 763   if (gid >= gid_max) return;
 764
 765   /**
 766    * base
 767    */
 768
 769   u32 pw_buf0[4];
 770   u32 pw_buf1[4];
 771
 772   pw_buf0[0] = pws[gid].i[0];
 773   pw_buf0[1] = pws[gid].i[1];
 774   pw_buf0[2] = pws[gid].i[2];
 775   pw_buf0[3] = pws[gid].i[3];
 776   pw_buf1[0] = pws[gid].i[4];
 777   pw_buf1[1] = pws[gid].i[5];
 778   pw_buf1[2] = pws[gid].i[6];
 779   pw_buf1[3] = pws[gid].i[7];
 780
 781   const u32 pw_len = pws[gid].pw_len;
 782
 783   /**
 784    * salt
 785    */
 786
 787   u32 salt_buf0[4];
 788   u32 salt_buf1[4];
 789
 790   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 791   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 792   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 793   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 794   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 795   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 796   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 797   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 798
 799   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 800
 801   /**
 802    * digest
 803    */
 804
 805   const u32 search[4] =
 806   {
 807     digests_buf[digests_offset].digest_buf[DGST_R0],
 808     digests_buf[digests_offset].digest_buf[DGST_R1],
 809     digests_buf[digests_offset].digest_buf[DGST_R2],
 810     digests_buf[digests_offset].digest_buf[DGST_R3]
 811   };
 812
 813   /**
 814    * main
 815    */
 816
 817   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 818   {
 819     u32x w0[4] = { 0 };
 820     u32x w1[4] = { 0 };
 821     u32x w2[4] = { 0 };
 822     u32x w3[4] = { 0 };
 823
 824     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 825
 826     const u32x salt_word_len = (salt_len + out_len) * 2;
 827
 828     /**
 829      * prepend salt
 830      */
 831
 832     switch_buffer_by_offset_le (w0, w1, w2, w3, salt_len);
 833
 834     u32x dst[16];
 835
 836     dst[ 0] = w0[0] | salt_buf0[0];
 837     dst[ 1] = w0[1] | salt_buf0[1];
 838     dst[ 2] = w0[2] | salt_buf0[2];
 839     dst[ 3] = w0[3] | salt_buf0[3];
 840     dst[ 4] = w1[0] | salt_buf1[0];
 841     dst[ 5] = w1[1] | salt_buf1[1];
 842     dst[ 6] = w1[2] | salt_buf1[2];
 843     dst[ 7] = w1[3] | salt_buf1[3];
 844     dst[ 8] = w2[0];
 845     dst[ 9] = w2[1];
 846     dst[10] = w2[2];
 847     dst[11] = w2[3];
 848     dst[12] = w3[0];
 849     dst[13] = w3[1];
 850     dst[14] = w3[2];
 851     dst[15] = w3[3];
 852
 853     /**
 854      * precompute key1 since key is static: 0x0123456789abcdef
 855      * plus LEFT_ROTATE by 2
 856      */
 857
 858     u32x Kc[16];
 859
 860     Kc[ 0] = 0x64649040;
 861     Kc[ 1] = 0x14909858;
 862     Kc[ 2] = 0xc4b44888;
 863     Kc[ 3] = 0x9094e438;
 864     Kc[ 4] = 0xd8a004f0;
 865     Kc[ 5] = 0xa8f02810;
 866     Kc[ 6] = 0xc84048d8;
 867     Kc[ 7] = 0x68d804a8;
 868     Kc[ 8] = 0x0490e40c;
 869     Kc[ 9] = 0xac183024;
 870     Kc[10] = 0x24c07c10;
 871     Kc[11] = 0x8c88c038;
 872     Kc[12] = 0xc048c824;
 873     Kc[13] = 0x4c0470a8;
 874     Kc[14] = 0x584020b4;
 875     Kc[15] = 0x00742c4c;
 876
 877     u32x Kd[16];
 878
 879     Kd[ 0] = 0xa42ce40c;
 880     Kd[ 1] = 0x64689858;
 881     Kd[ 2] = 0x484050b8;
 882     Kd[ 3] = 0xe8184814;
 883     Kd[ 4] = 0x405cc070;
 884     Kd[ 5] = 0xa010784c;
 885     Kd[ 6] = 0x6074a800;
 886     Kd[ 7] = 0x80701c1c;
 887     Kd[ 8] = 0x9cd49430;
 888     Kd[ 9] = 0x4c8ce078;
 889     Kd[10] = 0x5c18c088;
 890     Kd[11] = 0x28a8a4c8;
 891     Kd[12] = 0x3c180838;
 892     Kd[13] = 0xb0b86c20;
 893     Kd[14] = 0xac84a094;
 894     Kd[15] = 0x4ce0c0c4;
 895
 896     /**
 897      * key1 (generate key)
 898      */
 899
 900     u32x iv[2];
 901
 902     iv[0] = 0;
 903     iv[1] = 0;
 904
 905     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 906     {
 907       u32x data[2];
 908
 909       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 910       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 911
 912       data[0] ^= iv[0];
 913       data[1] ^= iv[1];
 914
 915       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 916     }
 917
 918     /**
 919      * key2 (generate hash)
 920      */
 921
 922     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 923
 924     iv[0] = 0;
 925     iv[1] = 0;
 926
 927     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 928     {
 929       u32x data[2];
 930
 931       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 932       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 933
 934       data[0] ^= iv[0];
 935       data[1] ^= iv[1];
 936
 937       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 938     }
 939
 940     /**
 941      * cmp
 942      */
 943
 944     const u32x r0 = iv[0];
 945     const u32x r1 = iv[1];
 946     const u32x r2 = 0;
 947     const u32x r3 = 0;
 948
 949     COMPARE_S_SIMD (r0, r1, r2, r3);
 950   }
 951 }
 952
 953 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 954 {
 955 }
 956
 957 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 958 {
 959 }