OpenCL/m01500_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _DES_
  10
  11 #define NEW_SIMD_CODE
  12
  13 #include "inc_vendor.cl"
  14 #include "inc_hash_constants.h"
  15 #include "inc_hash_functions.cl"
  16 #include "inc_types.cl"
  17 #include "inc_common.cl"
  18 #include "inc_rp.h"
  19 #include "inc_rp.cl"
  20 #include "inc_simd.cl"
  21
  22 #define PERM_OP(a,b,tt,n,m) \
  23 {                           \
  24   tt = a >> n;              \
  25   tt = tt ^ b;              \
  26   tt = tt & m;              \
  27   b = b ^ tt;               \
  28   tt = tt << n;             \
  29   a = a ^ tt;               \
  30 }
  31
  32 #define HPERM_OP(a,tt,n,m)  \
  33 {                           \
  34   tt = a << (16 + n);       \
  35   tt = tt ^ a;              \
  36   tt = tt & m;              \
  37   a  = a ^ tt;              \
  38   tt = tt >> (16 + n);      \
  39   a  = a ^ tt;              \
  40 }
  41
  42 __constant u32 c_SPtrans[8][64] =
  43 {
  44   {
  45     0x00820200, 0x00020000, 0x80800000, 0x80820200,
  46     0x00800000, 0x80020200, 0x80020000, 0x80800000,
  47     0x80020200, 0x00820200, 0x00820000, 0x80000200,
  48     0x80800200, 0x00800000, 0x00000000, 0x80020000,
  49     0x00020000, 0x80000000, 0x00800200, 0x00020200,
  50     0x80820200, 0x00820000, 0x80000200, 0x00800200,
  51     0x80000000, 0x00000200, 0x00020200, 0x80820000,
  52     0x00000200, 0x80800200, 0x80820000, 0x00000000,
  53     0x00000000, 0x80820200, 0x00800200, 0x80020000,
  54     0x00820200, 0x00020000, 0x80000200, 0x00800200,
  55     0x80820000, 0x00000200, 0x00020200, 0x80800000,
  56     0x80020200, 0x80000000, 0x80800000, 0x00820000,
  57     0x80820200, 0x00020200, 0x00820000, 0x80800200,
  58     0x00800000, 0x80000200, 0x80020000, 0x00000000,
  59     0x00020000, 0x00800000, 0x80800200, 0x00820200,
  60     0x80000000, 0x80820000, 0x00000200, 0x80020200,
  61   },
  62   {
  63     0x10042004, 0x00000000, 0x00042000, 0x10040000,
  64     0x10000004, 0x00002004, 0x10002000, 0x00042000,
  65     0x00002000, 0x10040004, 0x00000004, 0x10002000,
  66     0x00040004, 0x10042000, 0x10040000, 0x00000004,
  67     0x00040000, 0x10002004, 0x10040004, 0x00002000,
  68     0x00042004, 0x10000000, 0x00000000, 0x00040004,
  69     0x10002004, 0x00042004, 0x10042000, 0x10000004,
  70     0x10000000, 0x00040000, 0x00002004, 0x10042004,
  71     0x00040004, 0x10042000, 0x10002000, 0x00042004,
  72     0x10042004, 0x00040004, 0x10000004, 0x00000000,
  73     0x10000000, 0x00002004, 0x00040000, 0x10040004,
  74     0x00002000, 0x10000000, 0x00042004, 0x10002004,
  75     0x10042000, 0x00002000, 0x00000000, 0x10000004,
  76     0x00000004, 0x10042004, 0x00042000, 0x10040000,
  77     0x10040004, 0x00040000, 0x00002004, 0x10002000,
  78     0x10002004, 0x00000004, 0x10040000, 0x00042000,
  79   },
  80   {
  81     0x41000000, 0x01010040, 0x00000040, 0x41000040,
  82     0x40010000, 0x01000000, 0x41000040, 0x00010040,
  83     0x01000040, 0x00010000, 0x01010000, 0x40000000,
  84     0x41010040, 0x40000040, 0x40000000, 0x41010000,
  85     0x00000000, 0x40010000, 0x01010040, 0x00000040,
  86     0x40000040, 0x41010040, 0x00010000, 0x41000000,
  87     0x41010000, 0x01000040, 0x40010040, 0x01010000,
  88     0x00010040, 0x00000000, 0x01000000, 0x40010040,
  89     0x01010040, 0x00000040, 0x40000000, 0x00010000,
  90     0x40000040, 0x40010000, 0x01010000, 0x41000040,
  91     0x00000000, 0x01010040, 0x00010040, 0x41010000,
  92     0x40010000, 0x01000000, 0x41010040, 0x40000000,
  93     0x40010040, 0x41000000, 0x01000000, 0x41010040,
  94     0x00010000, 0x01000040, 0x41000040, 0x00010040,
  95     0x01000040, 0x00000000, 0x41010000, 0x40000040,
  96     0x41000000, 0x40010040, 0x00000040, 0x01010000,
  97   },
  98   {
  99     0x00100402, 0x04000400, 0x00000002, 0x04100402,
 100     0x00000000, 0x04100000, 0x04000402, 0x00100002,
 101     0x04100400, 0x04000002, 0x04000000, 0x00000402,
 102     0x04000002, 0x00100402, 0x00100000, 0x04000000,
 103     0x04100002, 0x00100400, 0x00000400, 0x00000002,
 104     0x00100400, 0x04000402, 0x04100000, 0x00000400,
 105     0x00000402, 0x00000000, 0x00100002, 0x04100400,
 106     0x04000400, 0x04100002, 0x04100402, 0x00100000,
 107     0x04100002, 0x00000402, 0x00100000, 0x04000002,
 108     0x00100400, 0x04000400, 0x00000002, 0x04100000,
 109     0x04000402, 0x00000000, 0x00000400, 0x00100002,
 110     0x00000000, 0x04100002, 0x04100400, 0x00000400,
 111     0x04000000, 0x04100402, 0x00100402, 0x00100000,
 112     0x04100402, 0x00000002, 0x04000400, 0x00100402,
 113     0x00100002, 0x00100400, 0x04100000, 0x04000402,
 114     0x00000402, 0x04000000, 0x04000002, 0x04100400,
 115   },
 116   {
 117     0x02000000, 0x00004000, 0x00000100, 0x02004108,
 118     0x02004008, 0x02000100, 0x00004108, 0x02004000,
 119     0x00004000, 0x00000008, 0x02000008, 0x00004100,
 120     0x02000108, 0x02004008, 0x02004100, 0x00000000,
 121     0x00004100, 0x02000000, 0x00004008, 0x00000108,
 122     0x02000100, 0x00004108, 0x00000000, 0x02000008,
 123     0x00000008, 0x02000108, 0x02004108, 0x00004008,
 124     0x02004000, 0x00000100, 0x00000108, 0x02004100,
 125     0x02004100, 0x02000108, 0x00004008, 0x02004000,
 126     0x00004000, 0x00000008, 0x02000008, 0x02000100,
 127     0x02000000, 0x00004100, 0x02004108, 0x00000000,
 128     0x00004108, 0x02000000, 0x00000100, 0x00004008,
 129     0x02000108, 0x00000100, 0x00000000, 0x02004108,
 130     0x02004008, 0x02004100, 0x00000108, 0x00004000,
 131     0x00004100, 0x02004008, 0x02000100, 0x00000108,
 132     0x00000008, 0x00004108, 0x02004000, 0x02000008,
 133   },
 134   {
 135     0x20000010, 0x00080010, 0x00000000, 0x20080800,
 136     0x00080010, 0x00000800, 0x20000810, 0x00080000,
 137     0x00000810, 0x20080810, 0x00080800, 0x20000000,
 138     0x20000800, 0x20000010, 0x20080000, 0x00080810,
 139     0x00080000, 0x20000810, 0x20080010, 0x00000000,
 140     0x00000800, 0x00000010, 0x20080800, 0x20080010,
 141     0x20080810, 0x20080000, 0x20000000, 0x00000810,
 142     0x00000010, 0x00080800, 0x00080810, 0x20000800,
 143     0x00000810, 0x20000000, 0x20000800, 0x00080810,
 144     0x20080800, 0x00080010, 0x00000000, 0x20000800,
 145     0x20000000, 0x00000800, 0x20080010, 0x00080000,
 146     0x00080010, 0x20080810, 0x00080800, 0x00000010,
 147     0x20080810, 0x00080800, 0x00080000, 0x20000810,
 148     0x20000010, 0x20080000, 0x00080810, 0x00000000,
 149     0x00000800, 0x20000010, 0x20000810, 0x20080800,
 150     0x20080000, 0x00000810, 0x00000010, 0x20080010,
 151   },
 152   {
 153     0x00001000, 0x00000080, 0x00400080, 0x00400001,
 154     0x00401081, 0x00001001, 0x00001080, 0x00000000,
 155     0x00400000, 0x00400081, 0x00000081, 0x00401000,
 156     0x00000001, 0x00401080, 0x00401000, 0x00000081,
 157     0x00400081, 0x00001000, 0x00001001, 0x00401081,
 158     0x00000000, 0x00400080, 0x00400001, 0x00001080,
 159     0x00401001, 0x00001081, 0x00401080, 0x00000001,
 160     0x00001081, 0x00401001, 0x00000080, 0x00400000,
 161     0x00001081, 0x00401000, 0x00401001, 0x00000081,
 162     0x00001000, 0x00000080, 0x00400000, 0x00401001,
 163     0x00400081, 0x00001081, 0x00001080, 0x00000000,
 164     0x00000080, 0x00400001, 0x00000001, 0x00400080,
 165     0x00000000, 0x00400081, 0x00400080, 0x00001080,
 166     0x00000081, 0x00001000, 0x00401081, 0x00400000,
 167     0x00401080, 0x00000001, 0x00001001, 0x00401081,
 168     0x00400001, 0x00401080, 0x00401000, 0x00001001,
 169   },
 170   {
 171     0x08200020, 0x08208000, 0x00008020, 0x00000000,
 172     0x08008000, 0x00200020, 0x08200000, 0x08208020,
 173     0x00000020, 0x08000000, 0x00208000, 0x00008020,
 174     0x00208020, 0x08008020, 0x08000020, 0x08200000,
 175     0x00008000, 0x00208020, 0x00200020, 0x08008000,
 176     0x08208020, 0x08000020, 0x00000000, 0x00208000,
 177     0x08000000, 0x00200000, 0x08008020, 0x08200020,
 178     0x00200000, 0x00008000, 0x08208000, 0x00000020,
 179     0x00200000, 0x00008000, 0x08000020, 0x08208020,
 180     0x00008020, 0x08000000, 0x00000000, 0x00208000,
 181     0x08200020, 0x08008020, 0x08008000, 0x00200020,
 182     0x08208000, 0x00000020, 0x00200020, 0x08008000,
 183     0x08208020, 0x00200000, 0x08200000, 0x08000020,
 184     0x00208000, 0x00008020, 0x08008020, 0x08200000,
 185     0x00000020, 0x08208000, 0x00208020, 0x00000000,
 186     0x08000000, 0x08200020, 0x00008000, 0x00208020
 187   },
 188 };
 189
 190 __constant u32 c_skb[8][64] =
 191 {
 192   {
 193     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 194     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 195     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 196     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 197     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 198     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 199     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 200     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 201     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 202     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 203     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 204     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 205     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 206     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 207     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 208     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 209   },
 210   {
 211     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 212     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 213     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 214     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 215     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 216     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 217     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 218     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 219     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 220     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 221     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 222     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 223     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 224     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 225     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 226     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 227   },
 228   {
 229     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 230     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 231     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 232     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 233     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 234     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 235     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 236     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 237     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 238     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 239     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 240     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 241     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 242     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 243     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 244     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 245   },
 246   {
 247     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 248     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 249     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 250     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 251     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 252     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 253     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 254     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 255     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 256     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 257     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 258     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 259     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 260     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 261     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 262     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 263   },
 264   {
 265     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 266     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 267     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 268     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 269     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 270     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 271     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 272     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 273     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 274     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 275     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 276     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 277     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 278     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 279     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 280     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 281   },
 282   {
 283     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 284     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 285     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 286     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 287     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 288     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 289     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 290     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 291     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 292     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 293     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 294     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 295     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 296     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 297     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 298     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 299   },
 300   {
 301     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 302     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 303     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 304     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 305     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 306     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 307     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 308     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 309     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 310     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 311     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 312     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 313     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 314     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 315     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 316     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 317   },
 318   {
 319     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 320     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 321     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 322     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 323     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 324     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 325     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 326     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 327     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 328     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 329     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 330     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 331     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 332     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 333     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 334     0x00002822, 0x04002822, 0x00042822, 0x04042822
 335   },
 336 };
 337
 338 #if   VECT_SIZE == 1
 339 #define BOX(i,n,S) (S)[(n)][(i)]
 340 #elif VECT_SIZE == 2
 341 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 342 #elif VECT_SIZE == 4
 343 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 344 #elif VECT_SIZE == 8
 345 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 346 #elif VECT_SIZE == 16
 347 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 348 #endif
 349
 350 void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 351 {
 352   u32x tt;
 353
 354   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 355   HPERM_OP (c,    tt, 2, 0xcccc0000);
 356   HPERM_OP (d,    tt, 2, 0xcccc0000);
 357   PERM_OP  (d, c, tt, 1, 0x55555555);
 358   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 359   PERM_OP  (d, c, tt, 1, 0x55555555);
 360
 361   d = ((d & 0x000000ff) << 16)
 362     | ((d & 0x0000ff00) <<  0)
 363     | ((d & 0x00ff0000) >> 16)
 364     | ((c & 0xf0000000) >>  4);
 365
 366   c = c & 0x0fffffff;
 367
 368   #ifdef _unroll
 369   #pragma unroll
 370   #endif
 371   for (u32 i = 0; i < 16; i++)
 372   {
 373     if ((i < 2) || (i == 8) || (i == 15))
 374     {
 375       c = ((c >> 1) | (c << 27));
 376       d = ((d >> 1) | (d << 27));
 377     }
 378     else
 379     {
 380       c = ((c >> 2) | (c << 26));
 381       d = ((d >> 2) | (d << 26));
 382     }
 383
 384     c = c & 0x0fffffff;
 385     d = d & 0x0fffffff;
 386
 387     const u32x c00 = (c >>  0) & 0x0000003f;
 388     const u32x c06 = (c >>  6) & 0x00383003;
 389     const u32x c07 = (c >>  7) & 0x0000003c;
 390     const u32x c13 = (c >> 13) & 0x0000060f;
 391     const u32x c20 = (c >> 20) & 0x00000001;
 392
 393     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 394            | BOX (((c06 >>  0) & 0xff)
 395                  |((c07 >>  0) & 0xff), 1, s_skb)
 396            | BOX (((c13 >>  0) & 0xff)
 397                  |((c06 >>  8) & 0xff), 2, s_skb)
 398            | BOX (((c20 >>  0) & 0xff)
 399                  |((c13 >>  8) & 0xff)
 400                  |((c06 >> 16) & 0xff), 3, s_skb);
 401
 402     const u32x d00 = (d >>  0) & 0x00003c3f;
 403     const u32x d07 = (d >>  7) & 0x00003f03;
 404     const u32x d21 = (d >> 21) & 0x0000000f;
 405     const u32x d22 = (d >> 22) & 0x00000030;
 406
 407     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 408            | BOX (((d07 >>  0) & 0xff)
 409                  |((d00 >>  8) & 0xff), 5, s_skb)
 410            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 411            | BOX (((d21 >>  0) & 0xff)
 412                  |((d22 >>  0) & 0xff), 7, s_skb);
 413
 414     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 415     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 416   }
 417 }
 418
 419 void _des_crypt_encrypt (u32x iv[2], u32 mask, u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 420 {
 421   const u32 E1 = (mask >> 2) & 0x3f0;
 422   const u32 E0 = mask & 0x3f;
 423
 424   u32x r = 0;
 425   u32x l = 0;
 426
 427   for (u32 i = 0; i < 25; i++)
 428   {
 429     #ifdef _unroll
 430     #pragma unroll
 431     #endif
 432     for (u32 j = 0; j < 16; j += 2)
 433     {
 434       u32x t;
 435       u32x u;
 436
 437       t = r ^ (r >> 16);
 438       u = t & E0;
 439       t = t & E1;
 440       u = u ^ (u << 16);
 441       u = u ^ r;
 442       u = u ^ Kc[j + 0];
 443       t = t ^ (t << 16);
 444       t = t ^ r;
 445       t = rotl32 (t, 28u);
 446       t = t ^ Kd[j + 0];
 447
 448       l ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 449          | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 450          | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 451          | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 452          | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 453          | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 454          | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 455          | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 456
 457       t = l ^ (l >> 16);
 458       u = t & E0;
 459       t = t & E1;
 460       u = u ^ (u << 16);
 461       u = u ^ l;
 462       u = u ^ Kc[j + 1];
 463       t = t ^ (t << 16);
 464       t = t ^ l;
 465       t = rotl32 (t, 28u);
 466       t = t ^ Kd[j + 1];
 467
 468       r ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 469          | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 470          | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 471          | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 472          | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 473          | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 474          | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 475          | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 476     }
 477
 478     u32x tt;
 479
 480     tt = l;
 481     l  = r;
 482     r  = tt;
 483   }
 484
 485   iv[0] = rotl32 (r, 31);
 486   iv[1] = rotl32 (l, 31);
 487 }
 488
 489 __kernel void m01500_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 490 {
 491   /**
 492    * modifier
 493    */
 494
 495   const u32 gid = get_global_id (0);
 496   const u32 lid = get_local_id (0);
 497   const u32 lsz = get_local_size (0);
 498
 499   /**
 500    * sbox, kbox
 501    */
 502
 503   __local u32 s_SPtrans[8][64];
 504   __local u32 s_skb[8][64];
 505
 506   for (u32 i = lid; i < 64; i += lsz)
 507   {
 508     s_SPtrans[0][i] = c_SPtrans[0][i];
 509     s_SPtrans[1][i] = c_SPtrans[1][i];
 510     s_SPtrans[2][i] = c_SPtrans[2][i];
 511     s_SPtrans[3][i] = c_SPtrans[3][i];
 512     s_SPtrans[4][i] = c_SPtrans[4][i];
 513     s_SPtrans[5][i] = c_SPtrans[5][i];
 514     s_SPtrans[6][i] = c_SPtrans[6][i];
 515     s_SPtrans[7][i] = c_SPtrans[7][i];
 516
 517     s_skb[0][i] = c_skb[0][i];
 518     s_skb[1][i] = c_skb[1][i];
 519     s_skb[2][i] = c_skb[2][i];
 520     s_skb[3][i] = c_skb[3][i];
 521     s_skb[4][i] = c_skb[4][i];
 522     s_skb[5][i] = c_skb[5][i];
 523     s_skb[6][i] = c_skb[6][i];
 524     s_skb[7][i] = c_skb[7][i];
 525   }
 526
 527   barrier (CLK_LOCAL_MEM_FENCE);
 528
 529   if (gid >= gid_max) return;
 530
 531   /**
 532    * base
 533    */
 534
 535   u32 pw_buf0[4];
 536   u32 pw_buf1[4];
 537
 538   pw_buf0[0] = pws[gid].i[0];
 539   pw_buf0[1] = pws[gid].i[1];
 540   pw_buf0[2] = pws[gid].i[2];
 541   pw_buf0[3] = pws[gid].i[3];
 542   pw_buf1[0] = pws[gid].i[4];
 543   pw_buf1[1] = pws[gid].i[5];
 544   pw_buf1[2] = pws[gid].i[6];
 545   pw_buf1[3] = pws[gid].i[7];
 546
 547   const u32 pw_len = pws[gid].pw_len;
 548
 549   /**
 550    * salt
 551    */
 552
 553   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 554
 555   /**
 556    * main
 557    */
 558
 559   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 560   {
 561     u32x w0[4] = { 0 };
 562     u32x w1[4] = { 0 };
 563     u32x w2[4] = { 0 };
 564     u32x w3[4] = { 0 };
 565
 566     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 567
 568     u32x data[2];
 569
 570     data[0] = (w0[0] << 1) & 0xfefefefe;
 571     data[1] = (w0[1] << 1) & 0xfefefefe;
 572
 573     u32x Kc[16];
 574     u32x Kd[16];
 575
 576     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 577
 578     u32x iv[2];
 579
 580     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 581
 582     u32x z = 0;
 583
 584     COMPARE_M_SIMD (iv[0], iv[1], z, z);
 585   }
 586 }
 587
 588 __kernel void m01500_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 589 {
 590 }
 591
 592 __kernel void m01500_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 593 {
 594 }
 595
 596 __kernel void m01500_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 597 {
 598   /**
 599    * modifier
 600    */
 601
 602   const u32 gid = get_global_id (0);
 603   const u32 lid = get_local_id (0);
 604   const u32 lsz = get_local_size (0);
 605
 606   /**
 607    * sbox, kbox
 608    */
 609
 610   __local u32 s_SPtrans[8][64];
 611   __local u32 s_skb[8][64];
 612
 613   for (u32 i = lid; i < 64; i += lsz)
 614   {
 615     s_SPtrans[0][i] = c_SPtrans[0][i];
 616     s_SPtrans[1][i] = c_SPtrans[1][i];
 617     s_SPtrans[2][i] = c_SPtrans[2][i];
 618     s_SPtrans[3][i] = c_SPtrans[3][i];
 619     s_SPtrans[4][i] = c_SPtrans[4][i];
 620     s_SPtrans[5][i] = c_SPtrans[5][i];
 621     s_SPtrans[6][i] = c_SPtrans[6][i];
 622     s_SPtrans[7][i] = c_SPtrans[7][i];
 623
 624     s_skb[0][i] = c_skb[0][i];
 625     s_skb[1][i] = c_skb[1][i];
 626     s_skb[2][i] = c_skb[2][i];
 627     s_skb[3][i] = c_skb[3][i];
 628     s_skb[4][i] = c_skb[4][i];
 629     s_skb[5][i] = c_skb[5][i];
 630     s_skb[6][i] = c_skb[6][i];
 631     s_skb[7][i] = c_skb[7][i];
 632   }
 633
 634   barrier (CLK_LOCAL_MEM_FENCE);
 635
 636   if (gid >= gid_max) return;
 637
 638   /**
 639    * base
 640    */
 641
 642   u32 pw_buf0[4];
 643   u32 pw_buf1[4];
 644
 645   pw_buf0[0] = pws[gid].i[0];
 646   pw_buf0[1] = pws[gid].i[1];
 647   pw_buf0[2] = pws[gid].i[2];
 648   pw_buf0[3] = pws[gid].i[3];
 649   pw_buf1[0] = pws[gid].i[4];
 650   pw_buf1[1] = pws[gid].i[5];
 651   pw_buf1[2] = pws[gid].i[6];
 652   pw_buf1[3] = pws[gid].i[7];
 653
 654   const u32 pw_len = pws[gid].pw_len;
 655
 656   /**
 657    * salt
 658    */
 659
 660   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 661
 662   /**
 663    * digest
 664    */
 665
 666   const u32 search[4] =
 667   {
 668     digests_buf[digests_offset].digest_buf[DGST_R0],
 669     digests_buf[digests_offset].digest_buf[DGST_R1],
 670     0,
 671     0
 672   };
 673
 674   /**
 675    * main
 676    */
 677
 678   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 679   {
 680     u32x w0[4] = { 0 };
 681     u32x w1[4] = { 0 };
 682     u32x w2[4] = { 0 };
 683     u32x w3[4] = { 0 };
 684
 685     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 686
 687     u32x data[2];
 688
 689     data[0] = (w0[0] << 1) & 0xfefefefe;
 690     data[1] = (w0[1] << 1) & 0xfefefefe;
 691
 692     u32x Kc[16];
 693     u32x Kd[16];
 694
 695     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 696
 697     u32x iv[2];
 698
 699     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 700
 701     u32x z = 0;
 702
 703     COMPARE_S_SIMD (iv[0], iv[1], z, z);
 704   }
 705 }
 706
 707 __kernel void m01500_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 708 {
 709 }
 710
 711 __kernel void m01500_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 712 {
 713 }