OpenCL/m01500_a1.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *
   5  * License.....: MIT
   6  */
   7
   8 #define _DES_
   9
  10 #define NEW_SIMD_CODE
  11
  12 #include "include/constants.h"
  13 #include "include/kernel_vendor.h"
  14
  15 #define DGST_R0 0
  16 #define DGST_R1 1
  17 #define DGST_R2 2
  18 #define DGST_R3 3
  19
  20 #include "include/kernel_functions.c"
  21 #include "OpenCL/types_ocl.c"
  22 #include "OpenCL/common.c"
  23 #include "OpenCL/simd.c"
  24
  25 #define PERM_OP(a,b,tt,n,m) \
  26 {                           \
  27   tt = a >> n;              \
  28   tt = tt ^ b;              \
  29   tt = tt & m;              \
  30   b = b ^ tt;               \
  31   tt = tt << n;             \
  32   a = a ^ tt;               \
  33 }
  34
  35 #define HPERM_OP(a,tt,n,m)  \
  36 {                           \
  37   tt = a << (16 + n);       \
  38   tt = tt ^ a;              \
  39   tt = tt & m;              \
  40   a  = a ^ tt;              \
  41   tt = tt >> (16 + n);      \
  42   a  = a ^ tt;              \
  43 }
  44
  45 __constant u32 c_SPtrans[8][64] =
  46 {
  47   {
  48     0x00820200, 0x00020000, 0x80800000, 0x80820200,
  49     0x00800000, 0x80020200, 0x80020000, 0x80800000,
  50     0x80020200, 0x00820200, 0x00820000, 0x80000200,
  51     0x80800200, 0x00800000, 0x00000000, 0x80020000,
  52     0x00020000, 0x80000000, 0x00800200, 0x00020200,
  53     0x80820200, 0x00820000, 0x80000200, 0x00800200,
  54     0x80000000, 0x00000200, 0x00020200, 0x80820000,
  55     0x00000200, 0x80800200, 0x80820000, 0x00000000,
  56     0x00000000, 0x80820200, 0x00800200, 0x80020000,
  57     0x00820200, 0x00020000, 0x80000200, 0x00800200,
  58     0x80820000, 0x00000200, 0x00020200, 0x80800000,
  59     0x80020200, 0x80000000, 0x80800000, 0x00820000,
  60     0x80820200, 0x00020200, 0x00820000, 0x80800200,
  61     0x00800000, 0x80000200, 0x80020000, 0x00000000,
  62     0x00020000, 0x00800000, 0x80800200, 0x00820200,
  63     0x80000000, 0x80820000, 0x00000200, 0x80020200,
  64   },
  65   {
  66     0x10042004, 0x00000000, 0x00042000, 0x10040000,
  67     0x10000004, 0x00002004, 0x10002000, 0x00042000,
  68     0x00002000, 0x10040004, 0x00000004, 0x10002000,
  69     0x00040004, 0x10042000, 0x10040000, 0x00000004,
  70     0x00040000, 0x10002004, 0x10040004, 0x00002000,
  71     0x00042004, 0x10000000, 0x00000000, 0x00040004,
  72     0x10002004, 0x00042004, 0x10042000, 0x10000004,
  73     0x10000000, 0x00040000, 0x00002004, 0x10042004,
  74     0x00040004, 0x10042000, 0x10002000, 0x00042004,
  75     0x10042004, 0x00040004, 0x10000004, 0x00000000,
  76     0x10000000, 0x00002004, 0x00040000, 0x10040004,
  77     0x00002000, 0x10000000, 0x00042004, 0x10002004,
  78     0x10042000, 0x00002000, 0x00000000, 0x10000004,
  79     0x00000004, 0x10042004, 0x00042000, 0x10040000,
  80     0x10040004, 0x00040000, 0x00002004, 0x10002000,
  81     0x10002004, 0x00000004, 0x10040000, 0x00042000,
  82   },
  83   {
  84     0x41000000, 0x01010040, 0x00000040, 0x41000040,
  85     0x40010000, 0x01000000, 0x41000040, 0x00010040,
  86     0x01000040, 0x00010000, 0x01010000, 0x40000000,
  87     0x41010040, 0x40000040, 0x40000000, 0x41010000,
  88     0x00000000, 0x40010000, 0x01010040, 0x00000040,
  89     0x40000040, 0x41010040, 0x00010000, 0x41000000,
  90     0x41010000, 0x01000040, 0x40010040, 0x01010000,
  91     0x00010040, 0x00000000, 0x01000000, 0x40010040,
  92     0x01010040, 0x00000040, 0x40000000, 0x00010000,
  93     0x40000040, 0x40010000, 0x01010000, 0x41000040,
  94     0x00000000, 0x01010040, 0x00010040, 0x41010000,
  95     0x40010000, 0x01000000, 0x41010040, 0x40000000,
  96     0x40010040, 0x41000000, 0x01000000, 0x41010040,
  97     0x00010000, 0x01000040, 0x41000040, 0x00010040,
  98     0x01000040, 0x00000000, 0x41010000, 0x40000040,
  99     0x41000000, 0x40010040, 0x00000040, 0x01010000,
 100   },
 101   {
 102     0x00100402, 0x04000400, 0x00000002, 0x04100402,
 103     0x00000000, 0x04100000, 0x04000402, 0x00100002,
 104     0x04100400, 0x04000002, 0x04000000, 0x00000402,
 105     0x04000002, 0x00100402, 0x00100000, 0x04000000,
 106     0x04100002, 0x00100400, 0x00000400, 0x00000002,
 107     0x00100400, 0x04000402, 0x04100000, 0x00000400,
 108     0x00000402, 0x00000000, 0x00100002, 0x04100400,
 109     0x04000400, 0x04100002, 0x04100402, 0x00100000,
 110     0x04100002, 0x00000402, 0x00100000, 0x04000002,
 111     0x00100400, 0x04000400, 0x00000002, 0x04100000,
 112     0x04000402, 0x00000000, 0x00000400, 0x00100002,
 113     0x00000000, 0x04100002, 0x04100400, 0x00000400,
 114     0x04000000, 0x04100402, 0x00100402, 0x00100000,
 115     0x04100402, 0x00000002, 0x04000400, 0x00100402,
 116     0x00100002, 0x00100400, 0x04100000, 0x04000402,
 117     0x00000402, 0x04000000, 0x04000002, 0x04100400,
 118   },
 119   {
 120     0x02000000, 0x00004000, 0x00000100, 0x02004108,
 121     0x02004008, 0x02000100, 0x00004108, 0x02004000,
 122     0x00004000, 0x00000008, 0x02000008, 0x00004100,
 123     0x02000108, 0x02004008, 0x02004100, 0x00000000,
 124     0x00004100, 0x02000000, 0x00004008, 0x00000108,
 125     0x02000100, 0x00004108, 0x00000000, 0x02000008,
 126     0x00000008, 0x02000108, 0x02004108, 0x00004008,
 127     0x02004000, 0x00000100, 0x00000108, 0x02004100,
 128     0x02004100, 0x02000108, 0x00004008, 0x02004000,
 129     0x00004000, 0x00000008, 0x02000008, 0x02000100,
 130     0x02000000, 0x00004100, 0x02004108, 0x00000000,
 131     0x00004108, 0x02000000, 0x00000100, 0x00004008,
 132     0x02000108, 0x00000100, 0x00000000, 0x02004108,
 133     0x02004008, 0x02004100, 0x00000108, 0x00004000,
 134     0x00004100, 0x02004008, 0x02000100, 0x00000108,
 135     0x00000008, 0x00004108, 0x02004000, 0x02000008,
 136   },
 137   {
 138     0x20000010, 0x00080010, 0x00000000, 0x20080800,
 139     0x00080010, 0x00000800, 0x20000810, 0x00080000,
 140     0x00000810, 0x20080810, 0x00080800, 0x20000000,
 141     0x20000800, 0x20000010, 0x20080000, 0x00080810,
 142     0x00080000, 0x20000810, 0x20080010, 0x00000000,
 143     0x00000800, 0x00000010, 0x20080800, 0x20080010,
 144     0x20080810, 0x20080000, 0x20000000, 0x00000810,
 145     0x00000010, 0x00080800, 0x00080810, 0x20000800,
 146     0x00000810, 0x20000000, 0x20000800, 0x00080810,
 147     0x20080800, 0x00080010, 0x00000000, 0x20000800,
 148     0x20000000, 0x00000800, 0x20080010, 0x00080000,
 149     0x00080010, 0x20080810, 0x00080800, 0x00000010,
 150     0x20080810, 0x00080800, 0x00080000, 0x20000810,
 151     0x20000010, 0x20080000, 0x00080810, 0x00000000,
 152     0x00000800, 0x20000010, 0x20000810, 0x20080800,
 153     0x20080000, 0x00000810, 0x00000010, 0x20080010,
 154   },
 155   {
 156     0x00001000, 0x00000080, 0x00400080, 0x00400001,
 157     0x00401081, 0x00001001, 0x00001080, 0x00000000,
 158     0x00400000, 0x00400081, 0x00000081, 0x00401000,
 159     0x00000001, 0x00401080, 0x00401000, 0x00000081,
 160     0x00400081, 0x00001000, 0x00001001, 0x00401081,
 161     0x00000000, 0x00400080, 0x00400001, 0x00001080,
 162     0x00401001, 0x00001081, 0x00401080, 0x00000001,
 163     0x00001081, 0x00401001, 0x00000080, 0x00400000,
 164     0x00001081, 0x00401000, 0x00401001, 0x00000081,
 165     0x00001000, 0x00000080, 0x00400000, 0x00401001,
 166     0x00400081, 0x00001081, 0x00001080, 0x00000000,
 167     0x00000080, 0x00400001, 0x00000001, 0x00400080,
 168     0x00000000, 0x00400081, 0x00400080, 0x00001080,
 169     0x00000081, 0x00001000, 0x00401081, 0x00400000,
 170     0x00401080, 0x00000001, 0x00001001, 0x00401081,
 171     0x00400001, 0x00401080, 0x00401000, 0x00001001,
 172   },
 173   {
 174     0x08200020, 0x08208000, 0x00008020, 0x00000000,
 175     0x08008000, 0x00200020, 0x08200000, 0x08208020,
 176     0x00000020, 0x08000000, 0x00208000, 0x00008020,
 177     0x00208020, 0x08008020, 0x08000020, 0x08200000,
 178     0x00008000, 0x00208020, 0x00200020, 0x08008000,
 179     0x08208020, 0x08000020, 0x00000000, 0x00208000,
 180     0x08000000, 0x00200000, 0x08008020, 0x08200020,
 181     0x00200000, 0x00008000, 0x08208000, 0x00000020,
 182     0x00200000, 0x00008000, 0x08000020, 0x08208020,
 183     0x00008020, 0x08000000, 0x00000000, 0x00208000,
 184     0x08200020, 0x08008020, 0x08008000, 0x00200020,
 185     0x08208000, 0x00000020, 0x00200020, 0x08008000,
 186     0x08208020, 0x00200000, 0x08200000, 0x08000020,
 187     0x00208000, 0x00008020, 0x08008020, 0x08200000,
 188     0x00000020, 0x08208000, 0x00208020, 0x00000000,
 189     0x08000000, 0x08200020, 0x00008000, 0x00208020
 190   },
 191 };
 192
 193 __constant u32 c_skb[8][64] =
 194 {
 195   {
 196     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 197     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 198     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 199     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 200     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 201     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 202     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 203     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 204     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 205     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 206     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 207     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 208     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 209     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 210     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 211     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 212   },
 213   {
 214     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 215     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 216     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 217     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 218     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 219     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 220     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 221     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 222     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 223     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 224     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 225     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 226     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 227     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 228     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 229     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 230   },
 231   {
 232     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 233     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 234     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 235     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 236     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 237     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 238     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 239     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 240     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 241     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 242     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 243     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 244     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 245     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 246     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 247     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 248   },
 249   {
 250     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 251     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 252     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 253     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 254     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 255     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 256     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 257     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 258     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 259     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 260     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 261     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 262     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 263     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 264     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 265     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 266   },
 267   {
 268     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 269     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 270     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 271     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 272     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 273     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 274     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 275     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 276     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 277     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 278     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 279     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 280     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 281     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 282     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 283     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 284   },
 285   {
 286     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 287     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 288     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 289     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 290     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 291     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 292     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 293     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 294     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 295     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 296     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 297     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 298     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 299     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 300     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 301     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 302   },
 303   {
 304     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 305     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 306     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 307     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 308     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 309     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 310     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 311     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 312     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 313     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 314     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 315     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 316     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 317     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 318     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 319     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 320   },
 321   {
 322     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 323     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 324     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 325     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 326     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 327     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 328     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 329     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 330     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 331     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 332     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 333     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 334     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 335     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 336     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 337     0x00002822, 0x04002822, 0x00042822, 0x04042822
 338   },
 339 };
 340
 341 #if   VECT_SIZE == 1
 342 #define BOX(i,n,S) (S)[(n)][(i)]
 343 #elif VECT_SIZE == 2
 344 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 345 #elif VECT_SIZE == 4
 346 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 347 #elif VECT_SIZE == 8
 348 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 349 #elif VECT_SIZE == 16
 350 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 351 #endif
 352
 353 void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 354 {
 355   u32x tt;
 356
 357   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 358   HPERM_OP (c,    tt, 2, 0xcccc0000);
 359   HPERM_OP (d,    tt, 2, 0xcccc0000);
 360   PERM_OP  (d, c, tt, 1, 0x55555555);
 361   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 362   PERM_OP  (d, c, tt, 1, 0x55555555);
 363
 364   d = ((d & 0x000000ff) << 16)
 365     | ((d & 0x0000ff00) <<  0)
 366     | ((d & 0x00ff0000) >> 16)
 367     | ((c & 0xf0000000) >>  4);
 368
 369   c = c & 0x0fffffff;
 370
 371   #pragma unroll 16
 372   for (u32 i = 0; i < 16; i++)
 373   {
 374     if ((i < 2) || (i == 8) || (i == 15))
 375     {
 376       c = ((c >> 1) | (c << 27));
 377       d = ((d >> 1) | (d << 27));
 378     }
 379     else
 380     {
 381       c = ((c >> 2) | (c << 26));
 382       d = ((d >> 2) | (d << 26));
 383     }
 384
 385     c = c & 0x0fffffff;
 386     d = d & 0x0fffffff;
 387
 388     const u32x c00 = (c >>  0) & 0x0000003f;
 389     const u32x c06 = (c >>  6) & 0x00383003;
 390     const u32x c07 = (c >>  7) & 0x0000003c;
 391     const u32x c13 = (c >> 13) & 0x0000060f;
 392     const u32x c20 = (c >> 20) & 0x00000001;
 393
 394     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 395            | BOX (((c06 >>  0) & 0xff)
 396                  |((c07 >>  0) & 0xff), 1, s_skb)
 397            | BOX (((c13 >>  0) & 0xff)
 398                  |((c06 >>  8) & 0xff), 2, s_skb)
 399            | BOX (((c20 >>  0) & 0xff)
 400                  |((c13 >>  8) & 0xff)
 401                  |((c06 >> 16) & 0xff), 3, s_skb);
 402
 403     const u32x d00 = (d >>  0) & 0x00003c3f;
 404     const u32x d07 = (d >>  7) & 0x00003f03;
 405     const u32x d21 = (d >> 21) & 0x0000000f;
 406     const u32x d22 = (d >> 22) & 0x00000030;
 407
 408     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 409            | BOX (((d07 >>  0) & 0xff)
 410                  |((d00 >>  8) & 0xff), 5, s_skb)
 411            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 412            | BOX (((d21 >>  0) & 0xff)
 413                  |((d22 >>  0) & 0xff), 7, s_skb);
 414
 415     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 416     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 417   }
 418 }
 419
 420 void _des_crypt_encrypt (u32x iv[2], u32 mask, u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 421 {
 422   const u32 E1 = (mask >> 2) & 0x3f0;
 423   const u32 E0 = mask & 0x3f;
 424
 425   u32x r = 0;
 426   u32x l = 0;
 427
 428   for (u32 i = 0; i < 25; i++)
 429   {
 430     for (u32 j = 0; j < 16; j += 2)
 431     {
 432       u32x t;
 433       u32x u;
 434
 435       t = r ^ (r >> 16);
 436       u = t & E0;
 437       t = t & E1;
 438       u = u ^ (u << 16);
 439       u = u ^ r;
 440       u = u ^ Kc[j + 0];
 441       t = t ^ (t << 16);
 442       t = t ^ r;
 443       t = rotl32 (t, 28u);
 444       t = t ^ Kd[j + 0];
 445
 446       l ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 447          | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 448          | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 449          | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 450          | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 451          | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 452          | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 453          | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 454
 455       t = l ^ (l >> 16);
 456       u = t & E0;
 457       t = t & E1;
 458       u = u ^ (u << 16);
 459       u = u ^ l;
 460       u = u ^ Kc[j + 1];
 461       t = t ^ (t << 16);
 462       t = t ^ l;
 463       t = rotl32 (t, 28u);
 464       t = t ^ Kd[j + 1];
 465
 466       r ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 467          | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 468          | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 469          | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 470          | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 471          | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 472          | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 473          | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 474     }
 475
 476     u32x tt;
 477
 478     tt = l;
 479     l  = r;
 480     r  = tt;
 481   }
 482
 483   iv[0] = rotl32 (r, 31);
 484   iv[1] = rotl32 (l, 31);
 485 }
 486
 487 __kernel void m01500_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 488 {
 489   /**
 490    * modifier
 491    */
 492
 493   const u32 gid = get_global_id (0);
 494   const u32 lid = get_local_id (0);
 495   const u32 lsz = get_local_size (0);
 496
 497   /**
 498    * sbox, kbox
 499    */
 500
 501   __local u32 s_SPtrans[8][64];
 502   __local u32 s_skb[8][64];
 503
 504   for (u32 i = lid; i < 64; i += lsz)
 505   {
 506     s_SPtrans[0][i] = c_SPtrans[0][i];
 507     s_SPtrans[1][i] = c_SPtrans[1][i];
 508     s_SPtrans[2][i] = c_SPtrans[2][i];
 509     s_SPtrans[3][i] = c_SPtrans[3][i];
 510     s_SPtrans[4][i] = c_SPtrans[4][i];
 511     s_SPtrans[5][i] = c_SPtrans[5][i];
 512     s_SPtrans[6][i] = c_SPtrans[6][i];
 513     s_SPtrans[7][i] = c_SPtrans[7][i];
 514
 515     s_skb[0][i] = c_skb[0][i];
 516     s_skb[1][i] = c_skb[1][i];
 517     s_skb[2][i] = c_skb[2][i];
 518     s_skb[3][i] = c_skb[3][i];
 519     s_skb[4][i] = c_skb[4][i];
 520     s_skb[5][i] = c_skb[5][i];
 521     s_skb[6][i] = c_skb[6][i];
 522     s_skb[7][i] = c_skb[7][i];
 523   }
 524
 525   barrier (CLK_LOCAL_MEM_FENCE);
 526
 527   if (gid >= gid_max) return;
 528
 529   /**
 530    * base
 531    */
 532
 533   u32 pw_buf0[4];
 534   u32 pw_buf1[4];
 535
 536   pw_buf0[0] = pws[gid].i[0];
 537   pw_buf0[1] = pws[gid].i[1];
 538   pw_buf0[2] = pws[gid].i[2];
 539   pw_buf0[3] = pws[gid].i[3];
 540   pw_buf1[0] = pws[gid].i[4];
 541   pw_buf1[1] = pws[gid].i[5];
 542   pw_buf1[2] = pws[gid].i[6];
 543   pw_buf1[3] = pws[gid].i[7];
 544
 545   const u32 pw_l_len = pws[gid].pw_len;
 546
 547   /**
 548    * salt
 549    */
 550
 551   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 552
 553   /**
 554    * loop
 555    */
 556
 557   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 558   {
 559     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 560
 561     const u32x pw_len = pw_l_len + pw_r_len;
 562
 563     /**
 564      * concat password candidate
 565      */
 566
 567     u32x wordl0[4] = { 0 };
 568     u32x wordl1[4] = { 0 };
 569     u32x wordl2[4] = { 0 };
 570     u32x wordl3[4] = { 0 };
 571
 572     wordl0[0] = pw_buf0[0];
 573     wordl0[1] = pw_buf0[1];
 574     wordl0[2] = pw_buf0[2];
 575     wordl0[3] = pw_buf0[3];
 576     wordl1[0] = pw_buf1[0];
 577     wordl1[1] = pw_buf1[1];
 578     wordl1[2] = pw_buf1[2];
 579     wordl1[3] = pw_buf1[3];
 580
 581     u32x wordr0[4] = { 0 };
 582     u32x wordr1[4] = { 0 };
 583     u32x wordr2[4] = { 0 };
 584     u32x wordr3[4] = { 0 };
 585
 586     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 587     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 588     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 589     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 590     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 591     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 592     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 593     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 594
 595     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 596     {
 597       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 598     }
 599     else
 600     {
 601       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 602     }
 603
 604     u32x w0[4];
 605     u32x w1[4];
 606     u32x w2[4];
 607     u32x w3[4];
 608
 609     w0[0] = wordl0[0] | wordr0[0];
 610     w0[1] = wordl0[1] | wordr0[1];
 611     w0[2] = wordl0[2] | wordr0[2];
 612     w0[3] = wordl0[3] | wordr0[3];
 613     w1[0] = wordl1[0] | wordr1[0];
 614     w1[1] = wordl1[1] | wordr1[1];
 615     w1[2] = wordl1[2] | wordr1[2];
 616     w1[3] = wordl1[3] | wordr1[3];
 617     w2[0] = wordl2[0] | wordr2[0];
 618     w2[1] = wordl2[1] | wordr2[1];
 619     w2[2] = wordl2[2] | wordr2[2];
 620     w2[3] = wordl2[3] | wordr2[3];
 621     w3[0] = wordl3[0] | wordr3[0];
 622     w3[1] = wordl3[1] | wordr3[1];
 623     w3[2] = wordl3[2] | wordr3[2];
 624     w3[3] = wordl3[3] | wordr3[3];
 625
 626     /**
 627      * DES
 628      */
 629
 630     u32x data[2];
 631
 632     data[0] = (w0[0] << 1) & 0xfefefefe;
 633     data[1] = (w0[1] << 1) & 0xfefefefe;
 634
 635     u32x Kc[16];
 636     u32x Kd[16];
 637
 638     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 639
 640     u32x iv[2];
 641
 642     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 643
 644     u32x z = 0;
 645
 646     COMPARE_M_SIMD (iv[0], iv[1], z, z);
 647   }
 648 }
 649
 650 __kernel void m01500_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 651 {
 652 }
 653
 654 __kernel void m01500_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 655 {
 656 }
 657
 658 __kernel void m01500_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 659 {
 660   /**
 661    * modifier
 662    */
 663
 664   const u32 gid = get_global_id (0);
 665   const u32 lid = get_local_id (0);
 666   const u32 lsz = get_local_size (0);
 667
 668   /**
 669    * sbox, kbox
 670    */
 671
 672   __local u32 s_SPtrans[8][64];
 673   __local u32 s_skb[8][64];
 674
 675   for (u32 i = lid; i < 64; i += lsz)
 676   {
 677     s_SPtrans[0][i] = c_SPtrans[0][i];
 678     s_SPtrans[1][i] = c_SPtrans[1][i];
 679     s_SPtrans[2][i] = c_SPtrans[2][i];
 680     s_SPtrans[3][i] = c_SPtrans[3][i];
 681     s_SPtrans[4][i] = c_SPtrans[4][i];
 682     s_SPtrans[5][i] = c_SPtrans[5][i];
 683     s_SPtrans[6][i] = c_SPtrans[6][i];
 684     s_SPtrans[7][i] = c_SPtrans[7][i];
 685
 686     s_skb[0][i] = c_skb[0][i];
 687     s_skb[1][i] = c_skb[1][i];
 688     s_skb[2][i] = c_skb[2][i];
 689     s_skb[3][i] = c_skb[3][i];
 690     s_skb[4][i] = c_skb[4][i];
 691     s_skb[5][i] = c_skb[5][i];
 692     s_skb[6][i] = c_skb[6][i];
 693     s_skb[7][i] = c_skb[7][i];
 694   }
 695
 696   barrier (CLK_LOCAL_MEM_FENCE);
 697
 698   if (gid >= gid_max) return;
 699
 700   /**
 701    * base
 702    */
 703
 704   u32 pw_buf0[4];
 705   u32 pw_buf1[4];
 706
 707   pw_buf0[0] = pws[gid].i[0];
 708   pw_buf0[1] = pws[gid].i[1];
 709   pw_buf0[2] = pws[gid].i[2];
 710   pw_buf0[3] = pws[gid].i[3];
 711   pw_buf1[0] = pws[gid].i[4];
 712   pw_buf1[1] = pws[gid].i[5];
 713   pw_buf1[2] = pws[gid].i[6];
 714   pw_buf1[3] = pws[gid].i[7];
 715
 716   const u32 pw_l_len = pws[gid].pw_len;
 717
 718   /**
 719    * salt
 720    */
 721
 722   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 723
 724   /**
 725    * digest
 726    */
 727
 728   const u32 search[4] =
 729   {
 730     digests_buf[digests_offset].digest_buf[DGST_R0],
 731     digests_buf[digests_offset].digest_buf[DGST_R1],
 732     0,
 733     0
 734   };
 735
 736   /**
 737    * loop
 738    */
 739
 740   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 741   {
 742     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 743
 744     const u32x pw_len = pw_l_len + pw_r_len;
 745
 746     /**
 747      * concat password candidate
 748      */
 749
 750     u32x wordl0[4] = { 0 };
 751     u32x wordl1[4] = { 0 };
 752     u32x wordl2[4] = { 0 };
 753     u32x wordl3[4] = { 0 };
 754
 755     wordl0[0] = pw_buf0[0];
 756     wordl0[1] = pw_buf0[1];
 757     wordl0[2] = pw_buf0[2];
 758     wordl0[3] = pw_buf0[3];
 759     wordl1[0] = pw_buf1[0];
 760     wordl1[1] = pw_buf1[1];
 761     wordl1[2] = pw_buf1[2];
 762     wordl1[3] = pw_buf1[3];
 763
 764     u32x wordr0[4] = { 0 };
 765     u32x wordr1[4] = { 0 };
 766     u32x wordr2[4] = { 0 };
 767     u32x wordr3[4] = { 0 };
 768
 769     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 770     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 771     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 772     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 773     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 774     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 775     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 776     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 777
 778     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 779     {
 780       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 781     }
 782     else
 783     {
 784       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 785     }
 786
 787     u32x w0[4];
 788     u32x w1[4];
 789     u32x w2[4];
 790     u32x w3[4];
 791
 792     w0[0] = wordl0[0] | wordr0[0];
 793     w0[1] = wordl0[1] | wordr0[1];
 794     w0[2] = wordl0[2] | wordr0[2];
 795     w0[3] = wordl0[3] | wordr0[3];
 796     w1[0] = wordl1[0] | wordr1[0];
 797     w1[1] = wordl1[1] | wordr1[1];
 798     w1[2] = wordl1[2] | wordr1[2];
 799     w1[3] = wordl1[3] | wordr1[3];
 800     w2[0] = wordl2[0] | wordr2[0];
 801     w2[1] = wordl2[1] | wordr2[1];
 802     w2[2] = wordl2[2] | wordr2[2];
 803     w2[3] = wordl2[3] | wordr2[3];
 804     w3[0] = wordl3[0] | wordr3[0];
 805     w3[1] = wordl3[1] | wordr3[1];
 806     w3[2] = wordl3[2] | wordr3[2];
 807     w3[3] = wordl3[3] | wordr3[3];
 808
 809     /**
 810      * DES
 811      */
 812
 813     u32x data[2];
 814
 815     data[0] = (w0[0] << 1) & 0xfefefefe;
 816     data[1] = (w0[1] << 1) & 0xfefefefe;
 817
 818     u32x Kc[16];
 819     u32x Kd[16];
 820
 821     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 822
 823     u32x iv[2];
 824
 825     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 826
 827     u32x z = 0;
 828
 829     COMPARE_S_SIMD (iv[0], iv[1], z, z);
 830   }
 831 }
 832
 833 __kernel void m01500_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 834 {
 835 }
 836
 837 __kernel void m01500_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 838 {
 839 }