OpenCL/m03100_a3.cl

   1 /** / s_skb
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "include/constants.h"
  11 #include "include/kernel_vendor.h"
  12
  13 #define DGST_R0 0
  14 #define DGST_R1 1
  15 #define DGST_R2 2
  16 #define DGST_R3 3
  17
  18 #include "include/kernel_functions.c"
  19 #include "OpenCL/types_ocl.c"
  20 #include "OpenCL/common.c"
  21 #include "OpenCL/simd.c"
  22
  23 #define PERM_OP(a,b,tt,n,m) \
  24 {                           \
  25   tt = a >> n;              \
  26   tt = tt ^ b;              \
  27   tt = tt & m;              \
  28   b = b ^ tt;               \
  29   tt = tt << n;             \
  30   a = a ^ tt;               \
  31 }
  32
  33 #define HPERM_OP(a,tt,n,m)  \
  34 {                           \
  35   tt = a << (16 + n);       \
  36   tt = tt ^ a;              \
  37   tt = tt & m;              \
  38   a  = a ^ tt;              \
  39   tt = tt >> (16 + n);      \
  40   a  = a ^ tt;              \
  41 }
  42
  43 #define IP(l,r,tt)                     \
  44 {                                      \
  45   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  46   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  47   PERM_OP (r, l, tt,  2, 0x33333333);  \
  48   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  49   PERM_OP (r, l, tt,  1, 0x55555555);  \
  50 }
  51
  52 #define FP(l,r,tt)                     \
  53 {                                      \
  54   PERM_OP (l, r, tt,  1, 0x55555555);  \
  55   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  56   PERM_OP (l, r, tt,  2, 0x33333333);  \
  57   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  58   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  59 }
  60
  61 __constant u32 c_SPtrans[8][64] =
  62 {
  63   {
  64     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  65     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  66     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  67     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  68     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  69     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  70     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  71     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  72     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  73     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  74     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  75     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  76     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  77     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  78     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  79     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  80   },
  81   {
  82     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  83     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  84     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  85     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  86     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  87     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  88     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  89     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  90     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  91     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  92     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  93     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  94     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  95     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  96     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  97     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  98   },
  99   {
 100     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 101     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 102     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 103     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 104     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 105     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 106     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 107     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 108     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 109     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 110     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 111     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 112     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 113     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 114     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 115     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 116   },
 117   {
 118     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 119     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 120     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 121     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 122     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 123     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 124     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 125     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 126     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 127     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 128     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 129     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 130     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 131     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 132     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 133     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 134   },
 135   {
 136     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 137     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 138     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 139     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 140     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 141     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 142     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 143     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 144     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 145     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 146     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 147     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 148     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 149     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 150     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 151     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 152   },
 153   {
 154     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 155     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 156     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 157     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 158     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 159     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 160     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 161     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 162     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 163     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 164     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 165     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 166     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 167     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 168     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 169     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 170   },
 171   {
 172     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 173     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 174     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 175     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 176     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 177     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 178     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 179     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 180     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 181     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 182     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 183     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 184     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 185     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 186     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 187     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 188   },
 189   {
 190     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 191     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 192     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 193     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 194     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 195     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 196     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 197     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 198     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 199     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 200     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 201     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 202     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 203     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 204     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 205     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 206   }
 207 };
 208
 209 __constant u32 c_skb[8][64] =
 210 {
 211   {
 212     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 213     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 214     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 215     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 216     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 217     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 218     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 219     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 220     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 221     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 222     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 223     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 224     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 225     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 226     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 227     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 228   },
 229   {
 230     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 231     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 232     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 233     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 234     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 235     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 236     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 237     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 238     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 239     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 240     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 241     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 242     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 243     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 244     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 245     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 246   },
 247   {
 248     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 249     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 250     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 251     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 252     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 253     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 254     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 255     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 256     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 257     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 258     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 259     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 260     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 261     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 262     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 263     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 264   },
 265   {
 266     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 267     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 268     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 269     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 270     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 271     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 272     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 273     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 274     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 275     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 276     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 277     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 278     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 279     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 280     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 281     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 282   },
 283   {
 284     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 285     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 286     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 287     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 288     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 289     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 290     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 291     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 292     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 293     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 294     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 295     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 296     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 297     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 298     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 299     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 300   },
 301   {
 302     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 303     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 304     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 305     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 306     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 307     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 308     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 309     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 310     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 311     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 312     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 313     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 314     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 315     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 316     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 317     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 318   },
 319   {
 320     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 321     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 322     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 323     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 324     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 325     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 326     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 327     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 328     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 329     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 330     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 331     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 332     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 333     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 334     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 335     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 336   },
 337   {
 338     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 339     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 340     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 341     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 342     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 343     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 344     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 345     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 346     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 347     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 348     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 349     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 350     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 351     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 352     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 353     0x00002822, 0x04002822, 0x00042822, 0x04042822
 354   }
 355 };
 356
 357 #if   VECT_SIZE == 1
 358 #define BOX(i,n,S) (S)[(n)][(i)]
 359 #elif VECT_SIZE == 2
 360 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 361 #elif VECT_SIZE == 4
 362 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 363 #elif VECT_SIZE == 8
 364 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 365 #endif
 366
 367 static void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 s_SPtrans[8][64])
 368 {
 369   u32x tt;
 370
 371   u32x r = data[0];
 372   u32x l = data[1];
 373
 374   IP (r, l, tt);
 375
 376   r = rotl32 (r, 3u);
 377   l = rotl32 (l, 3u);
 378
 379   #pragma unroll 16
 380   for (u32 i = 0; i < 16; i += 2)
 381   {
 382     u32x u;
 383     u32x t;
 384
 385     u = Kc[i + 0] ^ r;
 386     t = Kd[i + 0] ^ rotl32 (r, 28u);
 387
 388     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 389        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 390        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 391        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 392        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 393        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 394        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 395        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 396
 397     u = Kc[i + 1] ^ l;
 398     t = Kd[i + 1] ^ rotl32 (l, 28u);
 399
 400     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 401        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 402        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 403        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 404        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 405        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 406        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 407        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 408   }
 409
 410   l = rotl32 (l, 29u);
 411   r = rotl32 (r, 29u);
 412
 413   FP (r, l, tt);
 414
 415   iv[0] = l;
 416   iv[1] = r;
 417 }
 418
 419 static void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 s_skb[8][64])
 420 {
 421   u32x tt;
 422
 423   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 424   HPERM_OP (c,    tt, 2, 0xcccc0000);
 425   HPERM_OP (d,    tt, 2, 0xcccc0000);
 426   PERM_OP  (d, c, tt, 1, 0x55555555);
 427   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 428   PERM_OP  (d, c, tt, 1, 0x55555555);
 429
 430   d = ((d & 0x000000ff) << 16)
 431     | ((d & 0x0000ff00) <<  0)
 432     | ((d & 0x00ff0000) >> 16)
 433     | ((c & 0xf0000000) >>  4);
 434
 435   c = c & 0x0fffffff;
 436
 437   #pragma unroll 16
 438   for (u32 i = 0; i < 16; i++)
 439   {
 440     if ((i < 2) || (i == 8) || (i == 15))
 441     {
 442       c = ((c >> 1) | (c << 27));
 443       d = ((d >> 1) | (d << 27));
 444     }
 445     else
 446     {
 447       c = ((c >> 2) | (c << 26));
 448       d = ((d >> 2) | (d << 26));
 449     }
 450
 451     c = c & 0x0fffffff;
 452     d = d & 0x0fffffff;
 453
 454     const u32x c00 = (c >>  0) & 0x0000003f;
 455     const u32x c06 = (c >>  6) & 0x00383003;
 456     const u32x c07 = (c >>  7) & 0x0000003c;
 457     const u32x c13 = (c >> 13) & 0x0000060f;
 458     const u32x c20 = (c >> 20) & 0x00000001;
 459
 460     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 461            | BOX (((c06 >>  0) & 0xff)
 462                  |((c07 >>  0) & 0xff), 1, s_skb)
 463            | BOX (((c13 >>  0) & 0xff)
 464                  |((c06 >>  8) & 0xff), 2, s_skb)
 465            | BOX (((c20 >>  0) & 0xff)
 466                  |((c13 >>  8) & 0xff)
 467                  |((c06 >> 16) & 0xff), 3, s_skb);
 468
 469     const u32x d00 = (d >>  0) & 0x00003c3f;
 470     const u32x d07 = (d >>  7) & 0x00003f03;
 471     const u32x d21 = (d >> 21) & 0x0000000f;
 472     const u32x d22 = (d >> 22) & 0x00000030;
 473
 474     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 475            | BOX (((d07 >>  0) & 0xff)
 476                  |((d00 >>  8) & 0xff), 5, s_skb)
 477            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 478            | BOX (((d21 >>  0) & 0xff)
 479                  |((d22 >>  0) & 0xff), 7, s_skb);
 480
 481     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 482     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 483
 484     Kc[i] = rotl32 (Kc[i], 2u);
 485     Kd[i] = rotl32 (Kd[i], 2u);
 486   }
 487 }
 488
 489 static void m03100m (__local u32 s_SPtrans[8][64], __local u32 s_skb[8][64], u32 w[16], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32x * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 490 {
 491   /**
 492    * modifier
 493    */
 494
 495   const u32 gid = get_global_id (0);
 496   const u32 lid = get_local_id (0);
 497
 498   /**
 499    * salt
 500    */
 501
 502   u32 salt_buf0[4];
 503
 504   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 505   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 506   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 507   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 508
 509   u32 salt_buf1[4];
 510
 511   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 512   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 513   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 514   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 515
 516   u32 salt_buf2[4];
 517
 518   salt_buf2[0] = 0;
 519   salt_buf2[1] = 0;
 520   salt_buf2[2] = 0;
 521   salt_buf2[3] = 0;
 522
 523   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 524
 525   const u32 salt_word_len = (salt_len + pw_len) * 2;
 526
 527   /**
 528    * prepend salt
 529    */
 530
 531   u32 w0_t[4];
 532   u32 w1_t[4];
 533   u32 w2_t[4];
 534   u32 w3_t[4];
 535
 536   w0_t[0] = w[ 0];
 537   w0_t[1] = w[ 1];
 538   w0_t[2] = w[ 2];
 539   w0_t[3] = w[ 3];
 540   w1_t[0] = w[ 4];
 541   w1_t[1] = w[ 5];
 542   w1_t[2] = w[ 6];
 543   w1_t[3] = w[ 7];
 544   w2_t[0] = w[ 8];
 545   w2_t[1] = w[ 9];
 546   w2_t[2] = w[10];
 547   w2_t[3] = w[11];
 548   w3_t[0] = w[12];
 549   w3_t[1] = w[13];
 550   w3_t[2] = w[14];
 551   w3_t[3] = w[15];
 552
 553   switch_buffer_by_offset_le_S (w0_t, w1_t, w2_t, w3_t, salt_len);
 554
 555   w0_t[0] |= salt_buf0[0];
 556   w0_t[1] |= salt_buf0[1];
 557   w0_t[2] |= salt_buf0[2];
 558   w0_t[3] |= salt_buf0[3];
 559   w1_t[0] |= salt_buf1[0];
 560   w1_t[1] |= salt_buf1[1];
 561   w1_t[2] |= salt_buf1[2];
 562   w1_t[3] |= salt_buf1[3];
 563   w2_t[0] |= salt_buf2[0];
 564   w2_t[1] |= salt_buf2[1];
 565   w2_t[2] |= salt_buf2[2];
 566   w2_t[3] |= salt_buf2[3];
 567   w3_t[0] = 0;
 568   w3_t[1] = 0;
 569   w3_t[2] = 0;
 570   w3_t[3] = 0;
 571
 572   u32x dst[16];
 573
 574   dst[ 0] = w0_t[0];
 575   dst[ 1] = w0_t[1];
 576   dst[ 2] = w0_t[2];
 577   dst[ 3] = w0_t[3];
 578   dst[ 4] = w1_t[0];
 579   dst[ 5] = w1_t[1];
 580   dst[ 6] = w1_t[2];
 581   dst[ 7] = w1_t[3];
 582   dst[ 8] = w2_t[0];
 583   dst[ 9] = w2_t[1];
 584   dst[10] = w2_t[2];
 585   dst[11] = w2_t[3];
 586   dst[12] = w3_t[0];
 587   dst[13] = w3_t[1];
 588   dst[14] = w3_t[2];
 589   dst[15] = w3_t[3];
 590
 591   /**
 592    * loop
 593    */
 594
 595   u32 w0l = w[0];
 596
 597   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos += VECT_SIZE)
 598   {
 599     const u32x w0r = words_buf_r[il_pos / VECT_SIZE];
 600
 601     const u32x w0 = w0l | w0r;
 602
 603     overwrite_at_le (dst, w0, salt_len);
 604
 605     /**
 606      * precompute key1 since key is static: 0x0123456789abcdef
 607      * plus LEFT_ROTATE by 2
 608      */
 609
 610     u32x Kc[16];
 611
 612     Kc[ 0] = 0x64649040;
 613     Kc[ 1] = 0x14909858;
 614     Kc[ 2] = 0xc4b44888;
 615     Kc[ 3] = 0x9094e438;
 616     Kc[ 4] = 0xd8a004f0;
 617     Kc[ 5] = 0xa8f02810;
 618     Kc[ 6] = 0xc84048d8;
 619     Kc[ 7] = 0x68d804a8;
 620     Kc[ 8] = 0x0490e40c;
 621     Kc[ 9] = 0xac183024;
 622     Kc[10] = 0x24c07c10;
 623     Kc[11] = 0x8c88c038;
 624     Kc[12] = 0xc048c824;
 625     Kc[13] = 0x4c0470a8;
 626     Kc[14] = 0x584020b4;
 627     Kc[15] = 0x00742c4c;
 628
 629     u32x Kd[16];
 630
 631     Kd[ 0] = 0xa42ce40c;
 632     Kd[ 1] = 0x64689858;
 633     Kd[ 2] = 0x484050b8;
 634     Kd[ 3] = 0xe8184814;
 635     Kd[ 4] = 0x405cc070;
 636     Kd[ 5] = 0xa010784c;
 637     Kd[ 6] = 0x6074a800;
 638     Kd[ 7] = 0x80701c1c;
 639     Kd[ 8] = 0x9cd49430;
 640     Kd[ 9] = 0x4c8ce078;
 641     Kd[10] = 0x5c18c088;
 642     Kd[11] = 0x28a8a4c8;
 643     Kd[12] = 0x3c180838;
 644     Kd[13] = 0xb0b86c20;
 645     Kd[14] = 0xac84a094;
 646     Kd[15] = 0x4ce0c0c4;
 647
 648     /**
 649      * key1 (generate key)
 650      */
 651
 652     u32x iv[2];
 653
 654     iv[0] = 0;
 655     iv[1] = 0;
 656
 657     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 658     {
 659       u32x data[2];
 660
 661       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 662       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 663
 664       data[0] ^= iv[0];
 665       data[1] ^= iv[1];
 666
 667       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 668     }
 669
 670     /**
 671      * key2 (generate hash)
 672      */
 673
 674     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 675
 676     iv[0] = 0;
 677     iv[1] = 0;
 678
 679     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 680     {
 681       u32x data[2];
 682
 683       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 684       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 685
 686       data[0] ^= iv[0];
 687       data[1] ^= iv[1];
 688
 689       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 690     }
 691
 692     /**
 693      * cmp
 694      */
 695
 696     u32x c = 0;
 697     u32x d = 0;
 698
 699     COMPARE_M_SIMD (iv[0], iv[1], c, d);
 700   }
 701 }
 702
 703 static void m03100s (__local u32 s_SPtrans[8][64], __local u32 s_skb[8][64], u32 w[16], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32x * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 704 {
 705   /**
 706    * modifier
 707    */
 708
 709   const u32 gid = get_global_id (0);
 710   const u32 lid = get_local_id (0);
 711
 712   /**
 713    * salt
 714    */
 715
 716   u32 salt_buf0[4];
 717
 718   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 719   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 720   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 721   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 722
 723   u32 salt_buf1[4];
 724
 725   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 726   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 727   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 728   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 729
 730   u32 salt_buf2[4];
 731
 732   salt_buf2[0] = 0;
 733   salt_buf2[1] = 0;
 734   salt_buf2[2] = 0;
 735   salt_buf2[3] = 0;
 736
 737   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 738
 739   const u32 salt_word_len = (salt_len + pw_len) * 2;
 740
 741   /**
 742    * prepend salt
 743    */
 744
 745   u32 w0_t[4];
 746   u32 w1_t[4];
 747   u32 w2_t[4];
 748   u32 w3_t[4];
 749
 750   w0_t[0] = w[ 0];
 751   w0_t[1] = w[ 1];
 752   w0_t[2] = w[ 2];
 753   w0_t[3] = w[ 3];
 754   w1_t[0] = w[ 4];
 755   w1_t[1] = w[ 5];
 756   w1_t[2] = w[ 6];
 757   w1_t[3] = w[ 7];
 758   w2_t[0] = w[ 8];
 759   w2_t[1] = w[ 9];
 760   w2_t[2] = w[10];
 761   w2_t[3] = w[11];
 762   w3_t[0] = w[12];
 763   w3_t[1] = w[13];
 764   w3_t[2] = w[14];
 765   w3_t[3] = w[15];
 766
 767   switch_buffer_by_offset_le_S (w0_t, w1_t, w2_t, w3_t, salt_len);
 768
 769   w0_t[0] |= salt_buf0[0];
 770   w0_t[1] |= salt_buf0[1];
 771   w0_t[2] |= salt_buf0[2];
 772   w0_t[3] |= salt_buf0[3];
 773   w1_t[0] |= salt_buf1[0];
 774   w1_t[1] |= salt_buf1[1];
 775   w1_t[2] |= salt_buf1[2];
 776   w1_t[3] |= salt_buf1[3];
 777   w2_t[0] |= salt_buf2[0];
 778   w2_t[1] |= salt_buf2[1];
 779   w2_t[2] |= salt_buf2[2];
 780   w2_t[3] |= salt_buf2[3];
 781   w3_t[0] = 0;
 782   w3_t[1] = 0;
 783   w3_t[2] = 0;
 784   w3_t[3] = 0;
 785
 786   u32x dst[16];
 787
 788   dst[ 0] = w0_t[0];
 789   dst[ 1] = w0_t[1];
 790   dst[ 2] = w0_t[2];
 791   dst[ 3] = w0_t[3];
 792   dst[ 4] = w1_t[0];
 793   dst[ 5] = w1_t[1];
 794   dst[ 6] = w1_t[2];
 795   dst[ 7] = w1_t[3];
 796   dst[ 8] = w2_t[0];
 797   dst[ 9] = w2_t[1];
 798   dst[10] = w2_t[2];
 799   dst[11] = w2_t[3];
 800   dst[12] = w3_t[0];
 801   dst[13] = w3_t[1];
 802   dst[14] = w3_t[2];
 803   dst[15] = w3_t[3];
 804
 805   /**
 806    * digest
 807    */
 808
 809   const u32 search[4] =
 810   {
 811     digests_buf[digests_offset].digest_buf[DGST_R0],
 812     digests_buf[digests_offset].digest_buf[DGST_R1],
 813     digests_buf[digests_offset].digest_buf[DGST_R2],
 814     digests_buf[digests_offset].digest_buf[DGST_R3]
 815   };
 816
 817   /**
 818    * loop
 819    */
 820
 821   u32 w0l = w[0];
 822
 823   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos += VECT_SIZE)
 824   {
 825     const u32x w0r = words_buf_r[il_pos / VECT_SIZE];
 826
 827     const u32x w0 = w0l | w0r;
 828
 829     overwrite_at_le (dst, w0, salt_len);
 830
 831     /**
 832      * precompute key1 since key is static: 0x0123456789abcdef
 833      * plus LEFT_ROTATE by 2
 834      */
 835
 836     u32x Kc[16];
 837
 838     Kc[ 0] = 0x64649040;
 839     Kc[ 1] = 0x14909858;
 840     Kc[ 2] = 0xc4b44888;
 841     Kc[ 3] = 0x9094e438;
 842     Kc[ 4] = 0xd8a004f0;
 843     Kc[ 5] = 0xa8f02810;
 844     Kc[ 6] = 0xc84048d8;
 845     Kc[ 7] = 0x68d804a8;
 846     Kc[ 8] = 0x0490e40c;
 847     Kc[ 9] = 0xac183024;
 848     Kc[10] = 0x24c07c10;
 849     Kc[11] = 0x8c88c038;
 850     Kc[12] = 0xc048c824;
 851     Kc[13] = 0x4c0470a8;
 852     Kc[14] = 0x584020b4;
 853     Kc[15] = 0x00742c4c;
 854
 855     u32x Kd[16];
 856
 857     Kd[ 0] = 0xa42ce40c;
 858     Kd[ 1] = 0x64689858;
 859     Kd[ 2] = 0x484050b8;
 860     Kd[ 3] = 0xe8184814;
 861     Kd[ 4] = 0x405cc070;
 862     Kd[ 5] = 0xa010784c;
 863     Kd[ 6] = 0x6074a800;
 864     Kd[ 7] = 0x80701c1c;
 865     Kd[ 8] = 0x9cd49430;
 866     Kd[ 9] = 0x4c8ce078;
 867     Kd[10] = 0x5c18c088;
 868     Kd[11] = 0x28a8a4c8;
 869     Kd[12] = 0x3c180838;
 870     Kd[13] = 0xb0b86c20;
 871     Kd[14] = 0xac84a094;
 872     Kd[15] = 0x4ce0c0c4;
 873
 874     /**
 875      * key1 (generate key)
 876      */
 877
 878     u32x iv[2];
 879
 880     iv[0] = 0;
 881     iv[1] = 0;
 882
 883     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 884     {
 885       u32x data[2];
 886
 887       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 888       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 889
 890       data[0] ^= iv[0];
 891       data[1] ^= iv[1];
 892
 893       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 894     }
 895
 896     /**
 897      * key2 (generate hash)
 898      */
 899
 900     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 901
 902     iv[0] = 0;
 903     iv[1] = 0;
 904
 905     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 906     {
 907       u32x data[2];
 908
 909       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 910       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 911
 912       data[0] ^= iv[0];
 913       data[1] ^= iv[1];
 914
 915       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 916     }
 917
 918     /**
 919      * cmp
 920      */
 921
 922     u32x c = 0;
 923     u32x d = 0;
 924
 925     COMPARE_S_SIMD (iv[0], iv[1], c, d);
 926   }
 927 }
 928
 929 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32x * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 930 {
 931   /**
 932    * modifier
 933    */
 934
 935   const u32 gid = get_global_id (0);
 936   const u32 lid = get_local_id (0);
 937   const u32 lsz = get_local_size (0);
 938
 939   /**
 940    * base
 941    */
 942
 943   u32 w[16];
 944
 945   w[ 0] = pws[gid].i[ 0];
 946   w[ 1] = pws[gid].i[ 1];
 947   w[ 2] = pws[gid].i[ 2];
 948   w[ 3] = pws[gid].i[ 3];
 949   w[ 4] = 0;
 950   w[ 5] = 0;
 951   w[ 6] = 0;
 952   w[ 7] = 0;
 953   w[ 8] = 0;
 954   w[ 9] = 0;
 955   w[10] = 0;
 956   w[11] = 0;
 957   w[12] = 0;
 958   w[13] = 0;
 959   w[14] = 0;
 960   w[15] = 0;
 961
 962   const u32 pw_len = pws[gid].pw_len;
 963
 964   /**
 965    * sbox, kbox
 966    */
 967
 968   __local u32 s_SPtrans[8][64];
 969   __local u32 s_skb[8][64];
 970
 971   for (u32 i = lid; i < 64; i += lsz)
 972   {
 973     s_SPtrans[0][i] = c_SPtrans[0][i];
 974     s_SPtrans[1][i] = c_SPtrans[1][i];
 975     s_SPtrans[2][i] = c_SPtrans[2][i];
 976     s_SPtrans[3][i] = c_SPtrans[3][i];
 977     s_SPtrans[4][i] = c_SPtrans[4][i];
 978     s_SPtrans[5][i] = c_SPtrans[5][i];
 979     s_SPtrans[6][i] = c_SPtrans[6][i];
 980     s_SPtrans[7][i] = c_SPtrans[7][i];
 981
 982     s_skb[0][i] = c_skb[0][i];
 983     s_skb[1][i] = c_skb[1][i];
 984     s_skb[2][i] = c_skb[2][i];
 985     s_skb[3][i] = c_skb[3][i];
 986     s_skb[4][i] = c_skb[4][i];
 987     s_skb[5][i] = c_skb[5][i];
 988     s_skb[6][i] = c_skb[6][i];
 989     s_skb[7][i] = c_skb[7][i];
 990   }
 991
 992   barrier (CLK_LOCAL_MEM_FENCE);
 993
 994   if (gid >= gid_max) return;
 995
 996   /**
 997    * main
 998    */
 999
1000   m03100m (s_SPtrans, s_skb, w, pw_len, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1001 }
1002
1003 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32x * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1004 {
1005   /**
1006    * modifier
1007    */
1008
1009   const u32 gid = get_global_id (0);
1010   const u32 lid = get_local_id (0);
1011   const u32 lsz = get_local_size (0);
1012
1013   /**
1014    * base
1015    */
1016
1017   u32 w[16];
1018
1019   w[ 0] = pws[gid].i[ 0];
1020   w[ 1] = pws[gid].i[ 1];
1021   w[ 2] = pws[gid].i[ 2];
1022   w[ 3] = pws[gid].i[ 3];
1023   w[ 4] = pws[gid].i[ 4];
1024   w[ 5] = pws[gid].i[ 5];
1025   w[ 6] = pws[gid].i[ 6];
1026   w[ 7] = pws[gid].i[ 7];
1027   w[ 8] = 0;
1028   w[ 9] = 0;
1029   w[10] = 0;
1030   w[11] = 0;
1031   w[12] = 0;
1032   w[13] = 0;
1033   w[14] = 0;
1034   w[15] = 0;
1035
1036   const u32 pw_len = pws[gid].pw_len;
1037
1038   /**
1039    * sbox, kbox
1040    */
1041
1042   __local u32 s_SPtrans[8][64];
1043   __local u32 s_skb[8][64];
1044
1045   for (u32 i = lid; i < 64; i += lsz)
1046   {
1047     s_SPtrans[0][i] = c_SPtrans[0][i];
1048     s_SPtrans[1][i] = c_SPtrans[1][i];
1049     s_SPtrans[2][i] = c_SPtrans[2][i];
1050     s_SPtrans[3][i] = c_SPtrans[3][i];
1051     s_SPtrans[4][i] = c_SPtrans[4][i];
1052     s_SPtrans[5][i] = c_SPtrans[5][i];
1053     s_SPtrans[6][i] = c_SPtrans[6][i];
1054     s_SPtrans[7][i] = c_SPtrans[7][i];
1055
1056     s_skb[0][i] = c_skb[0][i];
1057     s_skb[1][i] = c_skb[1][i];
1058     s_skb[2][i] = c_skb[2][i];
1059     s_skb[3][i] = c_skb[3][i];
1060     s_skb[4][i] = c_skb[4][i];
1061     s_skb[5][i] = c_skb[5][i];
1062     s_skb[6][i] = c_skb[6][i];
1063     s_skb[7][i] = c_skb[7][i];
1064   }
1065
1066   barrier (CLK_LOCAL_MEM_FENCE);
1067
1068   if (gid >= gid_max) return;
1069
1070   /**
1071    * main
1072    */
1073
1074   m03100m (s_SPtrans, s_skb, w, pw_len, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1075 }
1076
1077 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32x * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1078 {
1079 }
1080
1081 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32x * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1082 {
1083   /**
1084    * modifier
1085    */
1086
1087   const u32 gid = get_global_id (0);
1088   const u32 lid = get_local_id (0);
1089   const u32 lsz = get_local_size (0);
1090
1091   /**
1092    * base
1093    */
1094
1095   u32 w[16];
1096
1097   w[ 0] = pws[gid].i[ 0];
1098   w[ 1] = pws[gid].i[ 1];
1099   w[ 2] = pws[gid].i[ 2];
1100   w[ 3] = pws[gid].i[ 3];
1101   w[ 4] = 0;
1102   w[ 5] = 0;
1103   w[ 6] = 0;
1104   w[ 7] = 0;
1105   w[ 8] = 0;
1106   w[ 9] = 0;
1107   w[10] = 0;
1108   w[11] = 0;
1109   w[12] = 0;
1110   w[13] = 0;
1111   w[14] = 0;
1112   w[15] = 0;
1113
1114   const u32 pw_len = pws[gid].pw_len;
1115
1116   /**
1117    * sbox, kbox
1118    */
1119
1120   __local u32 s_SPtrans[8][64];
1121   __local u32 s_skb[8][64];
1122
1123   for (u32 i = lid; i < 64; i += lsz)
1124   {
1125     s_SPtrans[0][i] = c_SPtrans[0][i];
1126     s_SPtrans[1][i] = c_SPtrans[1][i];
1127     s_SPtrans[2][i] = c_SPtrans[2][i];
1128     s_SPtrans[3][i] = c_SPtrans[3][i];
1129     s_SPtrans[4][i] = c_SPtrans[4][i];
1130     s_SPtrans[5][i] = c_SPtrans[5][i];
1131     s_SPtrans[6][i] = c_SPtrans[6][i];
1132     s_SPtrans[7][i] = c_SPtrans[7][i];
1133
1134     s_skb[0][i] = c_skb[0][i];
1135     s_skb[1][i] = c_skb[1][i];
1136     s_skb[2][i] = c_skb[2][i];
1137     s_skb[3][i] = c_skb[3][i];
1138     s_skb[4][i] = c_skb[4][i];
1139     s_skb[5][i] = c_skb[5][i];
1140     s_skb[6][i] = c_skb[6][i];
1141     s_skb[7][i] = c_skb[7][i];
1142   }
1143
1144   barrier (CLK_LOCAL_MEM_FENCE);
1145
1146   if (gid >= gid_max) return;
1147
1148   /**
1149    * main
1150    */
1151
1152   m03100s (s_SPtrans, s_skb, w, pw_len, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1153 }
1154
1155 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32x * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1156 {
1157   /**
1158    * modifier
1159    */
1160
1161   const u32 gid = get_global_id (0);
1162   const u32 lid = get_local_id (0);
1163   const u32 lsz = get_local_size (0);
1164
1165   /**
1166    * base
1167    */
1168
1169   u32 w[16];
1170
1171   w[ 0] = pws[gid].i[ 0];
1172   w[ 1] = pws[gid].i[ 1];
1173   w[ 2] = pws[gid].i[ 2];
1174   w[ 3] = pws[gid].i[ 3];
1175   w[ 4] = pws[gid].i[ 4];
1176   w[ 5] = pws[gid].i[ 5];
1177   w[ 6] = pws[gid].i[ 6];
1178   w[ 7] = pws[gid].i[ 7];
1179   w[ 8] = 0;
1180   w[ 9] = 0;
1181   w[10] = 0;
1182   w[11] = 0;
1183   w[12] = 0;
1184   w[13] = 0;
1185   w[14] = 0;
1186   w[15] = 0;
1187
1188   const u32 pw_len = pws[gid].pw_len;
1189
1190   /**
1191    * sbox, kbox
1192    */
1193
1194   __local u32 s_SPtrans[8][64];
1195   __local u32 s_skb[8][64];
1196
1197   for (u32 i = lid; i < 64; i += lsz)
1198   {
1199     s_SPtrans[0][i] = c_SPtrans[0][i];
1200     s_SPtrans[1][i] = c_SPtrans[1][i];
1201     s_SPtrans[2][i] = c_SPtrans[2][i];
1202     s_SPtrans[3][i] = c_SPtrans[3][i];
1203     s_SPtrans[4][i] = c_SPtrans[4][i];
1204     s_SPtrans[5][i] = c_SPtrans[5][i];
1205     s_SPtrans[6][i] = c_SPtrans[6][i];
1206     s_SPtrans[7][i] = c_SPtrans[7][i];
1207
1208     s_skb[0][i] = c_skb[0][i];
1209     s_skb[1][i] = c_skb[1][i];
1210     s_skb[2][i] = c_skb[2][i];
1211     s_skb[3][i] = c_skb[3][i];
1212     s_skb[4][i] = c_skb[4][i];
1213     s_skb[5][i] = c_skb[5][i];
1214     s_skb[6][i] = c_skb[6][i];
1215     s_skb[7][i] = c_skb[7][i];
1216   }
1217
1218   barrier (CLK_LOCAL_MEM_FENCE);
1219
1220   if (gid >= gid_max) return;
1221
1222   /**
1223    * main
1224    */
1225
1226   m03100s (s_SPtrans, s_skb, w, pw_len, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1227 }
1228
1229 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32x * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1230 {
1231 }