nv/markov_le_v2.cu

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define CHARSIZ 256
   7
   8 #define VECT_SIZE2
   9
  10 #include "types_nv.c"
  11
  12 __device__ static void generate_pw (u32 pw_buf[16], cs_t *root_css_buf, cs_t *markov_css_buf, const u32 pw_l_len, const u32 pw_r_len, const u32 mask80, const u32 bits14, const u32 bits15, u64 val)
  13 {
  14   pw_buf[ 0] = 0;
  15   pw_buf[ 1] = 0;
  16   pw_buf[ 2] = 0;
  17   pw_buf[ 3] = 0;
  18   pw_buf[ 4] = 0;
  19   pw_buf[ 5] = 0;
  20   pw_buf[ 6] = 0;
  21   pw_buf[ 7] = 0;
  22   pw_buf[ 8] = 0;
  23   pw_buf[ 9] = 0;
  24   pw_buf[10] = 0;
  25   pw_buf[11] = 0;
  26   pw_buf[12] = 0;
  27   pw_buf[13] = 0;
  28   pw_buf[14] = 0;
  29   pw_buf[15] = 0;
  30
  31   cs_t *cs = &root_css_buf[pw_r_len];
  32
  33   u32 i;
  34   u32 j;
  35
  36   for (i = 0, j = pw_r_len; i < pw_l_len; i++, j++)
  37   {
  38     const u32 len = cs->cs_len;
  39
  40     const u64 next = val / len;
  41     const u64 pos  = val % len;
  42
  43     val = next;
  44
  45     const u32 key = cs->cs_buf[pos];
  46
  47     const u32 jd4 = j / 4;
  48     const u32 jm4 = j % 4;
  49
  50     pw_buf[jd4] |= key << (jm4 * 8);
  51
  52     cs = &markov_css_buf[(j * CHARSIZ) + key];
  53   }
  54
  55   const u32 jd4 = j / 4;
  56   const u32 jm4 = j % 4;
  57
  58   pw_buf[jd4] |= (0xff << (jm4 * 8)) & mask80;
  59
  60   if (bits14) pw_buf[14] = (pw_l_len + pw_r_len) * 8;
  61   if (bits15) pw_buf[15] = (pw_l_len + pw_r_len) * 8;
  62 }
  63
  64 extern "C" __global__ void __launch_bounds__ (256, 1) l_markov (pw_t *pws_buf_l, cs_t *root_css_buf, cs_t *markov_css_buf, const u64 off, const u32 pw_l_len, const u32 pw_r_len, const u32 mask80, const u32 bits14, const u32 bits15, const u32 gid_max)
  65 {
  66   const u32 gid  = (blockIdx.x * blockDim.x) + threadIdx.x;
  67
  68   if (gid >= gid_max) return;
  69
  70   const u32 gid2 = gid * 2;
  71
  72   u32 pw_buf0[16];
  73   u32 pw_buf1[16];
  74
  75   generate_pw (pw_buf0, root_css_buf, markov_css_buf, pw_l_len, pw_r_len, mask80, bits14, bits15, off + gid2 + 0);
  76   generate_pw (pw_buf1, root_css_buf, markov_css_buf, pw_l_len, pw_r_len, mask80, bits14, bits15, off + gid2 + 1);
  77
  78   #pragma unroll 16
  79   for (int i = 0; i < 16; i++)
  80   {
  81     pws_buf_l[gid].i[i].x = pw_buf0[i];
  82     pws_buf_l[gid].i[i].y = pw_buf1[i];
  83   }
  84
  85   pws_buf_l[gid].pw_len = pw_l_len + pw_r_len;
  86 }
  87
  88 extern "C" __global__ void __launch_bounds__ (256, 1) r_markov (bf_t *pws_buf_r, cs_t *root_css_buf, cs_t *markov_css_buf, const u64 off, const u32 pw_r_len, const u32 mask80, const u32 bits14, const u32 bits15, const u32 gid_max)
  89 {
  90   const u32 gid  = (blockIdx.x * blockDim.x) + threadIdx.x;
  91
  92   if (gid >= gid_max) return;
  93
  94   const u32 gid2 = gid * 2;
  95
  96   u32 pw_buf[16];
  97
  98   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_r_len, 0, 0, 0, 0, off + gid2 + 0);
  99
 100   pws_buf_r[gid2 + 0].i = pw_buf[0];
 101
 102   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_r_len, 0, 0, 0, 0, off + gid2 + 1);
 103
 104   pws_buf_r[gid2 + 1].i = pw_buf[0];
 105 }
 106
 107 extern "C" __global__ void __launch_bounds__ (256, 1) C_markov (comb_t *pws_buf, cs_t *root_css_buf, cs_t *markov_css_buf, const u64 off, const u32 pw_len, const u32 mask80, const u32 bits14, const u32 bits15, const u32 gid_max)
 108 {
 109   const u32 gid  = (blockIdx.x * blockDim.x) + threadIdx.x;
 110
 111   if (gid >= gid_max) return;
 112
 113   const u32 gid2 = gid * 2;
 114
 115   u32 pw_buf[16];
 116
 117   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_len, 0, mask80, bits14, bits15, off + gid2 + 0);
 118
 119   pws_buf[gid2 + 0].i[ 0] = pw_buf[ 0];
 120   pws_buf[gid2 + 0].i[ 1] = pw_buf[ 1];
 121   pws_buf[gid2 + 0].i[ 2] = pw_buf[ 2];
 122   pws_buf[gid2 + 0].i[ 3] = pw_buf[ 3];
 123   pws_buf[gid2 + 0].i[ 4] = pw_buf[ 4];
 124   pws_buf[gid2 + 0].i[ 5] = pw_buf[ 5];
 125   pws_buf[gid2 + 0].i[ 6] = pw_buf[ 6];
 126   pws_buf[gid2 + 0].i[ 7] = pw_buf[ 7];
 127
 128   pws_buf[gid2 + 0].pw_len = pw_len;
 129
 130   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_len, 0, mask80, bits14, bits15, off + gid2 + 1);
 131
 132   pws_buf[gid2 + 1].i[ 0] = pw_buf[ 0];
 133   pws_buf[gid2 + 1].i[ 1] = pw_buf[ 1];
 134   pws_buf[gid2 + 1].i[ 2] = pw_buf[ 2];
 135   pws_buf[gid2 + 1].i[ 3] = pw_buf[ 3];
 136   pws_buf[gid2 + 1].i[ 4] = pw_buf[ 4];
 137   pws_buf[gid2 + 1].i[ 5] = pw_buf[ 5];
 138   pws_buf[gid2 + 1].i[ 6] = pw_buf[ 6];
 139   pws_buf[gid2 + 1].i[ 7] = pw_buf[ 7];
 140
 141   pws_buf[gid2 + 1].pw_len = pw_len;
 142 }