Need to call atomKK version of sync/modified in Kokkos atom_vec styles (a0bc6195) · Commits · 郑智淋 / lammps

src/KOKKOS/atom_vec_angle_kokkos.cpp

+22 −22

Original line number	Diff line number	Diff line
		@@ -66,8 +66,8 @@ void AtomVecAngleKokkos::grow(int n)
		if (nmax < 0 \|\| nmax > MAXSMALLINT)
		error->one(FLERR,"Per-processor system is too big");

		sync(Device,ALL_MASK);
		modified(Device,ALL_MASK);
		atomKK->sync(Device,ALL_MASK);
		atomKK->modified(Device,ALL_MASK);

		memoryKK->grow_kokkos(atomKK->k_tag,atomKK->tag,nmax,"atom:tag");
		memoryKK->grow_kokkos(atomKK->k_type,atomKK->type,nmax,"atom:type");
		@@ -99,7 +99,7 @@ void AtomVecAngleKokkos::grow(int n)
		"atom:angle_atom3");

		grow_reset();
		sync(Host,ALL_MASK);
		atomKK->sync(Host,ALL_MASK);

		if (atom->nextra_grow)
		for (int iextra = 0; iextra < atom->nextra_grow; iextra++)
		@@ -283,7 +283,7 @@ int AtomVecAngleKokkos::pack_comm_kokkos(const int &n,
		// Choose correct forward PackComm kernel

		if(commKK->forward_comm_on_host) {
		sync(Host,X_MASK);
		atomKK->sync(Host,X_MASK);
		if(pbc_flag) {
		if(domain->triclinic) {
		struct AtomVecAngleKokkos_PackComm<LMPHostType,1,1> f(atomKK->k_x,buf,list,iswap,
		@@ -310,7 +310,7 @@ int AtomVecAngleKokkos::pack_comm_kokkos(const int &n,
		}
		}
		} else {
		sync(Device,X_MASK);
		atomKK->sync(Device,X_MASK);
		if(pbc_flag) {
		if(domain->triclinic) {
		struct AtomVecAngleKokkos_PackComm<LMPDeviceType,1,1> f(atomKK->k_x,buf,list,iswap,
		@@ -398,8 +398,8 @@ int AtomVecAngleKokkos::pack_comm_self(const int &n, const DAT::tdual_int_2d &li
		const int nfirst, const int &pbc_flag,
		const int* const pbc) {
		if(commKK->forward_comm_on_host) {
		sync(Host,X_MASK);
		modified(Host,X_MASK);
		atomKK->sync(Host,X_MASK);
		atomKK->modified(Host,X_MASK);
		if(pbc_flag) {
		if(domain->triclinic) {
		struct AtomVecAngleKokkos_PackCommSelf<LMPHostType,1,1>
		@@ -430,8 +430,8 @@ int AtomVecAngleKokkos::pack_comm_self(const int &n, const DAT::tdual_int_2d &li
		}
		}
		} else {
		sync(Device,X_MASK);
		modified(Device,X_MASK);
		atomKK->sync(Device,X_MASK);
		atomKK->modified(Device,X_MASK);
		if(pbc_flag) {
		if(domain->triclinic) {
		struct AtomVecAngleKokkos_PackCommSelf<LMPDeviceType,1,1>
		@@ -494,13 +494,13 @@ struct AtomVecAngleKokkos_UnpackComm {
		void AtomVecAngleKokkos::unpack_comm_kokkos(const int &n, const int &first,
		const DAT::tdual_xfloat_2d &buf ) {
		if(commKK->forward_comm_on_host) {
		sync(Host,X_MASK);
		modified(Host,X_MASK);
		atomKK->sync(Host,X_MASK);
		atomKK->modified(Host,X_MASK);
		struct AtomVecAngleKokkos_UnpackComm<LMPHostType> f(atomKK->k_x,buf,first);
		Kokkos::parallel_for(n,f);
		} else {
		sync(Device,X_MASK);
		modified(Device,X_MASK);
		atomKK->sync(Device,X_MASK);
		atomKK->modified(Device,X_MASK);
		struct AtomVecAngleKokkos_UnpackComm<LMPDeviceType> f(atomKK->k_x,buf,first);
		Kokkos::parallel_for(n,f);
		}
		@@ -643,7 +643,7 @@ void AtomVecAngleKokkos::unpack_comm_vel(int n, int first, double *buf)
		int AtomVecAngleKokkos::pack_reverse(int n, int first, double *buf)
		{
		if(n > 0)
		sync(Host,F_MASK);
		atomKK->sync(Host,F_MASK);

		int m = 0;
		const int last = first + n;
		@@ -660,7 +660,7 @@ int AtomVecAngleKokkos::pack_reverse(int n, int first, double *buf)
		void AtomVecAngleKokkos::unpack_reverse(int n, int list, double buf)
		{
		if(n > 0)
		modified(Host,F_MASK);
		atomKK->modified(Host,F_MASK);

		int m = 0;
		for (int i = 0; i < n; i++) {
		@@ -961,9 +961,9 @@ struct AtomVecAngleKokkos_UnpackBorder {
		void AtomVecAngleKokkos::unpack_border_kokkos(const int &n, const int &first,
		const DAT::tdual_xfloat_2d &buf,
		ExecutionSpace space) {
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		while (first+n >= nmax) grow(0);
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		if(space==Host) {
		struct AtomVecAngleKokkos_UnpackBorder<LMPHostType>
		f(buf.view<LMPHostType>(),h_x,h_tag,h_type,h_mask,h_molecule,first);
		@@ -985,7 +985,7 @@ void AtomVecAngleKokkos::unpack_border(int n, int first, double *buf)
		last = first + n;
		for (i = first; i < last; i++) {
		if (i == nmax) grow(0);
		modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		atomKK->modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		h_x(i,0) = buf[m++];
		h_x(i,1) = buf[m++];
		h_x(i,2) = buf[m++];
		@@ -1011,7 +1011,7 @@ void AtomVecAngleKokkos::unpack_border_vel(int n, int first, double *buf)
		last = first + n;
		for (i = first; i < last; i++) {
		if (i == nmax) grow(0);
		modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		atomKK->modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		h_x(i,0) = buf[m++];
		h_x(i,1) = buf[m++];
		h_x(i,2) = buf[m++];
		@@ -1413,7 +1413,7 @@ int AtomVecAngleKokkos::unpack_exchange(double *buf)
		{
		int nlocal = atom->nlocal;
		if (nlocal == nmax) grow(0);
		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| MOLECULE_MASK \| BOND_MASK \|
		ANGLE_MASK \| SPECIAL_MASK);

		@@ -1488,7 +1488,7 @@ int AtomVecAngleKokkos::size_restart()

		int AtomVecAngleKokkos::pack_restart(int i, double *buf)
		{
		sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| MOLECULE_MASK \| BOND_MASK \|
		ANGLE_MASK \| SPECIAL_MASK);

		@@ -1542,7 +1542,7 @@ int AtomVecAngleKokkos::unpack_restart(double *buf)
		if (atom->nextra_store)
		memory->grow(atom->extra,nmax,atom->nextra_store,"atom:extra");
		}
		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| MOLECULE_MASK \| BOND_MASK \|
		ANGLE_MASK \| SPECIAL_MASK);

src/KOKKOS/atom_vec_atomic_kokkos.cpp

+10 −10

Original line number	Diff line number	Diff line
		@@ -62,8 +62,8 @@ void AtomVecAtomicKokkos::grow(int n)
		if (nmax < 0 \|\| nmax > MAXSMALLINT)
		error->one(FLERR,"Per-processor system is too big");

		sync(Device,ALL_MASK);
		modified(Device,ALL_MASK);
		atomKK->sync(Device,ALL_MASK);
		atomKK->modified(Device,ALL_MASK);

		memoryKK->grow_kokkos(atomKK->k_tag,atomKK->tag,nmax,"atom:tag");
		memoryKK->grow_kokkos(atomKK->k_type,atomKK->type,nmax,"atom:type");
		@@ -75,7 +75,7 @@ void AtomVecAtomicKokkos::grow(int n)
		memoryKK->grow_kokkos(atomKK->k_f,atomKK->f,nmax,3,"atom:f");

		grow_reset();
		sync(Host,ALL_MASK);
		atomKK->sync(Host,ALL_MASK);

		if (atom->nextra_grow)
		for (int iextra = 0; iextra < atom->nextra_grow; iextra++)
		@@ -394,9 +394,9 @@ struct AtomVecAtomicKokkos_UnpackBorder {

		void AtomVecAtomicKokkos::unpack_border_kokkos(const int &n, const int &first,
		const DAT::tdual_xfloat_2d &buf,ExecutionSpace space) {
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK);
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK);
		while (first+n >= nmax) grow(0);
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK);
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK);
		if(space==Host) {
		struct AtomVecAtomicKokkos_UnpackBorder<LMPHostType> f(buf.view<LMPHostType>(),h_x,h_tag,h_type,h_mask,first);
		Kokkos::parallel_for(n,f);
		@@ -416,7 +416,7 @@ void AtomVecAtomicKokkos::unpack_border(int n, int first, double *buf)
		last = first + n;
		for (i = first; i < last; i++) {
		if (i == nmax) grow(0);
		modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK);
		atomKK->modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK);
		h_x(i,0) = buf[m++];
		h_x(i,1) = buf[m++];
		h_x(i,2) = buf[m++];
		@@ -441,7 +441,7 @@ void AtomVecAtomicKokkos::unpack_border_vel(int n, int first, double *buf)
		last = first + n;
		for (i = first; i < last; i++) {
		if (i == nmax) grow(0);
		modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK);
		atomKK->modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK);
		h_x(i,0) = buf[m++];
		h_x(i,1) = buf[m++];
		h_x(i,2) = buf[m++];
		@@ -669,7 +669,7 @@ int AtomVecAtomicKokkos::unpack_exchange(double *buf)
		{
		int nlocal = atom->nlocal;
		if (nlocal == nmax) grow(0);
		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK);

		int m = 1;
		@@ -721,7 +721,7 @@ int AtomVecAtomicKokkos::size_restart()

		int AtomVecAtomicKokkos::pack_restart(int i, double *buf)
		{
		sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK );

		int m = 1;
		@@ -756,7 +756,7 @@ int AtomVecAtomicKokkos::unpack_restart(double *buf)
		if (atom->nextra_store)
		memory->grow(atom->extra,nmax,atom->nextra_store,"atom:extra");
		}
		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK );

		int m = 1;

src/KOKKOS/atom_vec_bond_kokkos.cpp

+10 −10

Original line number	Diff line number	Diff line
		@@ -65,8 +65,8 @@ void AtomVecBondKokkos::grow(int n)
		if (nmax < 0 \|\| nmax > MAXSMALLINT)
		error->one(FLERR,"Per-processor system is too big");

		sync(Device,ALL_MASK);
		modified(Device,ALL_MASK);
		atomKK->sync(Device,ALL_MASK);
		atomKK->modified(Device,ALL_MASK);

		memoryKK->grow_kokkos(atomKK->k_tag,atomKK->tag,nmax,"atom:tag");
		memoryKK->grow_kokkos(atomKK->k_type,atomKK->type,nmax,"atom:type");
		@@ -85,7 +85,7 @@ void AtomVecBondKokkos::grow(int n)
		memoryKK->grow_kokkos(atomKK->k_bond_atom,atomKK->bond_atom,nmax,atomKK->bond_per_atom,"atom:bond_atom");

		grow_reset();
		sync(Host,ALL_MASK);
		atomKK->sync(Host,ALL_MASK);

		if (atom->nextra_grow)
		for (int iextra = 0; iextra < atomKK->nextra_grow; iextra++)
		@@ -469,9 +469,9 @@ struct AtomVecBondKokkos_UnpackBorder {
		void AtomVecBondKokkos::unpack_border_kokkos(const int &n, const int &first,
		const DAT::tdual_xfloat_2d &buf,
		ExecutionSpace space) {
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		while (first+n >= nmax) grow(0);
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		if(space==Host) {
		struct AtomVecBondKokkos_UnpackBorder<LMPHostType>
		f(buf.view<LMPHostType>(),h_x,h_tag,h_type,h_mask,h_molecule,first);
		@@ -493,7 +493,7 @@ void AtomVecBondKokkos::unpack_border(int n, int first, double *buf)
		last = first + n;
		for (i = first; i < last; i++) {
		if (i == nmax) grow(0);
		modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		atomKK->modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		h_x(i,0) = buf[m++];
		h_x(i,1) = buf[m++];
		h_x(i,2) = buf[m++];
		@@ -519,7 +519,7 @@ void AtomVecBondKokkos::unpack_border_vel(int n, int first, double *buf)
		last = first + n;
		for (i = first; i < last; i++) {
		if (i == nmax) grow(0);
		modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		atomKK->modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|MOLECULE_MASK);
		h_x(i,0) = buf[m++];
		h_x(i,1) = buf[m++];
		h_x(i,2) = buf[m++];
		@@ -867,7 +867,7 @@ int AtomVecBondKokkos::unpack_exchange(double *buf)
		{
		int nlocal = atom->nlocal;
		if (nlocal == nmax) grow(0);
		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| MOLECULE_MASK \| BOND_MASK \| SPECIAL_MASK);

		int k;
		@@ -935,7 +935,7 @@ int AtomVecBondKokkos::size_restart()

		int AtomVecBondKokkos::pack_restart(int i, double *buf)
		{
		sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| MOLECULE_MASK \| BOND_MASK \| SPECIAL_MASK);
		int m = 1;
		buf[m++] = h_x(i,0);
		@@ -979,7 +979,7 @@ int AtomVecBondKokkos::unpack_restart(double *buf)
		if (atom->nextra_store)
		memory->grow(atom->extra,nmax,atom->nextra_store,"atom:extra");
		}
		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| MOLECULE_MASK \| BOND_MASK \| SPECIAL_MASK);
		int m = 1;
		h_x(nlocal,0) = buf[m++];

src/KOKKOS/atom_vec_charge_kokkos.cpp

+9 −9

Original line number	Diff line number	Diff line
		@@ -65,8 +65,8 @@ void AtomVecChargeKokkos::grow(int n)
		if (nmax < 0 \|\| nmax > MAXSMALLINT)
		error->one(FLERR,"Per-processor system is too big");

		sync(Device,ALL_MASK);
		modified(Device,ALL_MASK);
		atomKK->sync(Device,ALL_MASK);
		atomKK->modified(Device,ALL_MASK);

		memoryKK->grow_kokkos(atomKK->k_tag,atomKK->tag,nmax,"atom:tag");
		memoryKK->grow_kokkos(atomKK->k_type,atomKK->type,nmax,"atom:type");
		@@ -80,7 +80,7 @@ void AtomVecChargeKokkos::grow(int n)
		memoryKK->grow_kokkos(atomKK->k_q,atomKK->q,nmax,"atom:q");

		grow_reset();
		sync(Host,ALL_MASK);
		atomKK->sync(Host,ALL_MASK);

		if (atom->nextra_grow)
		for (int iextra = 0; iextra < atom->nextra_grow; iextra++)
		@@ -495,7 +495,7 @@ void AtomVecChargeKokkos::unpack_border_kokkos(const int &n, const int &first,
		f(buf.view<LMPDeviceType>(),d_x,d_tag,d_type,d_mask,d_q,first);
		Kokkos::parallel_for(n,f);
		}
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|Q_MASK);
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|Q_MASK);
		}

		/* ---------------------------------------------------------------------- */
		@@ -511,7 +511,7 @@ void AtomVecChargeKokkos::unpack_border(int n, int first, double *buf)
		if (i == nmax) {
		grow(0);
		}
		modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|Q_MASK);
		atomKK->modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|Q_MASK);
		h_x(i,0) = buf[m++];
		h_x(i,1) = buf[m++];
		h_x(i,2) = buf[m++];
		@@ -537,7 +537,7 @@ void AtomVecChargeKokkos::unpack_border_vel(int n, int first, double *buf)
		last = first + n;
		for (i = first; i < last; i++) {
		if (i == nmax) grow(0);
		modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|Q_MASK);
		atomKK->modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|Q_MASK);
		h_x(i,0) = buf[m++];
		h_x(i,1) = buf[m++];
		h_x(i,2) = buf[m++];
		@@ -798,7 +798,7 @@ int AtomVecChargeKokkos::unpack_exchange(double *buf)
		{
		int nlocal = atom->nlocal;
		if (nlocal == nmax) grow(0);
		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| Q_MASK);

		int m = 1;
		@@ -851,7 +851,7 @@ int AtomVecChargeKokkos::size_restart()

		int AtomVecChargeKokkos::pack_restart(int i, double *buf)
		{
		sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| Q_MASK);

		int m = 1;
		@@ -889,7 +889,7 @@ int AtomVecChargeKokkos::unpack_restart(double *buf)
		memory->grow(atom->extra,nmax,atom->nextra_store,"atom:extra");
		}

		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| Q_MASK);

		int m = 1;

src/KOKKOS/atom_vec_dpd_kokkos.cpp

+39 −39

Original line number	Diff line number	Diff line
		@@ -67,8 +67,8 @@ void AtomVecDPDKokkos::grow(int n)
		if (nmax < 0 \|\| nmax > MAXSMALLINT)
		error->one(FLERR,"Per-processor system is too big");

		sync(Device,ALL_MASK);
		modified(Device,ALL_MASK);
		atomKK->sync(Device,ALL_MASK);
		atomKK->modified(Device,ALL_MASK);

		memoryKK->grow_kokkos(atomKK->k_tag,atomKK->tag,nmax,"atom:tag");
		memoryKK->grow_kokkos(atomKK->k_type,atomKK->type,nmax,"atom:type");
		@@ -94,7 +94,7 @@ void AtomVecDPDKokkos::grow(int n)
		modify->fix[atom->extra_grow[iextra]]->grow_arrays(nmax);

		grow_reset();
		sync(Host,ALL_MASK);
		atomKK->sync(Host,ALL_MASK);
		}

		/* ----------------------------------------------------------------------
		@@ -159,7 +159,7 @@ void AtomVecDPDKokkos::grow_reset()

		void AtomVecDPDKokkos::copy(int i, int j, int delflag)
		{
		sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| DPDTHETA_MASK \|
		UCG_MASK \| UCGNEW_MASK \|
		UCOND_MASK \| UMECH_MASK \| UCHEM_MASK \| DVECTOR_MASK);
		@@ -185,7 +185,7 @@ void AtomVecDPDKokkos::copy(int i, int j, int delflag)
		for (int iextra = 0; iextra < atom->nextra_grow; iextra++)
		modify->fix[atom->extra_grow[iextra]]->copy_arrays(i,j,delflag);

		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| DPDTHETA_MASK \|
		UCG_MASK \| UCGNEW_MASK \|
		UCOND_MASK \| UMECH_MASK \| UCHEM_MASK \| DVECTOR_MASK);
		@@ -269,7 +269,7 @@ int AtomVecDPDKokkos::pack_comm_kokkos(const int &n,
		// Choose correct forward PackComm kernel

		if(commKK->forward_comm_on_host) {
		sync(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->sync(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		if(pbc_flag) {
		if(domain->triclinic) {
		struct AtomVecDPDKokkos_PackComm<LMPHostType,1,1> f(atomKK->k_x,
		@@ -304,7 +304,7 @@ int AtomVecDPDKokkos::pack_comm_kokkos(const int &n,
		}
		}
		} else {
		sync(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->sync(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		if(pbc_flag) {
		if(domain->triclinic) {
		struct AtomVecDPDKokkos_PackComm<LMPDeviceType,1,1> f(atomKK->k_x,
		@@ -411,8 +411,8 @@ struct AtomVecDPDKokkos_PackCommSelf {
		int AtomVecDPDKokkos::pack_comm_self(const int &n, const DAT::tdual_int_2d &list, const int & iswap,
		const int nfirst, const int &pbc_flag, const int* const pbc) {
		if(commKK->forward_comm_on_host) {
		sync(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		modified(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->sync(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->modified(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		if(pbc_flag) {
		if(domain->triclinic) {
		struct AtomVecDPDKokkos_PackCommSelf<LMPHostType,1,1> f(atomKK->k_x,
		@@ -447,8 +447,8 @@ int AtomVecDPDKokkos::pack_comm_self(const int &n, const DAT::tdual_int_2d &list
		}
		}
		} else {
		sync(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		modified(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->sync(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->modified(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		if(pbc_flag) {
		if(domain->triclinic) {
		struct AtomVecDPDKokkos_PackCommSelf<LMPDeviceType,1,1> f(atomKK->k_x,
		@@ -529,15 +529,15 @@ struct AtomVecDPDKokkos_UnpackComm {
		void AtomVecDPDKokkos::unpack_comm_kokkos(const int &n, const int &first,
		const DAT::tdual_xfloat_2d &buf ) {
		if(commKK->forward_comm_on_host) {
		sync(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		modified(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->sync(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->modified(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		struct AtomVecDPDKokkos_UnpackComm<LMPHostType> f(atomKK->k_x,
		atomKK->k_dpdTheta,atomKK->k_uCond,atomKK->k_uMech,atomKK->k_uChem,
		buf,first);
		Kokkos::parallel_for(n,f);
		} else {
		sync(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		modified(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->sync(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->modified(Device,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		struct AtomVecDPDKokkos_UnpackComm<LMPDeviceType> f(atomKK->k_x,
		atomKK->k_dpdTheta,atomKK->k_uCond,atomKK->k_uMech,atomKK->k_uChem,
		buf,first);
		@@ -553,7 +553,7 @@ int AtomVecDPDKokkos::pack_comm(int n, int list, double buf,
		int i,j,m;
		double dx,dy,dz;

		sync(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->sync(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);

		m = 0;
		if (pbc_flag == 0) {
		@@ -599,7 +599,7 @@ int AtomVecDPDKokkos::pack_comm_vel(int n, int list, double buf,
		int i,j,m;
		double dx,dy,dz,dvx,dvy,dvz;

		sync(Host,X_MASK\|V_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->sync(Host,X_MASK\|V_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);

		m = 0;
		if (pbc_flag == 0) {
		@@ -686,7 +686,7 @@ void AtomVecDPDKokkos::unpack_comm(int n, int first, double *buf)
		h_uChem[i] = buf[m++];
		}

		modified(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->modified(Host,X_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		}

		/* ---------------------------------------------------------------------- */
		@@ -710,7 +710,7 @@ void AtomVecDPDKokkos::unpack_comm_vel(int n, int first, double *buf)
		h_uChem[i] = buf[m++];
		}

		modified(Host,X_MASK\|V_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		atomKK->modified(Host,X_MASK\|V_MASK\|DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK);
		}

		/* ---------------------------------------------------------------------- */
		@@ -718,7 +718,7 @@ void AtomVecDPDKokkos::unpack_comm_vel(int n, int first, double *buf)
		int AtomVecDPDKokkos::pack_reverse(int n, int first, double *buf)
		{
		if(n > 0)
		sync(Host,F_MASK);
		atomKK->sync(Host,F_MASK);

		int m = 0;
		const int last = first + n;
		@@ -735,8 +735,8 @@ int AtomVecDPDKokkos::pack_reverse(int n, int first, double *buf)
		void AtomVecDPDKokkos::unpack_reverse(int n, int list, double buf)
		{
		if(n > 0) {
		sync(Host,F_MASK);
		modified(Host,F_MASK);
		atomKK->sync(Host,F_MASK);
		atomKK->modified(Host,F_MASK);
		}

		int m = 0;
		@@ -820,7 +820,7 @@ int AtomVecDPDKokkos::pack_border_kokkos(int n, DAT::tdual_int_2d k_sendlist, DA
		{
		X_FLOAT dx,dy,dz;

		sync(space,ALL_MASK);
		atomKK->sync(space,ALL_MASK);

		if (pbc_flag != 0) {
		if (domain->triclinic == 0) {
		@@ -877,7 +877,7 @@ int AtomVecDPDKokkos::pack_border(int n, int list, double buf,
		int i,j,m;
		double dx,dy,dz;

		sync(Host,ALL_MASK);
		atomKK->sync(Host,ALL_MASK);

		m = 0;
		if (pbc_flag == 0) {
		@@ -938,7 +938,7 @@ int AtomVecDPDKokkos::pack_border_vel(int n, int list, double buf,
		int i,j,m;
		double dx,dy,dz,dvx,dvy,dvz;

		sync(Host,ALL_MASK);
		atomKK->sync(Host,ALL_MASK);

		m = 0;
		if (pbc_flag == 0) {
		@@ -1033,7 +1033,7 @@ int AtomVecDPDKokkos::pack_comm_hybrid(int n, int list, double buf)
		{
		int i,j,m;

		sync(Host,DPDTHETA_MASK \| UCOND_MASK \|
		atomKK->sync(Host,DPDTHETA_MASK \| UCOND_MASK \|
		UMECH_MASK \| UCHEM_MASK);

		m = 0;
		@@ -1053,7 +1053,7 @@ int AtomVecDPDKokkos::pack_border_hybrid(int n, int list, double buf)
		{
		int i,j,m;

		sync(Host,DPDTHETA_MASK \| UCOND_MASK \|
		atomKK->sync(Host,DPDTHETA_MASK \| UCOND_MASK \|
		UMECH_MASK \| UCHEM_MASK \| UCG_MASK \| UCGNEW_MASK);

		m = 0;
		@@ -1128,11 +1128,11 @@ struct AtomVecDPDKokkos_UnpackBorder {

		void AtomVecDPDKokkos::unpack_border_kokkos(const int &n, const int &first,
		const DAT::tdual_xfloat_2d &buf,ExecutionSpace space) {
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|
		DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK\|
		UCG_MASK\|UCGNEW_MASK);
		while (first+n >= nmax) grow(0);
		modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|
		atomKK->modified(space,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|
		DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK\|
		UCG_MASK\|UCGNEW_MASK\|DVECTOR_MASK);
		if(space==Host) {
		@@ -1180,7 +1180,7 @@ void AtomVecDPDKokkos::unpack_border(int n, int first, double *buf)
		m += modify->fix[atom->extra_border[iextra]]->
		unpack_border(n,first,&buf[m]);

		modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|
		atomKK->modified(Host,X_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|
		DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK\|
		UCG_MASK\|UCGNEW_MASK\|DVECTOR_MASK);
		}
		@@ -1218,7 +1218,7 @@ void AtomVecDPDKokkos::unpack_border_vel(int n, int first, double *buf)
		m += modify->fix[atom->extra_border[iextra]]->
		unpack_border(n,first,&buf[m]);

		modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|
		atomKK->modified(Host,X_MASK\|V_MASK\|TAG_MASK\|TYPE_MASK\|MASK_MASK\|
		DPDTHETA_MASK\|UCOND_MASK\|UMECH_MASK\|UCHEM_MASK\|
		UCG_MASK\|UCGNEW_MASK\|DVECTOR_MASK);
		}
		@@ -1238,7 +1238,7 @@ int AtomVecDPDKokkos::unpack_comm_hybrid(int n, int first, double *buf)
		h_uChem(i) = buf[m++];
		}

		modified(Host,DPDTHETA_MASK \| UCOND_MASK \|
		atomKK->modified(Host,DPDTHETA_MASK \| UCOND_MASK \|
		UMECH_MASK \| UCHEM_MASK );

		return m;
		@@ -1261,7 +1261,7 @@ int AtomVecDPDKokkos::unpack_border_hybrid(int n, int first, double *buf)
		h_uCGnew(i) = buf[m++];
		}

		modified(Host,DPDTHETA_MASK \| UCOND_MASK \|
		atomKK->modified(Host,DPDTHETA_MASK \| UCOND_MASK \|
		UMECH_MASK \| UCHEM_MASK \| UCG_MASK \| UCGNEW_MASK);

		return m;
		@@ -1385,7 +1385,7 @@ int AtomVecDPDKokkos::pack_exchange_kokkos(const int &nsend,DAT::tdual_xfloat_2d
		int newsize = nsend*17/k_buf.view<LMPHostType>().extent(1)+1;
		k_buf.resize(newsize,k_buf.view<LMPHostType>().extent(1));
		}
		sync(space,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->sync(space,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK\| DPDTHETA_MASK \| UCOND_MASK \|
		UMECH_MASK \| UCHEM_MASK \| UCG_MASK \| UCGNEW_MASK \|
		DVECTOR_MASK);
		@@ -1403,7 +1403,7 @@ int AtomVecDPDKokkos::pack_exchange_kokkos(const int &nsend,DAT::tdual_xfloat_2d

		int AtomVecDPDKokkos::pack_exchange(int i, double *buf)
		{
		sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK\| DPDTHETA_MASK \| UCOND_MASK \|
		UMECH_MASK \| UCHEM_MASK \| UCG_MASK \| UCGNEW_MASK \|
		DVECTOR_MASK);
		@@ -1519,7 +1519,7 @@ int AtomVecDPDKokkos::unpack_exchange_kokkos(DAT::tdual_xfloat_2d &k_buf,int nre
		k_count.sync<LMPHostType>();
		}

		modified(space,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(space,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK\| DPDTHETA_MASK \| UCOND_MASK \|
		UMECH_MASK \| UCHEM_MASK \| UCG_MASK \| UCGNEW_MASK \|
		DVECTOR_MASK);
		@@ -1557,7 +1557,7 @@ int AtomVecDPDKokkos::unpack_exchange(double *buf)
		m += modify->fix[atom->extra_grow[iextra]]->
		unpack_exchange(nlocal,&buf[m]);

		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK\| DPDTHETA_MASK \| UCOND_MASK \|
		UMECH_MASK \| UCHEM_MASK \| UCG_MASK \| UCGNEW_MASK \|
		DVECTOR_MASK);
		@@ -1594,7 +1594,7 @@ int AtomVecDPDKokkos::size_restart()

		int AtomVecDPDKokkos::pack_restart(int i, double *buf)
		{
		sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->sync(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| DPDTHETA_MASK \|
		UCOND_MASK \| UMECH_MASK \| UCHEM_MASK \| DVECTOR_MASK);

		@@ -1659,7 +1659,7 @@ int AtomVecDPDKokkos::unpack_restart(double *buf)
		for (int i = 0; i < size; i++) extra[nlocal][i] = buf[m++];
		}

		modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		atomKK->modified(Host,X_MASK \| V_MASK \| TAG_MASK \| TYPE_MASK \|
		MASK_MASK \| IMAGE_MASK \| DPDTHETA_MASK \|
		UCG_MASK \| UCGNEW_MASK \|
		UCOND_MASK \| UMECH_MASK \| UCHEM_MASK \| DVECTOR_MASK);

Admin message