Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
dccfea5110309f673f363eae13b74400a8de8376
[simgrid.git] / src / smpi / mpi / smpi_file.cpp
1 /* Copyright (c) 2007-2019. The SimGrid Team. All rights reserved.          */\r
2 \r
3 /* This program is free software; you can redistribute it and/or modify it\r
4  * under the terms of the license (GNU LGPL) which comes with this package. */\r
5 #include "private.hpp"\r
6 \r
7 #include "smpi_comm.hpp"\r
8 #include "smpi_coll.hpp"\r
9 #include "smpi_datatype.hpp"\r
10 #include "smpi_info.hpp"\r
11 #include "smpi_win.hpp"\r
12 #include "smpi_file.hpp"\r
13 #include "smpi_status.hpp"\r
14 #include "simgrid/plugins/file_system.h"\r
15 \r
16 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_io, smpi, "Logging specific to SMPI (RMA operations)");\r
17 #define FP_SIZE sizeof(MPI_Offset)\r
18 \r
19 \r
20 namespace simgrid{\r
21 namespace smpi{\r
22 \r
23   File::File(MPI_Comm comm, char *filename, int amode, MPI_Info info): comm_(comm), flags_(amode), info_(info), shared_file_pointer_(0) {\r
24     file_= new simgrid::s4u::File(filename, nullptr);\r
25     list_=nullptr;\r
26     if (comm_->rank() == 0) {\r
27       int size= comm_->size() + FP_SIZE;\r
28       list_ = new char[size];\r
29       memset(list_, 0, size);\r
30       win_=new Win(list_, size, 1, MPI_INFO_NULL, comm_);\r
31     }else{\r
32       win_=new Win(list_, 0, 1, MPI_INFO_NULL, comm_);\r
33     }\r
34   }\r
35 \r
36   File::~File(){\r
37     delete file_;\r
38   }\r
39 \r
40   int File::close(MPI_File *fh){\r
41     XBT_DEBUG("Closing MPI_File %s", (*fh)->file_->get_path());\r
42     (*fh)->sync();\r
43     if((*fh)->flags() & MPI_MODE_DELETE_ON_CLOSE)\r
44       (*fh)->file_->unlink();\r
45     delete (*fh);\r
46     return MPI_SUCCESS;\r
47   }\r
48 \r
49   int File::del(char *filename, MPI_Info info){\r
50     //get the file with MPI_MODE_DELETE_ON_CLOSE and then close it\r
51     File* f = new File(MPI_COMM_SELF,filename,MPI_MODE_DELETE_ON_CLOSE|MPI_MODE_RDWR, nullptr);\r
52     close(&f);\r
53     return MPI_SUCCESS;\r
54   }\r
55 \r
56   int File::get_position(MPI_Offset* offset){\r
57     *offset=file_->tell();\r
58     return MPI_SUCCESS;\r
59   }\r
60 \r
61   int File::get_position_shared(MPI_Offset* offset){\r
62     lock();\r
63     *offset=shared_file_pointer_;\r
64     unlock();\r
65     return MPI_SUCCESS;\r
66   }\r
67 \r
68   int File::seek(MPI_Offset offset, int whence){\r
69     switch(whence){\r
70       case(MPI_SEEK_SET):\r
71         XBT_DEBUG("Seeking in MPI_File %s, setting offset %lld", file_->get_path(), offset);\r
72         file_->seek(offset,SEEK_SET);\r
73         break;\r
74       case(MPI_SEEK_CUR):\r
75         XBT_DEBUG("Seeking in MPI_File %s, current offset + %lld", file_->get_path(), offset);\r
76         file_->seek(offset,SEEK_CUR);\r
77         break;\r
78       case(MPI_SEEK_END):\r
79         XBT_DEBUG("Seeking in MPI_File %s, end offset + %lld", file_->get_path(), offset);\r
80         file_->seek(offset,SEEK_END);\r
81         break;\r
82       default:\r
83         return MPI_ERR_FILE;\r
84     }\r
85     return MPI_SUCCESS;\r
86   }\r
87 \r
88   int File::seek_shared(MPI_Offset offset, int whence){\r
89     lock();\r
90     seek(offset,whence);\r
91     shared_file_pointer_=file_->tell();\r
92     unlock();\r
93     return MPI_SUCCESS;\r
94   }\r
95 \r
96   int File::read(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status){\r
97     //get position first as we may be doing non contiguous reads and it will probably be updated badly\r
98     MPI_Offset position = fh->file_->tell();\r
99     MPI_Offset movesize = datatype->get_extent()*count;\r
100     MPI_Offset readsize = datatype->size()*count;\r
101     XBT_DEBUG("Position before read in MPI_File %s : %llu",fh->file_->get_path(),fh->file_->tell());\r
102     MPI_Offset read = fh->file_->read(readsize);\r
103     XBT_VERB("Read in MPI_File %s, %lld bytes read, readsize %lld bytes, movesize %lld", fh->file_->get_path(), read, readsize, movesize);\r
104     if(readsize!=movesize){\r
105       fh->file_->seek(position+movesize, SEEK_SET);\r
106     }\r
107     XBT_VERB("Position after read in MPI_File %s : %llu",fh->file_->get_path(), fh->file_->tell());\r
108     status->count=count*datatype->size();\r
109     return MPI_SUCCESS;\r
110   }\r
111 \r
112   /*Ordered and Shared Versions, with RMA-based locks : Based on the model described in :*/\r
113   /* @InProceedings{10.1007/11557265_15,*/\r
114   /* author="Latham, Robert and Ross, Robert and Thakur, Rajeev and Toonen, Brian",*/ \r
115   /* title="Implementing MPI-IO Shared File Pointers Without File System Support",*/\r
116   /* booktitle="Recent Advances in Parallel Virtual Machine and Message Passing Interface",*/\r
117   /* year="2005",*/\r
118   /* publisher="Springer Berlin Heidelberg",*/\r
119   /* address="Berlin, Heidelberg",*/\r
120   /* pages="84--93"*/\r
121   /* }*/\r
122   int File::read_shared(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status){\r
123     fh->lock();\r
124     fh->seek(fh->shared_file_pointer_,MPI_SEEK_SET);\r
125     read(fh, buf, count, datatype, status);\r
126     fh->shared_file_pointer_=fh->file_->tell();\r
127     fh->unlock();\r
128     return MPI_SUCCESS;\r
129   }\r
130 \r
131   int File::read_ordered(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status){\r
132     //0 needs to get the shared pointer value\r
133     if(fh->comm_->rank()==0){\r
134       fh->lock();\r
135       fh->unlock();\r
136     }else{\r
137       fh->shared_file_pointer_=count*datatype->size();\r
138     }\r
139     MPI_Offset result;\r
140     simgrid::smpi::Colls::scan(&(fh->shared_file_pointer_), &result, 1, MPI_OFFSET, MPI_SUM, fh->comm_);\r
141     fh->seek(result, MPI_SEEK_SET);\r
142     int ret = fh->op_all<simgrid::smpi::File::read>(buf, count, datatype, status);\r
143     if(fh->comm_->rank()==fh->comm_->size()-1){\r
144       fh->lock();\r
145       fh->unlock();\r
146     }\r
147     char c;\r
148     simgrid::smpi::Colls::bcast(&c, 1, MPI_BYTE, fh->comm_->size()-1, fh->comm_);\r
149     return ret;\r
150   }\r
151 \r
152   int File::write(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status){\r
153     //get position first as we may be doing non contiguous reads and it will probably be updated badly\r
154     MPI_Offset position = fh->file_->tell();\r
155     MPI_Offset movesize = datatype->get_extent()*count;\r
156     MPI_Offset writesize = datatype->size()*count;\r
157     XBT_DEBUG("Position before write in MPI_File %s : %llu",fh->file_->get_path(),fh->file_->tell());\r
158     MPI_Offset write = fh->file_->write(writesize);\r
159     XBT_VERB("Write in MPI_File %s, %lld bytes read, readsize %lld bytes, movesize %lld", fh->file_->get_path(), write, writesize, movesize);\r
160     if(writesize!=movesize){\r
161       fh->file_->seek(position+movesize, SEEK_SET);\r
162     }\r
163     XBT_VERB("Position after write in MPI_File %s : %llu",fh->file_->get_path(), fh->file_->tell());\r
164     status->count=count*datatype->size();\r
165     return MPI_SUCCESS;\r
166   }\r
167 \r
168   int File::write_shared(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status){\r
169     fh->lock();\r
170     fh->seek(fh->shared_file_pointer_,MPI_SEEK_SET);\r
171     write(fh, buf, count, datatype, status);\r
172     fh->shared_file_pointer_=fh->file_->tell();\r
173     fh->unlock();\r
174     return MPI_SUCCESS;\r
175   }\r
176 \r
177   int File::write_ordered(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status){\r
178     //0 needs to get the shared pointer value\r
179     if(fh->comm_->rank()==0){\r
180       fh->lock();\r
181       fh->unlock();\r
182     }else{\r
183       fh->shared_file_pointer_=count*datatype->size();\r
184     }\r
185     MPI_Offset result;\r
186     simgrid::smpi::Colls::scan(&(fh->shared_file_pointer_), &result, 1, MPI_OFFSET, MPI_SUM, fh->comm_);\r
187     fh->seek(result, MPI_SEEK_SET);\r
188     int ret = fh->op_all<simgrid::smpi::File::write>(buf, count, datatype, status);\r
189     if(fh->comm_->rank()==fh->comm_->size()-1){\r
190       fh->lock();\r
191       fh->unlock();\r
192     }\r
193     char c;\r
194     simgrid::smpi::Colls::bcast(&c, 1, MPI_BYTE, fh->comm_->size()-1, fh->comm_);\r
195     return ret;\r
196   }\r
197 \r
198   int File::size(){\r
199     return file_->size();\r
200   }\r
201 \r
202   int File::flags(){\r
203     return flags_;\r
204   }\r
205 \r
206   int File::sync(){\r
207     //no idea\r
208     return simgrid::smpi::Colls::barrier(comm_);\r
209   }\r
210 \r
211   int File::lock()\r
212 {\r
213   int rank = comm_->rank();\r
214   int size = comm_->size();\r
215   char waitlist[size];\r
216   char lock = 1;\r
217   int tag=444;\r
218   int i;\r
219   win_->lock(MPI_LOCK_EXCLUSIVE, 0, 0);\r
220   win_->put(&lock, 1, MPI_CHAR, 0, FP_SIZE+rank, 1, MPI_CHAR);\r
221   win_->get(waitlist, size, MPI_CHAR, 0, FP_SIZE, size, MPI_CHAR);\r
222   win_->get(&shared_file_pointer_ , 1 , MPI_OFFSET , 0 , 0, 1, MPI_OFFSET);\r
223   win_->unlock(0);\r
224   for (i = 0; i < size; i++) {\r
225     if (waitlist[i] == 1 && i != rank) {\r
226       // wait for the lock\r
227       MPI_Recv(&lock, 1, MPI_CHAR, MPI_ANY_SOURCE, tag, comm_, MPI_STATUS_IGNORE);\r
228       break;\r
229     }\r
230   }\r
231   return 0;\r
232 }\r
233 \r
234 int File::unlock()\r
235 {\r
236   int rank = comm_->rank();\r
237   int size = comm_->size();\r
238   char waitlist[size];\r
239   char lock = 0;\r
240   int tag=444;\r
241   int i, next;\r
242   win_->lock(MPI_LOCK_EXCLUSIVE, 0, 0);\r
243   win_->put(&lock, 1, MPI_CHAR, 0, FP_SIZE+rank, 1, MPI_CHAR);\r
244   win_->get(waitlist, size, MPI_CHAR, 0, FP_SIZE, size, MPI_CHAR);\r
245   shared_file_pointer_=file_->tell();\r
246   win_->put(&shared_file_pointer_, 1 , MPI_OFFSET , 0 , 0, 1, MPI_OFFSET);\r
247 \r
248   win_->unlock(0);\r
249   next = (rank + 1 + size) % size;\r
250   for (i = 0; i < size; i++, next = (next + 1) % size) {\r
251     if (waitlist[next] == 1) {\r
252       MPI_Send(&lock, 1, MPI_CHAR, next, tag, comm_);\r
253       break;\r
254     }\r
255   }\r
256   return 0;\r
257 }\r
258 \r
259 MPI_Info File::info(){\r
260   if(info_== MPI_INFO_NULL)\r
261     info_ = new Info();\r
262   info_->ref();\r
263   return info_;\r
264 }\r
265 \r
266 void File::set_info(MPI_Info info){\r
267   if(info_!= MPI_INFO_NULL)\r
268     info->ref();\r
269   info_=info;\r
270 }\r
271 \r
272 }\r
273 }\r