You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-24 - 07:06
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot3.osadl.org (updated Wed Apr 24, 2024 00:46:23)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1916721770,9sleep03217099cyclictest21:00:330
3265921490,3sleep33217999cyclictest23:48:583
1944121300,8sleep23217899cyclictest22:10:262
8255911280,89ptp4l401ktimersoftd/319:07:353
31541210886,10sleep10-21swapper/119:05:421
66422960,5sleep26640-21sendmail_mailtr00:00:302
57698950,64rtkit-daemon9-21ksoftirqd/019:05:240
32171998775,8cyclictest25-21ksoftirqd/100:10:081
32171998774,8cyclictest25-21ksoftirqd/122:00:101
32171998676,7cyclictest25-21ksoftirqd/120:35:101
32171998573,7cyclictest25-21ksoftirqd/120:00:111
251172810,5sleep341-21ksoftirqd/320:05:203
32171997466,4cyclictest25-21ksoftirqd/122:55:051
32179997157,8cyclictest41-21ksoftirqd/323:35:143
32171997032,5cyclictest25-21ksoftirqd/123:25:011
32179996931,7cyclictest41-21ksoftirqd/320:00:013
32179996931,5cyclictest41-21ksoftirqd/320:51:013
32179996733,8cyclictest41-21ksoftirqd/321:09:593
32179996729,5cyclictest41-21ksoftirqd/322:08:213
32171996734,10cyclictest25-21ksoftirqd/120:10:011
32179996659,4cyclictest41-21ksoftirqd/322:55:063
32179996656,5cyclictest41-21ksoftirqd/322:40:143
32179996631,4cyclictest41-21ksoftirqd/320:00:153
32179996630,4cyclictest41-21ksoftirqd/300:33:533
32179996630,10cyclictest41-21ksoftirqd/319:40:013
32179996529,5cyclictest41-21ksoftirqd/323:11:073
32171996534,4cyclictest25-21ksoftirqd/121:05:141
32171996527,8cyclictest25-21ksoftirqd/121:35:111
3217999647,9cyclictest41-21ksoftirqd/323:15:213
3217999647,9cyclictest41-21ksoftirqd/319:40:003
32179996453,6cyclictest41-21ksoftirqd/322:45:113
32179996429,7cyclictest41-21ksoftirqd/320:20:123
32171996456,3cyclictest25-21ksoftirqd/121:55:051
32171996432,5cyclictest25-21ksoftirqd/119:55:251
32171996426,8cyclictest25-21ksoftirqd/120:20:201
32171996426,7cyclictest25-21ksoftirqd/121:26:481
3217999636,10cyclictest41-21ksoftirqd/321:55:013
32179996352,6cyclictest41-21ksoftirqd/319:30:123
32179996331,4cyclictest41-21ksoftirqd/322:30:163
32179996330,9cyclictest41-21ksoftirqd/320:35:133
32171996332,4cyclictest25-21ksoftirqd/121:45:131
32171996325,8cyclictest25-21ksoftirqd/119:35:271
32179996250,6cyclictest41-21ksoftirqd/320:30:093
3217999621,12cyclictest41-21ksoftirqd/322:35:133
32171996232,4cyclictest25-21ksoftirqd/119:43:301
32171996231,4cyclictest25-21ksoftirqd/123:10:001
32171996229,8cyclictest25-21ksoftirqd/122:30:141
3217999615,9cyclictest29495-21cut23:40:283
32179996127,7cyclictest41-21ksoftirqd/300:07:203
32179996126,7cyclictest41-21ksoftirqd/321:25:313
32171996153,4cyclictest25-21ksoftirqd/123:35:061
32171996131,4cyclictest25-21ksoftirqd/123:25:121
32171996130,4cyclictest25-21ksoftirqd/123:50:261
32171996124,7cyclictest25-21ksoftirqd/119:25:001
193322610,4sleep319336-21fschecks_time23:20:163
3217999605,9cyclictest41-21ksoftirqd/323:25:253
3217999605,9cyclictest41-21ksoftirqd/320:40:323
32179996052,4cyclictest41-21ksoftirqd/321:55:043
32179996029,8cyclictest41-21ksoftirqd/323:05:143
32179996025,7cyclictest41-21ksoftirqd/321:40:303
32171996043,4cyclictest25-21ksoftirqd/123:00:191
32171996025,8cyclictest25-21ksoftirqd/122:10:161
32171996024,8cyclictest25-21ksoftirqd/123:15:151
32171996024,7cyclictest25-21ksoftirqd/120:45:121
3217999598,7cyclictest41-21ksoftirqd/321:35:303
3217999597,8cyclictest41-21ksoftirqd/321:30:213
3217999596,10cyclictest41-21ksoftirqd/300:15:183
3217999596,10cyclictest41-21ksoftirqd/300:15:173
32179995927,9cyclictest41-21ksoftirqd/320:45:163
32179995926,9cyclictest41-21ksoftirqd/322:20:123
32179995926,8cyclictest41-21ksoftirqd/323:50:293
32179995924,8cyclictest41-21ksoftirqd/319:15:133
3217199597,7cyclictest25-21ksoftirqd/121:10:141
32171995947,4cyclictest25-21ksoftirqd/123:45:001
32171995945,4cyclictest25-21ksoftirqd/119:25:091
32171995927,9cyclictest25-21ksoftirqd/122:40:271
3217999587,9cyclictest41-21ksoftirqd/321:20:373
3217999587,9cyclictest41-21ksoftirqd/321:20:363
3217999584,8cyclictest41-21ksoftirqd/322:15:133
32179995847,6cyclictest41-21ksoftirqd/300:20:133
32179995824,7cyclictest41-21ksoftirqd/322:10:223
3217999582,10cyclictest41-21ksoftirqd/320:55:113
32171995828,4cyclictest25-21ksoftirqd/119:15:211
32171995827,4cyclictest25-21ksoftirqd/121:00:281
32171995825,8cyclictest25-21ksoftirqd/120:15:291
3217999577,8cyclictest41-21ksoftirqd/300:35:213
3217999577,7cyclictest41-21ksoftirqd/320:25:143
3217999576,4cyclictest1-21systemd19:47:223
3217999574,9cyclictest24443-21turbostat21:15:003
3217999573,10cyclictest41-21ksoftirqd/320:10:123
3217999572,9cyclictest41-21ksoftirqd/319:10:313
3217199576,4cyclictest25-21ksoftirqd/120:40:281
32171995750,4cyclictest25-21ksoftirqd/119:50:141
32171995733,7cyclictest25-21ksoftirqd/100:30:141
312802575,37sleep20-21swapper/219:05:352
3217999565,9cyclictest41-21ksoftirqd/322:50:193
3217999565,5cyclictest41-21ksoftirqd/323:30:153
3217999565,10cyclictest41-21ksoftirqd/320:15:193
3217999563,9cyclictest41-21ksoftirqd/322:25:313
3217199567,7cyclictest10960-21dpkg21:55:001
3217199566,9cyclictest25-21ksoftirqd/123:30:131
32171995629,7cyclictest25-21ksoftirqd/100:15:251
32171995629,7cyclictest25-21ksoftirqd/100:15:251
32171995626,7cyclictest25-21ksoftirqd/121:25:011
32171995626,7cyclictest25-21ksoftirqd/121:25:001
32171995625,4cyclictest25-21ksoftirqd/120:55:261
32171995623,4cyclictest25-21ksoftirqd/122:35:211
32171995621,5cyclictest25-21ksoftirqd/100:20:541
197092560,4sleep233-21ksoftirqd/221:04:132
3217999553,9cyclictest41-21ksoftirqd/323:00:213
3217999553,9cyclictest41-21ksoftirqd/300:25:203
3217999552,9cyclictest41-21ksoftirqd/300:00:153
3217999552,11cyclictest41-21ksoftirqd/321:15:263
3217999552,10cyclictest41-21ksoftirqd/322:00:313
32179995520,9cyclictest41-21ksoftirqd/321:00:173
3217199555,9cyclictest25-21ksoftirqd/121:40:271
32171995535,8cyclictest25-21ksoftirqd/123:45:171
3217999546,5cyclictest41-21ksoftirqd/319:25:063
3217999541,8cyclictest41-21ksoftirqd/321:45:293
3217199545,8cyclictest25-21ksoftirqd/122:50:001
3217199544,4cyclictest25-21ksoftirqd/119:35:001
3217199541,10cyclictest25-21ksoftirqd/122:15:301
3217999533,7cyclictest41-21ksoftirqd/319:50:353
3217999533,5cyclictest41-21ksoftirqd/323:55:353
3217999531,10cyclictest41-21ksoftirqd/300:10:203
3217199537,9cyclictest25-21ksoftirqd/123:10:221
3217199535,4cyclictest25-21ksoftirqd/119:45:151
32171995320,9cyclictest25-21ksoftirqd/100:05:441
32171995320,4cyclictest25-21ksoftirqd/120:52:501
32171995317,8cyclictest25-21ksoftirqd/120:30:261
277842530,2sleep00-21swapper/020:10:240
3217999520,7cyclictest41-21ksoftirqd/319:25:003
3217199526,3cyclictest25-21ksoftirqd/100:25:151
3217199525,3cyclictest25003-21apt22:25:001
3217199523,9cyclictest25-21ksoftirqd/119:10:231
32171995216,7cyclictest25-21ksoftirqd/100:39:291
3217199518,3cyclictest25-21ksoftirqd/121:15:171
32171995121,9cyclictest25-21ksoftirqd/122:50:311
3217199507,8cyclictest25-21ksoftirqd/120:25:101
32171995043,4cyclictest25-21ksoftirqd/122:25:221
3217199497,7cyclictest25-21ksoftirqd/122:07:461
32171994943,4cyclictest25-21ksoftirqd/100:00:001
32171994943,3cyclictest25-21ksoftirqd/120:15:001
3217199493,7cyclictest25-21ksoftirqd/100:00:201
3217199484,7cyclictest25-21ksoftirqd/121:30:241
32178994517,25cyclictest10534-21irqrtprio19:35:252
32178994322,18cyclictest33-21ksoftirqd/220:01:372
3217899423,33cyclictest0-21swapper/222:15:092
3217899423,33cyclictest0-21swapper/221:35:112
32170994236,4cyclictest9-21ksoftirqd/000:00:000
3217899413,32cyclictest0-21swapper/222:30:122
32178994110,5cyclictest1654-21expr20:25:132
3217899404,7cyclictest0-21swapper/219:40:132
32178994018,18cyclictest33-21ksoftirqd/222:46:272
32178994013,23cyclictest24652-21/usr/sbin/munin21:15:122
3217899401,11cyclictest0-21swapper/223:00:002
32170994033,4cyclictest9-21ksoftirqd/020:20:120
3217899392,6cyclictest0-21swapper/200:05:142
32178993913,23cyclictest21783-21if_err_enp4s023:25:182
32178993913,22cyclictest3963-21expr20:30:102
32178993912,23cyclictest4441-21df_abs21:40:152
32178993912,23cyclictest15131-21cat19:45:142
3217899383,7cyclictest6453-21apt-get21:45:112
3217899383,6cyclictest20086-21apt-get21:05:122
32178993832,3cyclictest33-21ksoftirqd/220:57:282
32178993832,3cyclictest33-21ksoftirqd/220:42:072
32178993832,3cyclictest33-21ksoftirqd/200:30:172
32178993830,4cyclictest33-21ksoftirqd/223:50:002
3217899382,8cyclictest617-21apt-get23:50:112
32178993811,24cyclictest6169-21missed_timers19:25:182
32170993831,4cyclictest9-21ksoftirqd/000:30:100
3217899379,4cyclictest23729-21cat23:30:142
32178993731,3cyclictest33-21ksoftirqd/219:57:152
32178993730,4cyclictest33-21ksoftirqd/220:38:242
32178993729,5cyclictest33-21ksoftirqd/221:52:232
3217899372,7cyclictest32342-21apt-get22:40:132
32178993713,21cyclictest31355-21sed20:20:012
32178993713,21cyclictest10194-21irqrtprio23:00:232
32178993712,22cyclictest12327-21tune2fs23:05:202
3217899371,15cyclictest24588-21tr20:05:132
32170993730,4cyclictest9-21ksoftirqd/022:13:200
3217899369,4cyclictest1428-21tail19:10:332
32178993630,3cyclictest33-21ksoftirqd/220:22:072
32178993629,4cyclictest33-21ksoftirqd/223:12:202
32178993629,4cyclictest33-21ksoftirqd/222:08:212
32178993628,5cyclictest33-21ksoftirqd/200:20:052
3217899362,7cyclictest28392-21apt-get23:40:122
3217899362,6cyclictest22965-21apt-get22:20:112
3217899362,6cyclictest11313-21apt-get21:55:112
32178993613,20cyclictest33-21ksoftirqd/222:29:082
32178993611,3cyclictest13742-21ptp4l-jitter00:15:272
32178993611,3cyclictest13742-21ptp4l-jitter00:15:262
32170993629,4cyclictest9-21ksoftirqd/023:45:090
32170993629,4cyclictest9-21ksoftirqd/020:39:540
32170993629,4cyclictest9-21ksoftirqd/020:08:020
32170993629,4cyclictest9-21ksoftirqd/019:55:480
32170993628,5cyclictest9-21ksoftirqd/019:29:320
5742350,6sleep03217099cyclictest22:40:210
3217899359,4cyclictest17579-21df_inode00:25:142
3217899356,4cyclictest26774-21irqrtprio23:35:232
3217899353,6cyclictest4625-21apt-get22:50:102
32178993529,3cyclictest33-21ksoftirqd/220:12:402
32178993528,4cyclictest33-21ksoftirqd/221:11:392
32178993528,4cyclictest33-21ksoftirqd/219:50:012
32178993528,4cyclictest33-21ksoftirqd/200:12:472
3217899352,7cyclictest31813-21apt-get21:30:142
3217899352,7cyclictest29983-21apt-get22:35:132
3217899352,7cyclictest10781-21apt-get20:45:112
3217899352,6cyclictest27131-21apt-get21:20:152
3217899352,6cyclictest27131-21apt-get21:20:142
3217899352,10cyclictest13301-21taskset20:50:142
3217899351,5cyclictest2941-21/usr/sbin/munin23:55:302
32178993511,4cyclictest22077-21cat00:35:152
32178993511,3cyclictest4890-21latency_hist19:25:012
32170993529,4cyclictest9-21ksoftirqd/019:45:310
32170993528,4cyclictest9-21ksoftirqd/023:17:280
32170993528,4cyclictest9-21ksoftirqd/022:51:220
32170993528,4cyclictest9-21ksoftirqd/022:23:000
32170993528,4cyclictest9-21ksoftirqd/022:17:540
32170993528,4cyclictest9-21ksoftirqd/021:15:230
32170993528,4cyclictest9-21ksoftirqd/019:11:330
3217899347,4cyclictest41002chrt19:18:062
3217899345,5cyclictest7978-21uniq19:30:162
32178993427,4cyclictest33-21ksoftirqd/222:02:502
32178993410,5cyclictest29371-21acpi21:25:112
32170993429,3cyclictest9-21ksoftirqd/020:45:310
32170993428,3cyclictest9-21ksoftirqd/021:38:170
32170993428,3cyclictest9-21ksoftirqd/019:22:090
32170993427,4cyclictest9-21ksoftirqd/023:21:300
32170993427,4cyclictest9-21ksoftirqd/023:08:130
32170993427,4cyclictest9-21ksoftirqd/000:04:040
32178993312,18cyclictest1100-21runrttasks23:16:342
32170993328,3cyclictest9-21ksoftirqd/020:57:360
32170993327,4cyclictest9-21ksoftirqd/020:43:350
32170993327,3cyclictest9-21ksoftirqd/023:27:170
32170993327,3cyclictest9-21ksoftirqd/019:43:260
32170993327,3cyclictest9-21ksoftirqd/000:07:420
32170993326,4cyclictest9-21ksoftirqd/023:54:340
32170993326,4cyclictest9-21ksoftirqd/020:17:170
32170993326,4cyclictest9-21ksoftirqd/019:17:440
32170993325,5cyclictest9-21ksoftirqd/020:26:400
3217899326,3cyclictest20983-21cat23:25:012
32170993227,3cyclictest9-21ksoftirqd/021:40:340
32170993227,3cyclictest9-21ksoftirqd/000:28:200
32170993227,3cyclictest9-21ksoftirqd/000:10:200
32170993226,4cyclictest9-21ksoftirqd/019:50:240
32170993226,3cyclictest9-21ksoftirqd/022:48:480
32170993226,3cyclictest9-21ksoftirqd/022:07:330
32170993226,3cyclictest9-21ksoftirqd/021:50:060
32170993226,3cyclictest9-21ksoftirqd/019:40:000
32170993226,3cyclictest9-21ksoftirqd/000:35:570
32170993225,4cyclictest9-21ksoftirqd/021:58:460
32170993224,5cyclictest9-21ksoftirqd/020:53:400
32170993126,3cyclictest9-21ksoftirqd/023:12:310
32170993125,4cyclictest9-21ksoftirqd/023:38:230
32170993124,4cyclictest9-21ksoftirqd/023:44:580
32170993124,4cyclictest9-21ksoftirqd/022:37:490
32170993124,4cyclictest9-21ksoftirqd/022:29:100
32170993124,4cyclictest9-21ksoftirqd/021:26:110
32170993124,4cyclictest9-21ksoftirqd/021:13:550
32170993123,5cyclictest9-21ksoftirqd/021:32:010
32170993025,3cyclictest9-21ksoftirqd/023:02:590
32170993023,4cyclictest9-21ksoftirqd/021:49:270
32170992924,3cyclictest9-21ksoftirqd/020:01:310
32170992923,4cyclictest9-21ksoftirqd/022:04:120
32170992923,4cyclictest9-21ksoftirqd/019:30:480
32170992923,3cyclictest9-21ksoftirqd/023:32:590
32170992923,3cyclictest9-21ksoftirqd/022:58:580
32170992923,3cyclictest9-21ksoftirqd/022:33:370
32170992823,3cyclictest9-21ksoftirqd/020:32:320
32170992822,4cyclictest9-21ksoftirqd/000:16:580
32170992822,4cyclictest9-21ksoftirqd/000:16:570
32170992821,4cyclictest9-21ksoftirqd/000:24:410
32170992721,4cyclictest9-21ksoftirqd/021:05:460
32170992519,3cyclictest9-21ksoftirqd/021:22:040
32170992519,3cyclictest9-21ksoftirqd/021:22:030
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional