You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-03-03 - 19:40
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack5slot2.osadl.org (updated Sun Mar 03, 2024 12:44:42)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
8002202185,12sleep10-21swapper/107:07:151
6942201185,12sleep00-21swapper/007:05:580
9002190173,12sleep30-21swapper/307:08:333
6662171155,12sleep20-21swapper/207:05:352
44262470,0sleep10-21swapper/110:31:121
214292420,0sleep30-21swapper/310:02:523
322612170,0sleep20-21swapper/212:06:092
12009972,4cyclictest0-21swapper/107:15:201
11969973,4cyclictest31967-21awk08:10:010
11969971,3cyclictest9987-21apt-get10:55:010
11969971,3cyclictest13709-21apt-get09:20:010
12099965,1cyclictest0-21swapper/307:20:183
11969960,4cyclictest0-21swapper/009:35:210
12099955,0cyclictest0-21swapper/310:23:493
12099950,5cyclictest0-21swapper/311:51:333
12099950,5cyclictest0-21swapper/311:35:203
12099950,4cyclictest28274-21awk11:45:013
12099950,4cyclictest25268-21df09:00:233
12099950,4cyclictest14196-21perl12:15:223
12099950,4cyclictest0-21swapper/308:50:193
12059955,0cyclictest0-21swapper/211:25:252
12059955,0cyclictest0-21swapper/210:15:002
12059950,5cyclictest0-21swapper/212:24:202
12059950,5cyclictest0-21swapper/212:00:232
12059950,5cyclictest0-21swapper/211:30:132
12059950,1cyclictest4738-21/usr/sbin/munin08:20:282
12009951,3cyclictest0-21swapper/108:05:171
12009951,2cyclictest0-21swapper/112:00:201
12009951,2cyclictest0-21swapper/109:45:181
12009951,2cyclictest0-21swapper/109:35:211
12009951,2cyclictest0-21swapper/107:45:211
12009950,3cyclictest0-21swapper/107:25:201
11969955,0cyclictest0-21swapper/011:47:450
11969955,0cyclictest0-21swapper/010:38:290
11969954,1cyclictest0-21swapper/011:12:320
11969950,5cyclictest0-21swapper/012:35:270
11969950,5cyclictest0-21swapper/012:16:250
11969950,5cyclictest0-21swapper/010:06:550
11969950,4cyclictest18140-21grep07:40:240
11969950,0cyclictest0-21swapper/009:33:010
12099944,0cyclictest0-21swapper/312:26:283
12099944,0cyclictest0-21swapper/308:10:223
12099943,1cyclictest5732-21irqstats08:20:253
12099942,1cyclictest759-21snmpd08:25:143
12099942,1cyclictest759-21snmpd08:25:143
12099942,1cyclictest759-21snmpd07:45:173
12099942,1cyclictest759-21snmpd07:42:023
12099942,1cyclictest16338-21systemctl08:40:283
12099942,1cyclictest15175-21df09:20:263
12099941,3cyclictest0-21swapper/307:10:183
12099940,4cyclictest0-21swapper/312:10:203
12099940,4cyclictest0-21swapper/312:00:203
12099940,4cyclictest0-21swapper/311:45:173
12099940,4cyclictest0-21swapper/311:30:173
12099940,4cyclictest0-21swapper/311:29:343
12099940,4cyclictest0-21swapper/311:12:013
12099940,4cyclictest0-21swapper/311:01:353
12099940,4cyclictest0-21swapper/310:46:203
12099940,4cyclictest0-21swapper/310:35:403
12099940,4cyclictest0-21swapper/310:25:003
12099940,4cyclictest0-21swapper/310:10:513
12099940,4cyclictest0-21swapper/309:39:323
12099940,4cyclictest0-21swapper/309:18:363
12099940,4cyclictest0-21swapper/309:10:183
12099940,4cyclictest0-21swapper/309:05:273
12099940,4cyclictest0-21swapper/307:55:213
12099940,3cyclictest7446-21latency_hist09:55:013
12099940,3cyclictest5466-21aten2_r5power_c12:30:203
12099940,3cyclictest3637-21proc_pri08:15:273
12099940,3cyclictest32414-21ssh12:06:173
12099940,3cyclictest31829-21ssh09:30:253
12099940,3cyclictest30245-21df_inode08:05:203
12099940,3cyclictest28865-21ssh11:05:303
12099940,3cyclictest25285-21ssh09:25:483
12099940,3cyclictest24043-21ssh11:22:053
12099940,3cyclictest23749-21rm09:45:173
12099940,3cyclictest22825-21df_inode07:50:213
12099940,3cyclictest2020-21ssh10:50:033
12099940,3cyclictest17971-21ssh10:40:113
12099940,3cyclictest17842-21df_inode08:45:213
12099940,3cyclictest16632-21ssh12:36:123
12099940,3cyclictest16151-21cut09:40:213
12099940,3cyclictest13998-21irqstats11:55:233
12099940,3cyclictest13198-21sed11:15:253
12099940,3cyclictest12732-21sed10:55:323
12099940,3cyclictest12248-21apt-config07:30:013
12099940,3cyclictest11652sleep310:30:023
12099940,3cyclictest10733-21cat10:15:293
12099940,3cyclictest0-21swapper/312:20:203
12099940,3cyclictest0-21swapper/307:20:013
12059944,0cyclictest31-21ksoftirqd/207:35:002
12059944,0cyclictest15308-21kworker/2:211:55:212
12059944,0cyclictest15308-21kworker/2:208:33:502
12059944,0cyclictest0-21swapper/212:15:372
12059944,0cyclictest0-21swapper/211:53:202
12059944,0cyclictest0-21swapper/211:17:252
12059943,1cyclictest7044-21/usr/sbin/munin07:20:232
12059943,1cyclictest19585-21munin-run07:45:012
12059943,1cyclictest15563-21cut07:35:192
12059942,1cyclictest759-21snmpd08:46:522
12059941,3cyclictest759-21snmpd11:47:252
12059941,3cyclictest759-21snmpd09:49:062
12059941,3cyclictest23275-21awk07:50:242
12059941,1cyclictest0-21swapper/207:10:182
12059940,4cyclictest5974-21/usr/sbin/munin09:15:312
12059940,4cyclictest0-21swapper/212:32:182
12059940,4cyclictest0-21swapper/211:40:212
12059940,4cyclictest0-21swapper/211:35:202
12059940,4cyclictest0-21swapper/211:20:202
12059940,4cyclictest0-21swapper/211:10:182
12059940,4cyclictest0-21swapper/210:30:232
12059940,4cyclictest0-21swapper/210:25:232
12059940,4cyclictest0-21swapper/210:06:152
12059940,4cyclictest0-21swapper/210:00:242
12059940,4cyclictest0-21swapper/209:55:212
12059940,4cyclictest0-21swapper/209:30:242
12059940,4cyclictest0-21swapper/209:14:252
12059940,4cyclictest0-21swapper/209:05:192
12059940,4cyclictest0-21swapper/207:45:262
12059940,3cyclictest9635-21latency_hist08:30:012
12059940,3cyclictest9635-21latency_hist08:30:012
12059940,3cyclictest3949-21df_inode07:15:012
12059940,3cyclictest28427-21perl11:05:272
12059940,3cyclictest22344-21sh10:42:132
12059940,3cyclictest20304-21df08:50:202
12059940,3cyclictest19970-21grep11:00:222
12059940,3cyclictest1568-21wc09:50:332
12059940,3cyclictest13427-21gpgv12:35:002
12059940,3cyclictest10820-21sh12:13:232
12059940,3cyclictest0-21swapper/210:35:202
12059940,1cyclictest29719-21/usr/sbin/munin08:05:222
12059940,1cyclictest22255-21/usr/sbin/munin08:55:292
12059940,1cyclictest15366-21df_inode08:40:182
12059940,0cyclictest0-21swapper/209:21:012
12009941,2cyclictest0-21swapper/112:30:201
12009941,2cyclictest0-21swapper/111:40:211
12009941,2cyclictest0-21swapper/111:35:211
12009941,2cyclictest0-21swapper/111:30:161
12009941,2cyclictest0-21swapper/111:20:201
12009941,2cyclictest0-21swapper/111:15:191
12009941,2cyclictest0-21swapper/111:10:181
12009941,2cyclictest0-21swapper/111:05:231
12009941,2cyclictest0-21swapper/111:00:191
12009941,2cyclictest0-21swapper/110:05:211
12009941,2cyclictest0-21swapper/109:30:241
12009941,2cyclictest0-21swapper/108:25:191
12009941,2cyclictest0-21swapper/108:25:181
12009941,2cyclictest0-21swapper/108:10:201
12009941,2cyclictest0-21swapper/107:30:171
12009941,2cyclictest0-21swapper/107:20:171
12009940,2cyclictest0-21swapper/108:15:201
11969944,0cyclictest3-21ksoftirqd/009:45:010
11969944,0cyclictest0-21swapper/010:31:570
11969944,0cyclictest0-21swapper/009:29:570
11969944,0cyclictest0-21swapper/008:41:120
11969943,1cyclictest3-21ksoftirqd/012:20:230
11969942,1cyclictest759-21snmpd10:45:180
11969941,3cyclictest759-21snmpd11:56:490
11969940,4cyclictest18504-21idleruntime-cro11:00:010
11969940,4cyclictest17425-21apt-get10:20:190
11969940,4cyclictest12033-21ssh12:14:220
11969940,4cyclictest0-21swapper/012:04:290
11969940,4cyclictest0-21swapper/011:40:200
11969940,4cyclictest0-21swapper/011:01:540
11969940,4cyclictest0-21swapper/010:40:590
11969940,4cyclictest0-21swapper/010:25:230
11969940,4cyclictest0-21swapper/010:10:210
11969940,4cyclictest0-21swapper/009:50:240
11969940,4cyclictest0-21swapper/009:45:180
11969940,4cyclictest0-21swapper/009:10:180
11969940,4cyclictest0-21swapper/008:34:220
11969940,4cyclictest0-21swapper/008:20:410
11969940,4cyclictest0-21swapper/007:36:450
11969940,3cyclictest5177-21ssh12:30:060
11969940,3cyclictest29443-21diskmemload11:30:060
11969940,3cyclictest27120-21touch11:05:010
11969940,3cyclictest19915-21ssh11:20:140
11969940,3cyclictest16412-21ssh10:00:210
11969940,3cyclictest14797-21latency_hist07:35:010
11969940,3cyclictest1431-21/usr/sbin/munin08:10:300
11969940,3cyclictest1317-21apt-get07:10:180
11969940,3cyclictest11439-21ssh11:15:040
28331230,0sleep10-21swapper/110:45:301
12099930,3cyclictest0-21swapper/309:55:023
12099930,3cyclictest0-21swapper/308:55:213
12099930,3cyclictest0-21swapper/308:35:013
12099930,3cyclictest0-21swapper/308:30:193
12099930,3cyclictest0-21swapper/308:00:183
12099930,3cyclictest0-21swapper/307:35:083
12099930,3cyclictest0-21swapper/307:25:013
12099930,2cyclictest29443-21diskmemload10:05:153
12059933,0cyclictest0-21swapper/210:45:072
12059932,1cyclictest759-21snmpd10:50:062
12059932,1cyclictest759-21snmpd08:00:072
12059932,1cyclictest29772-21aten2_r5power_c12:25:212
12059932,1cyclictest15276-21taskset09:40:072
12059930,3cyclictest24747-21apt-get09:00:202
12059930,3cyclictest0-21swapper/210:55:012
12059930,3cyclictest0-21swapper/210:15:192
12059930,3cyclictest0-21swapper/209:35:212
12059930,3cyclictest0-21swapper/209:25:022
12059930,3cyclictest0-21swapper/208:35:182
12059930,3cyclictest0-21swapper/208:15:202
12059930,3cyclictest0-21swapper/208:10:202
12059930,3cyclictest0-21swapper/207:55:012
12059930,3cyclictest0-21swapper/207:25:012
12059930,2cyclictest16621-21apt-get10:20:012
12009931,2cyclictest0-21swapper/110:25:231
12009931,2cyclictest0-21swapper/109:50:241
12009931,2cyclictest0-21swapper/109:15:201
12009931,2cyclictest0-21swapper/108:40:171
12009931,2cyclictest0-21swapper/107:55:211
12009931,2cyclictest0-21swapper/107:10:171
12009931,1cyclictest0-21swapper/112:35:221
12009931,1cyclictest0-21swapper/112:15:191
12009931,1cyclictest0-21swapper/112:10:211
12009931,1cyclictest0-21swapper/111:25:171
12009931,1cyclictest0-21swapper/110:50:201
12009931,1cyclictest0-21swapper/110:35:201
12009931,1cyclictest0-21swapper/110:10:211
12009931,1cyclictest0-21swapper/110:00:241
12009931,1cyclictest0-21swapper/109:55:211
12009931,1cyclictest0-21swapper/109:40:181
12009931,1cyclictest0-21swapper/109:10:011
12009931,1cyclictest0-21swapper/108:50:181
12009931,1cyclictest0-21swapper/108:35:181
12009931,1cyclictest0-21swapper/108:30:191
12009931,1cyclictest0-21swapper/108:20:191
12009931,1cyclictest0-21swapper/108:00:181
12009931,1cyclictest0-21swapper/107:50:201
12009931,1cyclictest0-21swapper/107:40:191
12009930,3cyclictest0-21swapper/110:55:441
12009930,2cyclictest21265-21chrt12:20:051
12009930,2cyclictest0-21swapper/112:25:201
12009930,2cyclictest0-21swapper/110:40:191
12009930,2cyclictest0-21swapper/110:20:201
12009930,2cyclictest0-21swapper/107:35:161
12009930,1cyclictest0-21swapper/109:25:241
11969932,1cyclictest8637-21ssh10:15:030
11969932,1cyclictest759-21snmpd11:50:070
11969931,1cyclictest759-21snmpd09:00:020
11969930,3cyclictest5297-21cut07:15:220
11969930,3cyclictest29367-21rm12:05:160
11969930,3cyclictest28215-21sed09:05:240
11969930,3cyclictest24768-21apt-get07:55:210
11969930,3cyclictest0-21swapper/012:25:210
11969930,3cyclictest0-21swapper/011:35:040
11969930,3cyclictest0-21swapper/011:25:170
11969930,3cyclictest0-21swapper/009:55:190
11969930,3cyclictest0-21swapper/009:20:010
11969930,3cyclictest0-21swapper/008:55:210
11969930,3cyclictest0-21swapper/008:50:220
11969930,3cyclictest0-21swapper/008:45:190
11969930,3cyclictest0-21swapper/008:35:170
11969930,3cyclictest0-21swapper/008:25:190
11969930,3cyclictest0-21swapper/008:25:190
11969930,3cyclictest0-21swapper/008:15:110
11969930,3cyclictest0-21swapper/008:00:020
11969930,3cyclictest0-21swapper/007:50:200
11969930,3cyclictest0-21swapper/007:45:220
11969930,3cyclictest0-21swapper/007:25:200
11969930,3cyclictest0-21swapper/007:20:160
12009921,1cyclictest0-21swapper/110:15:111
12009921,0cyclictest0-21swapper/111:55:181
12009920,2cyclictest0-21swapper/108:55:201
12009920,1cyclictest299872sleep109:10:171
12009920,1cyclictest19287-21chrt08:46:591
12009920,1cyclictest0-21swapper/112:05:081
12009920,1cyclictest0-21swapper/111:50:191
12009920,1cyclictest0-21swapper/111:45:171
12009920,1cyclictest0-21swapper/109:20:011
12009920,1cyclictest0-21swapper/109:00:201
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional