You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-23 - 05:22

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Sun Nov 23, 2025 00:43:38)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3292999725,23cyclictest9161-21ssh21:45:220
3292999725,23cyclictest9161-21ssh21:45:220
329299953,32cyclictest0-21swapper/019:10:090
260642930,2sleep026049-21ssh23:30:290
329899913,72cyclictest7850irq/56-dwc_otg_19:10:091
224522800,3sleep20-21swapper/222:44:302
157292800,2sleep10-21swapper/123:17:101
330899793,54cyclictest7950irq/56-dwc_otg_19:10:093
3292997956,9cyclictest0-21swapper/021:40:120
30062760,2sleep2301ktimersoftd/219:10:062
329299732,48cyclictest0-21swapper/022:50:200
14822730,1sleep30-21swapper/322:59:283
330899702,5cyclictest0-21swapper/300:20:073
93462680,3sleep121-21rcuc/123:09:531
329899672,5cyclictest23482-21ssh21:20:371
329299676,14cyclictest0-21swapper/021:10:130
329899661,7cyclictest9406-21missed_timers19:25:301
329899661,6cyclictest23911-21ntpq20:05:311
329899652,12cyclictest7950irq/56-dwc_otg_23:30:061
54862640,1sleep10-21swapper/122:21:261
54862640,1sleep10-21swapper/122:21:261
113112640,2sleep20-21swapper/200:37:422
329899637,5cyclictest12117-21cut23:55:241
329899631,6cyclictest26637-21seq22:07:041
3298996313,37cyclictest21328-21sed20:00:071
3298996313,37cyclictest21328-21sed20:00:071
330899621,6cyclictest32445-21wget22:15:213
330799625,12cyclictest7850irq/56-dwc_otg_21:25:192
329899624,9cyclictest7950irq/56-dwc_otg_20:00:301
329899624,9cyclictest7950irq/56-dwc_otg_20:00:301
3298996220,31cyclictest19538-21latency_hist19:55:071
330899612,7cyclictest7950irq/56-dwc_otg_20:05:363
330799611,35cyclictest0-21swapper/219:10:142
329899617,6cyclictest7950irq/56-dwc_otg_21:10:191
329899613,5cyclictest20779-21rm22:00:201
329899602,7cyclictest9139-21ssh21:45:191
329899602,7cyclictest9139-21ssh21:45:191
329899602,4cyclictest0-21swapper/123:30:301
330899596,42cyclictest7950irq/56-dwc_otg_21:26:003
330899592,7cyclictest0-21swapper/322:40:193
330899591,2cyclictest0-21swapper/320:40:193
3308995911,35cyclictest5143-21ssh22:20:463
3308995911,35cyclictest5143-21ssh22:20:463
330799594,9cyclictest0-21swapper/223:05:182
329899596,5cyclictest7850irq/56-dwc_otg_00:06:141
329899595,4cyclictest7950irq/56-dwc_otg_20:40:201
329899592,3cyclictest0-21swapper/122:40:181
329899591,5cyclictest5681-21latency_hist23:05:071
329899591,4cyclictest14385-21/usr/sbin/munin21:50:361
3298995911,37cyclictest0-21swapper/121:33:521
329899591,10cyclictest0-21swapper/122:19:451
330899587,41cyclictest7950irq/56-dwc_otg_23:13:233
330899586,41cyclictest140-21systemd-journal00:37:073
330899581,8cyclictest15094-21latency_hist22:35:073
329899587,9cyclictest7950irq/56-dwc_otg_19:20:121
329899584,9cyclictest7950irq/56-dwc_otg_00:03:271
329899583,14cyclictest1120-21runrttasks23:10:181
329899582,6cyclictest9550irq/80-mmc020:55:071
329899582,5cyclictest0-21swapper/123:41:281
329899581,4cyclictest0-21swapper/122:32:121
329899581,46cyclictest0-21swapper/120:16:341
329299588,25cyclictest0-21swapper/000:20:070
329299582,32cyclictest8020-21latency_hist23:50:070
330899576,4cyclictest0-21swapper/322:03:223
330899572,9cyclictest7950irq/56-dwc_otg_22:45:503
330899571,9cyclictest7950irq/56-dwc_otg_21:15:363
330899571,11cyclictest7950irq/56-dwc_otg_20:32:383
329899578,5cyclictest30220-21sed00:20:071
329899573,6cyclictest0-21swapper/123:20:201
329899572,7cyclictest19269-21cat21:15:341
329899572,3cyclictest0-21swapper/122:56:301
329899572,12cyclictest7950irq/56-dwc_otg_22:37:531
329899571,5cyclictest30463-21users23:35:361
329899571,4cyclictest3413-21rm00:26:331
329899571,4cyclictest3413-21rm00:26:331
330899561,4cyclictest0-21swapper/323:35:353
3308995611,33cyclictest316012chrt21:31:283
329899565,8cyclictest7950irq/56-dwc_otg_22:30:061
329899563,9cyclictest7950irq/56-dwc_otg_21:25:451
329899563,3cyclictest7850irq/56-dwc_otg_00:10:521
329899561,4cyclictest0-21swapper/121:44:171
3292995628,7cyclictest3774-21fschecks_time20:40:250
329299562,34cyclictest0-21swapper/022:06:450
3292995621,33cyclictest101ktimersoftd/020:25:220
329299561,36cyclictest9450-21ssh23:10:070
70102550,2sleep10-21swapper/120:50:081
70102550,2sleep10-21swapper/120:50:081
330899551,3cyclictest7850irq/56-dwc_otg_00:26:023
330899551,3cyclictest7850irq/56-dwc_otg_00:26:023
329899553,3cyclictest7850irq/56-dwc_otg_00:20:291
329899553,3cyclictest0-21swapper/123:48:091
329899552,13cyclictest0-21swapper/123:52:331
329899551,12cyclictest0-21swapper/100:39:541
329299557,8cyclictest17190-21munin-plugin-st23:20:070
3292995530,5cyclictest7850irq/56-dwc_otg_22:45:230
3292995528,7cyclictest7950irq/56-dwc_otg_21:15:220
329299552,38cyclictest25340-21fschecks_time20:10:250
223442550,2sleep30-21swapper/300:09:093
3642540,2sleep10-21swapper/120:30:271
3308995416,34cyclictest7909-21sh21:43:203
330899541,4cyclictest28995-21/usr/sbin/munin22:10:273
3308995410,41cyclictest32050-21idleruntime-cro20:30:063
330799544,14cyclictest20761-21rm22:00:182
329899546,6cyclictest7750irq/56-dwc_otg21:39:401
329899543,5cyclictest9550irq/80-mmc019:40:071
330899536,38cyclictest7950irq/56-dwc_otg_23:33:073
330899535,4cyclictest7950irq/56-dwc_otg_00:00:393
330899532,4cyclictest0-21swapper/321:20:363
330899531,5cyclictest7950irq/56-dwc_otg_23:55:073
330899531,5cyclictest23324-21awk00:10:223
330899531,4cyclictest9377-21/usr/sbin/munin19:25:293
330799532,10cyclictest7750irq/56-dwc_otg23:55:212
329899535,9cyclictest23090-21ssh22:45:181
329899531,2cyclictest0-21swapper/100:30:231
329299533,5cyclictest0-21swapper/023:10:180
3292995324,13cyclictest7950irq/56-dwc_otg_19:25:370
329299532,29cyclictest16149-21ntp_kernel_pll_22:35:320
330899522,4cyclictest7750irq/56-dwc_otg21:10:133
330899521,6cyclictest17950-21grep19:50:213
330899521,4cyclictest0-21swapper/323:21:443
3308995214,34cyclictest5876-21if_wlan000:30:273
3308995213,36cyclictest14936-21/usr/sbin/munin23:15:373
3308995211,37cyclictest27561-21sed22:50:303
329899524,4cyclictest7950irq/56-dwc_otg_21:56:071
329899522,13cyclictest16311-21fschecks_time19:45:241
329899521,3cyclictest0-21swapper/122:11:061
3292995221,13cyclictest0-21swapper/020:20:370
321222520,2sleep20-21swapper/222:15:072
141722520,2sleep3330899cyclictest23:57:223
330899515,4cyclictest0-21swapper/321:35:573
330899513,6cyclictest7850irq/56-dwc_otg_23:41:093
330899511,7cyclictest24684-21aten_rbpower_en22:05:203
330899511,7cyclictest21479-21tr20:00:223
330899511,7cyclictest21479-21tr20:00:223
330899511,4cyclictest7750irq/56-dwc_otg23:02:243
330899511,4cyclictest0-21swapper/321:55:343
330899511,3cyclictest7850irq/56-dwc_otg_00:22:543
330899511,10cyclictest7950irq/56-dwc_otg_23:46:433
329899513,7cyclictest0-21swapper/119:40:231
329899513,3cyclictest0-21swapper/122:53:081
329899511,13cyclictest0-21swapper/120:24:351
329299515,26cyclictest6955-21ls19:20:070
3292995138,4cyclictest7850irq/56-dwc_otg_23:50:210
3292995125,5cyclictest0-21swapper/021:00:180
329299512,22cyclictest0-21swapper/022:10:180
3292995121,14cyclictest2232-21wget23:00:210
3292995114,19cyclictest25071-21find23:30:070
329299511,30cyclictest2422-21ssh23:41:420
3292995111,24cyclictest21981-21grep22:00:360
330899506,4cyclictest7850irq/56-dwc_otg_21:47:533
330899506,4cyclictest7850irq/56-dwc_otg_21:47:533
330899503,9cyclictest15364-21grep19:40:373
330899502,4cyclictest0-21swapper/319:57:503
330899502,4cyclictest0-21swapper/319:57:503
330899501,7cyclictest9552-21ntpq20:55:303
330899501,4cyclictest7950irq/56-dwc_otg_23:30:073
330799507,10cyclictest7850irq/56-dwc_otg_21:15:192
3292995028,5cyclictest2785-21unixbench_singl20:35:370
3292995027,14cyclictest22521-21fschecks_time21:20:250
329299502,30cyclictest0-21swapper/019:35:430
3292995022,15cyclictest1408-21ssh21:35:240
3292995014,5cyclictest30235-21fschecks_time21:30:230
330899497,25cyclictest0-21swapper/322:25:123
330899493,3cyclictest7950irq/56-dwc_otg_21:52:583
330899492,6cyclictest25342-21fschecks_time20:10:253
330899492,10cyclictest13185-21wc19:35:393
330899491,7cyclictest5972-21ssh23:05:193
330899491,5cyclictest7850irq/56-dwc_otg_22:35:083
3308994911,34cyclictest86042chrt20:55:013
329899491,7cyclictest7750irq/56-dwc_otg19:30:201
329899491,3cyclictest0-21swapper/121:07:091
329299497,39cyclictest0-21swapper/020:05:210
329299497,22cyclictest3938-21cpu22:20:220
329299497,22cyclictest3938-21cpu22:20:220
329299496,23cyclictest0-21swapper/022:25:310
3292994932,8cyclictest7850irq/56-dwc_otg_19:30:360
3292994928,5cyclictest7850irq/56-dwc_otg_22:30:270
329299492,27cyclictest9151-21fschecks_time20:55:250
3292994921,6cyclictest16683-21wc21:55:070
100612490,2sleep20-21swapper/222:27:432
330899486,32cyclictest7950irq/56-dwc_otg_19:20:113
330899481,8cyclictest10863-21df21:00:223
330899481,6cyclictest17144-21grep19:45:353
329899481,9cyclictest0-21swapper/120:35:161
329899481,4cyclictest0-21swapper/120:55:311
329299483,27cyclictest9009-21rm00:35:190
329299482,35cyclictest0-21swapper/000:14:280
329299482,30cyclictest32415-21aten_rbpower_po22:15:210
329299482,25cyclictest8217-21grep20:50:360
3292994821,5cyclictest16115-21aten_rbpower_po19:45:210
329299481,28cyclictest22790-21awk22:45:070
330899472,6cyclictest0-21swapper/320:35:263
330899471,6cyclictest6348-21grep20:45:353
330899471,6cyclictest6348-21grep20:45:353
330799477,25cyclictest0-21swapper/220:15:232
330799472,6cyclictest7850irq/56-dwc_otg_23:40:192
330799471,20cyclictest5124-21ssh00:30:072
330799471,20cyclictest5124-21ssh00:30:072
329899473,9cyclictest5184-21/usr/sbin/munin19:15:271
329899471,3cyclictest7850irq/56-dwc_otg_20:26:561
329299473,25cyclictest7923-21ssh00:33:260
329299472,32cyclictest0-21swapper/023:35:080
3292994717,16cyclictest20275-21ssh00:05:310
329299471,6cyclictest30734-21ssh22:55:180
3292994715,19cyclictest0-21swapper/000:23:340
329299471,25cyclictest19927-21fschecks_time19:55:270
329299471,25cyclictest19927-21fschecks_time19:55:270
288962470,4sleep0101ktimersoftd/021:28:470
330899462,7cyclictest12760-21fschecks_time21:05:253
330799467,25cyclictest0-21swapper/220:05:212
330799467,24cyclictest0-21swapper/219:35:212
330799462,7cyclictest0-21swapper/223:35:182
329299467,22cyclictest0-21swapper/021:05:210
329299461,4cyclictest17114-21grep00:00:390
329299461,24cyclictest0-21swapper/019:40:150
330899452,7cyclictest5988-21uname19:15:323
330899451,7cyclictest27087-21fschecks_count20:15:263
3308994511,31cyclictest1120-21runrttasks20:21:213
329299452,37cyclictest0-21swapper/021:58:090
329299452,25cyclictest0-21swapper/000:26:570
329299452,25cyclictest0-21swapper/000:26:570
3292994512,23cyclictest0-21swapper/023:55:430
28302452,35sleep00-21swapper/019:08:030
330899444,3cyclictest7950irq/56-dwc_otg_19:30:133
330799442,7cyclictest0-21swapper/223:20:192
3307994420,4cyclictest21480-21/usr/sbin/munin20:00:222
3307994420,4cyclictest21480-21/usr/sbin/munin20:00:222
3292994420,5cyclictest7850irq/56-dwc_otg_20:05:070
3292994420,5cyclictest7850irq/56-dwc_otg_20:05:070
3292994418,13cyclictest7750irq/56-dwc_otg23:25:060
3292994416,17cyclictest0-21swapper/020:15:470
3292994416,16cyclictest0-21swapper/020:45:150
3292994416,16cyclictest0-21swapper/020:45:150
329899432,10cyclictest12211-21cron21:05:061
3292994315,15cyclictest0-21swapper/019:20:260
330799418,20cyclictest0-21swapper/223:00:202
330799417,24cyclictest0-21swapper/220:55:212
330799417,22cyclictest0-21swapper/220:30:202
3298994112,5cyclictest25042-21/usr/sbin/munin20:10:341
3292994113,16cyclictest0-21swapper/020:33:150
330799407,24cyclictest0-21swapper/220:40:212
330799403,8cyclictest7750irq/56-dwc_otg23:10:202
3292994010,14cyclictest9550irq/80-mmc019:50:270
330799397,25cyclictest0-21swapper/219:45:202
330799391,3cyclictest0-21swapper/221:20:192
3307993816,4cyclictest11206-21sh23:54:062
3307993815,13cyclictest4487-21wget23:45:222
330799371,28cyclictest11840-21fschecks_count22:30:242
3307993629,5cyclictest31358-21ssh22:55:282
330799359,7cyclictest140-21systemd-journal21:10:062
330799358,4cyclictest7750irq/56-dwc_otg23:25:202
330799356,10cyclictest7850irq/56-dwc_otg_21:38:252
3307993513,4cyclictest7850irq/56-dwc_otg_00:30:232
330799351,24cyclictest30229-21cut21:30:232
3307993511,12cyclictest7850irq/56-dwc_otg_20:20:332
29862355,22sleep12987-21cron19:10:061
330799346,6cyclictest7750irq/56-dwc_otg20:45:222
330799346,6cyclictest7750irq/56-dwc_otg20:45:222
330799345,20cyclictest5185-21ssh21:40:122
330799342,14cyclictest31-21ksoftirqd/221:15:072
3307993420,4cyclictest7750irq/56-dwc_otg00:25:072
330799341,8cyclictest18942-21ssh22:40:072
330799335,19cyclictest3782-21ssh22:20:212
330799335,19cyclictest3782-21ssh22:20:212
330799335,19cyclictest25269-21ssh23:30:132
330799332,13cyclictest7850irq/56-dwc_otg_20:10:222
330799331,6cyclictest26740-21ssh00:15:132
3307993315,6cyclictest870-21timerandwakeup22:15:342
330799331,16cyclictest7950irq/56-dwc_otg_23:15:252
3307993311,5cyclictest7950irq/56-dwc_otg_22:50:302
3307993311,11cyclictest0-21swapper/221:45:252
3307993311,11cyclictest0-21swapper/221:45:252
330799328,4cyclictest0-21swapper/222:45:212
330799322,11cyclictest17949-21wget19:50:212
330799321,22cyclictest16039-21cpuspeed00:00:252
3307993210,10cyclictest0-21swapper/222:07:322
204142320,1sleep20-21swapper/222:00:052
330799319,5cyclictest7750irq/56-dwc_otg00:10:212
330799315,13cyclictest7950irq/56-dwc_otg_19:20:262
330799313,5cyclictest1274-21ntpd21:50:302
3307993124,5cyclictest19754-21grep19:55:232
3307993124,5cyclictest19754-21grep19:55:232
330799311,26cyclictest10896-21cut21:00:242
330799309,10cyclictest0-21swapper/200:05:302
330799305,5cyclictest31-21ksoftirqd/219:30:332
330799305,22cyclictest1994-21idleruntime20:35:262
330799291,4cyclictest7850irq/56-dwc_otg_20:25:232
3307992813,4cyclictest5453-21fschecks_count19:15:242
330799274,11cyclictest7750irq/56-dwc_otg19:25:312
3307992716,8cyclictest0-21swapper/220:50:222
330799271,10cyclictest7950irq/56-dwc_otg_19:40:292
26532273,15sleep30-21swapper/319:05:473
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional