You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-13 - 18:32

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Fri Mar 13, 2026 12:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3171326270,7sleep30-21swapper/307:10:043
602821710,5sleep33176499cyclictest11:39:023
31761999243,23cyclictest0-21swapper/007:35:160
31761999243,23cyclictest0-21swapper/007:35:160
31762998526,18cyclictest0-21swapper/110:20:131
31761998261,19cyclictest0-21swapper/009:10:070
3176199807,60cyclictest0-21swapper/012:00:150
3176199786,26cyclictest0-21swapper/012:35:160
24282750,1sleep10-21swapper/112:13:381
151032750,5sleep13176299cyclictest09:53:211
151032750,5sleep13176299cyclictest09:53:211
3176199746,34cyclictest7850irq/56-dwc_otg_09:50:150
3176199746,34cyclictest7850irq/56-dwc_otg_09:50:150
310792740,5sleep33176499cyclictest10:50:233
277952730,3sleep229-21rcuc/209:30:192
3176499727,36cyclictest7850irq/56-dwc_otg_08:45:173
3176499727,36cyclictest7850irq/56-dwc_otg_08:45:173
3176199727,46cyclictest0-21swapper/011:20:150
31763997035,14cyclictest22107-21ssh10:40:132
31763997032,18cyclictest579450rm10:59:522
3176199706,42cyclictest0-21swapper/008:25:170
31761997042,4cyclictest31440-21ssh09:35:020
31761996953,5cyclictest6598-21grep10:20:290
3176199692,54cyclictest2986-21latency_hist08:50:040
3176199692,54cyclictest2986-21latency_hist08:50:040
31761996915,27cyclictest21550-21sh10:00:230
39992680,3sleep03995-21fschecks_time09:40:200
31763996828,12cyclictest11999-21/usr/sbin/munin11:45:302
3176199683,43cyclictest11395-21fschecks_count11:45:230
31763996730,26cyclictest11702-21ssh11:05:332
31763996730,26cyclictest11702-21ssh11:05:332
3176199676,43cyclictest8217-21fschecks_count09:45:220
31761996742,8cyclictest101ktimersoftd/010:15:020
3176199672,48cyclictest0-21swapper/008:10:160
31763996631,18cyclictest7850irq/56-dwc_otg_08:05:162
31763996630,24cyclictest20641-21ssh09:21:052
31761996652,4cyclictest20762-21latency_hist08:10:030
31761996615,11cyclictest31760-21cyclictest08:00:150
31763996528,13cyclictest16177-21ssh11:11:122
31763996525,23cyclictest7850irq/56-dwc_otg_08:30:182
31763996430,17cyclictest3807-21ssh10:17:512
31763996428,13cyclictest1853-21ssh09:37:332
31763996426,12cyclictest23133-21ls12:00:032
31763996423,24cyclictest21074-21taskset08:10:062
3176199647,38cyclictest8881-21/usr/sbin/munin12:20:290
3176199647,17cyclictest0-21swapper/011:40:160
3176199647,17cyclictest0-21swapper/011:40:160
175902640,1sleep00-21swapper/009:18:130
3176499638,25cyclictest7850irq/56-dwc_otg_08:20:143
3176399634,18cyclictest0-21swapper/207:20:122
31763996332,15cyclictest8403-21ssh10:23:262
31763996332,12cyclictest29238-21ssh10:48:362
31763996327,12cyclictest29642-21ssh11:28:042
31761996350,4cyclictest101ktimersoftd/012:20:030
31761996346,5cyclictest7215-21latency09:00:230
3176199632,35cyclictest0-21swapper/010:25:260
31763996240,16cyclictest31766-21taskset07:10:052
31763996230,20cyclictest3755-21netstat08:50:252
31763996230,12cyclictest6328-21ssh11:00:152
31763996226,21cyclictest7850irq/56-dwc_otg_12:00:052
3176199622,41cyclictest2644-21latency_hist11:35:040
31763996135,9cyclictest23109-21df08:15:182
31763996129,18cyclictest14880-21rm12:28:412
31763996128,20cyclictest16964-21ssh11:51:212
31763996124,13cyclictest31643-21ssh10:12:162
31763996123,12cyclictest4582-21ssh11:36:242
3176199611,16cyclictest17829-21unixbench_singl09:55:310
31763996033,11cyclictest10127-21ssh09:47:072
31763996032,12cyclictest30149-21/usr/sbin/munin08:35:142
31763996032,11cyclictest19392-21ssh12:34:232
31763996027,11cyclictest27198-21ssh10:06:572
31761996015,16cyclictest0-21swapper/010:40:140
31761996012,23cyclictest0-21swapper/011:05:130
31761996012,23cyclictest0-21swapper/011:05:130
3176499593,15cyclictest7750irq/56-dwc_otg09:55:143
31763995930,15cyclictest10095-21diskmemload09:15:392
31763995930,14cyclictest10307-21ssh12:22:532
31763995930,11cyclictest5785-1kworker/u9:112:36:332
31763995928,12cyclictest18238-21ssh09:56:112
31763995927,20cyclictest22744-21sh10:01:382
31763995925,20cyclictest15797-21ssh10:31:442
31763995923,14cyclictest9333-21ssh11:42:302
31763995923,14cyclictest9333-21ssh11:42:302
31761995937,9cyclictest27948-21ls11:25:290
31763995829,12cyclictest17262-21latency_hist08:00:032
31763995823,11cyclictest0-21swapper/209:00:282
31761995840,4cyclictest7850irq/56-dwc_otg_08:20:220
31761995834,6cyclictest0-21swapper/008:55:140
31761995832,11cyclictest7750irq/56-dwc_otg09:20:310
3176199582,31cyclictest2427-21cut10:55:200
31761995817,22cyclictest0-21swapper/008:15:140
31763995730,13cyclictest5802-21ssh12:17:122
31763995728,8cyclictest24713-21apt-get08:20:132
31763995728,16cyclictest6163-21ssh09:42:392
3176199577,38cyclictest0-21swapper/007:55:150
3176199574,10cyclictest9-21ksoftirqd/012:10:130
31761995738,9cyclictest0-21swapper/008:40:160
31763995646,7cyclictest31825-21apt-get12:10:152
31763995628,7cyclictest1307-21apt-get08:45:152
31763995628,7cyclictest1307-21apt-get08:45:152
31763995626,19cyclictest15209-21ssh09:53:312
31763995626,19cyclictest15209-21ssh09:53:312
31763995625,12cyclictest32615-21ssh11:30:552
31763995623,13cyclictest27942-21diskstats12:05:182
31763995622,14cyclictest22136-21chrt11:19:292
31763995620,16cyclictest7950irq/56-dwc_otg_08:25:192
31761995640,6cyclictest101ktimersoftd/010:37:180
31761995640,6cyclictest101ktimersoftd/010:37:180
31761995622,13cyclictest101ktimersoftd/010:15:250
3176199561,44cyclictest15811-21/usr/sbin/munin11:10:320
31763995529,11cyclictest25128-21ssh09:26:272
31763995528,17cyclictest2662-21taskset07:19:252
31763995528,16cyclictest13051-21ssh10:29:162
31763995525,11cyclictest7850irq/56-dwc_otg_08:55:202
31763995524,10cyclictest7950irq/56-dwc_otg_09:13:242
31763995522,23cyclictest20311-21ssh10:37:252
31763995522,23cyclictest20311-21ssh10:37:252
3176299552,29cyclictest7750irq/56-dwc_otg12:35:141
31761995536,9cyclictest6582-21chrt11:00:190
3176199551,51cyclictest101ktimersoftd/009:05:290
31763995427,10cyclictest1291-21ssh10:54:142
31763995425,12cyclictest31940-21/usr/sbin/munin08:40:132
31761995434,9cyclictest28390-21cut08:30:150
31761995426,14cyclictest7950irq/56-dwc_otg_10:50:150
31761995425,5cyclictest16475-21unixbench_singl11:50:300
31761995410,41cyclictest101ktimersoftd/007:34:090
31763995320,21cyclictest18752-21taskset08:02:402
31761995332,8cyclictest0-21swapper/010:34:320
180452530,1sleep10-21swapper/109:55:501
3176499523,8cyclictest0-21swapper/308:15:163
31763995218,10cyclictest0-21swapper/207:39:412
31763995218,10cyclictest0-21swapper/207:39:412
3176199528,12cyclictest101ktimersoftd/008:35:040
31763995119,10cyclictest0-21swapper/211:22:172
3176199515,26cyclictest25126-21grep10:05:160
31761995131,10cyclictest101ktimersoftd/008:50:250
31761995129,10cyclictest101ktimersoftd/011:40:000
31761995121,5cyclictest10273-21aten_rbpower_po07:40:170
31763995018,10cyclictest0-21swapper/207:46:522
3176299503,34cyclictest0-21swapper/107:10:051
31761995024,4cyclictest23748-21if_wlan009:25:210
314812503,12sleep00-21swapper/007:09:580
31763994926,14cyclictest8056-21taskset07:34:172
31763994923,14cyclictest0-21swapper/207:52:012
31761994928,11cyclictest0-21swapper/011:16:450
31761994926,10cyclictest101ktimersoftd/012:09:000
31763994832,13cyclictest9447-21expr09:05:282
31761994828,9cyclictest27924-21ssh10:46:110
3176199482,29cyclictest15668-21latency_hist12:30:030
3176199481,26cyclictest0-21swapper/011:55:160
314872488,27sleep131529-21ls07:10:031
31764994725,16cyclictest0-21swapper/312:00:153
31763994733,11cyclictest10996-21/usr/sbin/munin07:40:272
31763994731,12cyclictest5863-21unixbench_multi07:25:302
3176199474,25cyclictest12251-21fschecks_count07:45:190
31761994726,10cyclictest101ktimersoftd/009:35:290
31761994717,8cyclictest0-21swapper/007:20:120
3176199471,25cyclictest0-21swapper/007:50:150
3176299467,24cyclictest0-21swapper/110:55:161
31762994611,6cyclictest0-21swapper/112:25:321
31761994628,4cyclictest18004-21rm12:31:520
31761994624,8cyclictest7850irq/56-dwc_otg_07:10:050
31761994614,21cyclictest0-21swapper/007:15:140
3176299457,25cyclictest0-21swapper/108:55:161
3176299447,25cyclictest0-21swapper/111:50:161
3176299447,24cyclictest0-21swapper/107:25:161
31762994413,17cyclictest0-21swapper/108:20:131
3176299437,23cyclictest0-21swapper/107:30:151
31762994318,13cyclictest0-21swapper/108:45:171
31762994318,13cyclictest0-21swapper/108:45:171
3176199438,21cyclictest5339-21missed_timers07:25:240
31764994123,5cyclictest11387-21/usr/sbin/munin09:10:273
3176299417,25cyclictest0-21swapper/109:45:181
3176299417,23cyclictest0-21swapper/111:00:151
3176299412,7cyclictest7950irq/56-dwc_otg_10:30:161
31762994119,11cyclictest7950irq/56-dwc_otg_09:10:181
3176499405,25cyclictest11168-21timerwakeupswit07:40:293
3176299408,6cyclictest7750irq/56-dwc_otg11:05:231
3176299408,6cyclictest7750irq/56-dwc_otg11:05:231
3176299407,23cyclictest0-21swapper/108:05:151
3176299401,21cyclictest23132-21latency_hist12:00:031
3176299397,22cyclictest0-21swapper/107:15:151
3176299393,26cyclictest7750irq/56-dwc_otg12:30:221
3176499381,24cyclictest1635-21ls07:15:213
3176299383,8cyclictest0-21swapper/111:40:141
3176299383,8cyclictest0-21swapper/111:40:141
3176299382,8cyclictest7750irq/56-dwc_otg09:10:031
31762993817,5cyclictest28296-21sh10:46:531
3176299379,5cyclictest7950irq/56-dwc_otg_09:35:291
3176299377,15cyclictest0-21swapper/107:45:161
3176299374,15cyclictest7850irq/56-dwc_otg_09:45:031
31764993630,4cyclictest6889-21ls11:00:223
3176499361,18cyclictest28268-21ls08:30:043
3176299369,4cyclictest0-21swapper/111:35:281
3176299367,23cyclictest0-21swapper/110:40:151
3176299366,4cyclictest7950irq/56-dwc_otg_12:15:201
3176299361,9cyclictest7850irq/56-dwc_otg_08:10:131
3176299361,23cyclictest30445-21timerwakeupswit10:10:291
3176299361,17cyclictest0-21swapper/111:25:391
194772360,2sleep30-21swapper/308:05:193
3176499355,9cyclictest0-21swapper/307:10:053
31764993517,6cyclictest39-21ksoftirqd/310:25:153
31764993514,12cyclictest149-21systemd-journal08:03:023
31764993513,4cyclictest15911-21fschecks_time07:55:193
3176299358,17cyclictest0-21swapper/111:10:161
31762993522,7cyclictest221ktimersoftd/109:30:271
3176299352,23cyclictest8223-21latency12:20:211
3176499349,5cyclictest0-21swapper/312:14:303
3176499349,4cyclictest0-21swapper/310:15:213
3176499347,12cyclictest29166-21switchtime08:30:263
3176299346,12cyclictest7850irq/56-dwc_otg_11:20:191
3176299345,6cyclictest7750irq/56-dwc_otg09:20:171
3176299342,5cyclictest0-21swapper/111:17:031
3176299341,24cyclictest31371-21cut11:30:191
3176499339,5cyclictest3946-21grep09:40:193
3176499339,4cyclictest0-21swapper/312:22:483
3176499338,3cyclictest0-21swapper/309:35:263
3176499337,6cyclictest7850irq/56-dwc_otg_11:40:313
3176499337,6cyclictest7850irq/56-dwc_otg_11:40:313
3176499337,5cyclictest7750irq/56-dwc_otg12:05:293
3176499337,18cyclictest0-21swapper/310:55:313
3176499336,4cyclictest0-21swapper/309:30:223
3176499333,21cyclictest0-21swapper/310:14:563
3176499331,6cyclictest14985-21ssh09:15:203
31764993313,5cyclictest27839-21sh10:08:043
3176299339,12cyclictest7850irq/56-dwc_otg_10:35:291
3176299339,12cyclictest7850irq/56-dwc_otg_10:35:291
3176299337,4cyclictest7750irq/56-dwc_otg09:15:281
3176299335,4cyclictest7750irq/56-dwc_otg08:00:261
3176299334,7cyclictest0-21swapper/112:00:141
3176299334,14cyclictest7850irq/56-dwc_otg_07:35:291
3176299334,14cyclictest7850irq/56-dwc_otg_07:35:291
3176299332,8cyclictest29898-21munin-run08:35:031
31762993314,10cyclictest0-21swapper/110:50:191
3176499328,6cyclictest30784-21latency_hist11:30:033
31764993222,7cyclictest2612-21latency_hist11:35:043
3176499322,17cyclictest0-21swapper/310:20:153
31764993213,10cyclictest908-21runrttasks11:23:413
3176499321,18cyclictest8430-21ls09:05:033
31764993210,5cyclictest0-21swapper/310:45:313
31764993210,3cyclictest0-21swapper/310:40:223
3176299325,6cyclictest23-21ksoftirqd/110:00:201
3176299322,19cyclictest0-21swapper/111:50:031
31762993214,6cyclictest3454-21ssh10:17:141
31762993212,5cyclictest21-21rcuc/110:05:191
3176299321,24cyclictest10632-21switchtime10:25:281
3176499318,6cyclictest39-21ksoftirqd/311:05:273
3176499318,6cyclictest39-21ksoftirqd/311:05:273
3176499314,14cyclictest0-21swapper/311:55:503
3176499314,14cyclictest0-21swapper/311:50:183
3176499314,13cyclictest7950irq/56-dwc_otg_08:10:183
3176499313,21cyclictest15046-21grep10:30:313
3176499313,17cyclictest23557-1kworker/u9:209:25:303
3176499312,7cyclictest7850irq/56-dwc_otg_10:00:173
3176499312,5cyclictest0-21swapper/310:35:163
3176499312,5cyclictest0-21swapper/310:35:163
31764993110,10cyclictest0-21swapper/312:36:333
3176299319,5cyclictest4679-21apt08:55:021
3176299317,5cyclictest23-21ksoftirqd/109:25:201
3176299317,14cyclictest0-21swapper/109:00:161
3176299311,4cyclictest15827-21fschecks_count07:55:181
31762993114,5cyclictest27671-21/usr/sbin/munin12:05:211
31762993114,4cyclictest10175-21/usr/sbin/munin07:40:161
3176299311,25cyclictest3130-21ls07:20:151
315912317,12sleep20-21swapper/207:10:042
3176499307,3cyclictest0-21swapper/307:54:233
3176499306,11cyclictest0-21swapper/312:30:283
3176499304,7cyclictest7850irq/56-dwc_otg_08:55:313
31764993023,5cyclictest22208-21rm11:19:373
3176499302,19cyclictest0-21swapper/311:10:073
3176499302,19cyclictest0-21swapper/308:41:403
3176499301,4cyclictest0-21swapper/312:15:143
31764993012,4cyclictest3399-21fschecks_count08:50:203
3176499301,13cyclictest0-21swapper/309:50:283
3176499301,13cyclictest0-21swapper/309:50:283
302892300,5sleep13176299cyclictest08:35:151
3176499296,4cyclictest0-21swapper/309:45:163
3176499294,13cyclictest0-21swapper/312:25:243
3176499294,12cyclictest0-21swapper/311:46:233
3176499292,18cyclictest0-21swapper/308:38:593
3176499291,6cyclictest19317-21tune2fs09:20:203
31764992912,5cyclictest5226-21irqstats07:25:223
3176299298,4cyclictest0-21swapper/108:15:271
31764992821,4cyclictest3047-21aten_rbpower_po07:20:143
3176499281,6cyclictest7713-21unixbench_singl07:30:293
3176299281,13cyclictest7750irq/56-dwc_otg08:29:091
31762992811,11cyclictest150132chrt07:51:001
3176499271,17cyclictest7850irq/56-dwc_otg_07:45:283
3176499261,7cyclictest8838-21fschecks_time09:05:193
3176299261,14cyclictest7750irq/56-dwc_otg08:40:261
31764992519,4cyclictest908-21runrttasks07:35:133
31764992519,4cyclictest908-21runrttasks07:35:133
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional