You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-22 - 07:36

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Sun Mar 22, 2026 00:43:38)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
8822991035,54cyclictest0-21swapper/019:10:100
2908521000,2sleep10-21swapper/122:38:061
8822999810,54cyclictest0-21swapper/019:15:130
216192850,5sleep3882599cyclictest21:50:263
216192850,5sleep3882599cyclictest21:50:263
154202830,2sleep30-21swapper/323:40:083
882299806,44cyclictest0-21swapper/020:45:190
882499786,22cyclictest13990-21ssh22:20:192
882499786,22cyclictest13990-21ssh22:20:192
882299787,40cyclictest0-21swapper/023:00:200
8822997733,8cyclictest0-21swapper/000:35:190
8822997428,19cyclictest0-21swapper/000:25:190
882599735,9cyclictest0-21swapper/319:10:103
8823996912,24cyclictest7750irq/56-dwc_otg22:40:181
882399675,10cyclictest7750irq/56-dwc_otg21:20:201
882399675,10cyclictest7750irq/56-dwc_otg21:20:201
882299653,25cyclictest0-21swapper/022:25:200
21082640,2sleep1221ktimersoftd/123:23:441
882299632,37cyclictest5178-21unixbench_singl00:05:360
882599622,9cyclictest7950irq/56-dwc_otg_19:35:083
882599621,4cyclictest0-21swapper/300:11:133
882599621,2cyclictest0-21swapper/322:13:053
882399624,17cyclictest7750irq/56-dwc_otg20:05:191
8823996112,21cyclictest9550irq/80-mmc022:00:141
882299617,38cyclictest0-21swapper/022:00:140
8822996135,5cyclictest7950irq/56-dwc_otg_22:45:330
210062610,2sleep30-21swapper/323:45:363
882599605,9cyclictest7750irq/56-dwc_otg22:00:333
882599601,6cyclictest7850irq/56-dwc_otg_21:45:363
84802593,49sleep10-21swapper/119:09:141
882599588,4cyclictest0-21swapper/321:59:413
882599581,4cyclictest31517-21grep20:10:323
882499583,14cyclictest0-21swapper/221:10:192
882399582,6cyclictest0-21swapper/122:30:191
8823995724,11cyclictest28058-21ssh23:55:181
882299573,37cyclictest13-21rcuc/000:00:330
8822995727,21cyclictest11-21rcu_preempt23:55:180
8822995724,6cyclictest28935-21ssh21:20:250
8822995724,6cyclictest28935-21ssh21:20:250
882299572,21cyclictest0-21swapper/021:10:190
8822995714,23cyclictest12336-21proc_pri23:35:330
78332570,2sleep20-21swapper/222:12:192
196662570,2sleep10-21swapper/123:05:281
882599566,5cyclictest7850irq/56-dwc_otg_19:40:083
8822995633,5cyclictest7850irq/56-dwc_otg_22:40:240
8822995624,16cyclictest17903-21wc22:25:080
8822995624,16cyclictest17903-21wc22:25:080
882299562,35cyclictest8448-21tail20:35:350
882299562,33cyclictest0-21swapper/023:11:460
8822995623,12cyclictest20204-21ssh23:05:350
882299561,29cyclictest4658-21aten_rbpower_en21:30:200
882299561,27cyclictest0-21swapper/021:25:190
882599557,4cyclictest19750-21diskmemload21:26:563
882399553,9cyclictest7850irq/56-dwc_otg_23:10:171
882399552,7cyclictest7850irq/56-dwc_otg_21:35:171
882599545,10cyclictest149-21systemd-journal19:40:263
882599545,10cyclictest149-21systemd-journal19:40:263
882599541,6cyclictest7850irq/56-dwc_otg_00:04:113
882599541,4cyclictest7950irq/56-dwc_otg_23:01:503
882499541,8cyclictest0-21swapper/221:05:202
8822995439,2cyclictest0-21swapper/023:20:200
8822995429,4cyclictest7950irq/56-dwc_otg_22:10:290
882299542,29cyclictest23481-21wget19:50:210
882299541,42cyclictest0-21swapper/020:30:080
8825995312,15cyclictest22258-21ssh00:26:213
8822995324,15cyclictest7950irq/56-dwc_otg_21:35:220
8822995315,4cyclictest1168-21/usr/sbin/munin20:15:340
882299531,25cyclictest13068-21ls19:20:260
882599526,11cyclictest7950irq/56-dwc_otg_23:17:193
882599524,16cyclictest7950irq/56-dwc_otg_20:15:203
8825995228,13cyclictest21238-21ls21:10:353
882499524,25cyclictest7850irq/56-dwc_otg_21:45:302
882499524,11cyclictest22300-21ssh22:30:182
882299524,4cyclictest101ktimersoftd/021:40:180
882299523,26cyclictest0-21swapper/021:50:330
882299523,26cyclictest0-21swapper/021:50:330
8822995222,16cyclictest0-21swapper/020:05:360
8822995219,4cyclictest0-21swapper/020:30:200
8822995217,10cyclictest0-21swapper/022:30:190
88932510,2sleep30-21swapper/323:31:023
882499515,8cyclictest7750irq/56-dwc_otg22:35:202
882299519,21cyclictest0-21swapper/021:49:210
8822995126,8cyclictest10227-21unixbench-2d20:40:320
882299512,26cyclictest19248-21grep21:05:370
8822995118,4cyclictest0-21swapper/000:30:180
8822995117,19cyclictest19750-21diskmemload23:45:310
882299511,27cyclictest0-21swapper/023:50:190
882499507,23cyclictest0-21swapper/219:25:212
8822995023,11cyclictest7750irq/56-dwc_otg19:35:260
882299501,28cyclictest0-21swapper/000:10:310
882299501,27cyclictest0-21swapper/000:20:090
882299501,19cyclictest14512-21ssh23:00:080
8822995011,24cyclictest0-21swapper/023:40:090
882599497,25cyclictest23945-21ssh23:50:223
882599494,4cyclictest7950irq/56-dwc_otg_22:30:263
882599491,20cyclictest0-21swapper/323:09:593
882499497,8cyclictest7750irq/56-dwc_otg19:10:102
8824994927,10cyclictest7850irq/56-dwc_otg_22:29:542
8824994921,14cyclictest7850irq/56-dwc_otg_20:50:242
8824994921,14cyclictest7850irq/56-dwc_otg_20:50:242
8824994920,8cyclictest0-21swapper/223:20:202
882299492,9cyclictest24929-21latency21:15:260
8822994922,14cyclictest0-21swapper/023:25:250
8822994921,6cyclictest149-21systemd-journal20:15:070
882299491,26cyclictest0-21swapper/019:50:070
882599486,25cyclictest16408-21ssh00:20:223
882499487,26cyclictest0-21swapper/220:00:132
882499487,26cyclictest0-21swapper/220:00:132
8824994821,11cyclictest7750irq/56-dwc_otg00:20:342
8824994814,14cyclictest301ktimersoftd/221:20:082
882399487,5cyclictest7750irq/56-dwc_otg19:40:201
882399487,5cyclictest7750irq/56-dwc_otg19:40:201
882299489,28cyclictest27777-21unixbench_singl22:35:380
8822994826,3cyclictest0-21swapper/021:56:430
882299482,24cyclictest0-21swapper/023:30:260
882599474,15cyclictest0-21swapper/323:23:213
882599472,10cyclictest28815-21ssh00:35:193
882499477,26cyclictest0-21swapper/223:45:212
882499477,25cyclictest0-21swapper/223:15:142
882499477,25cyclictest0-21swapper/221:50:212
882499477,25cyclictest0-21swapper/221:50:212
882299477,21cyclictest0-21swapper/020:05:070
882299477,21cyclictest0-21swapper/020:05:070
882299476,24cyclictest10740-21zcat22:15:330
8822994730,5cyclictest7850irq/56-dwc_otg_22:55:080
8822994730,5cyclictest7850irq/56-dwc_otg_22:55:080
8822994723,8cyclictest7850irq/56-dwc_otg_22:05:230
8822994717,5cyclictest13-21rcuc/023:15:190
882599467,24cyclictest0-21swapper/320:30:203
882599467,24cyclictest0-21swapper/320:25:213
882499467,24cyclictest0-21swapper/223:00:132
882499467,24cyclictest0-21swapper/220:35:212
882499464,7cyclictest0-21swapper/220:10:202
882499462,13cyclictest14433-21chrt23:38:342
882499461,10cyclictest7850irq/56-dwc_otg_00:00:182
8822994634,5cyclictest7850irq/56-dwc_otg_00:20:370
882299462,24cyclictest0-21swapper/019:59:590
8822994617,13cyclictest0-21swapper/019:25:180
882299461,22cyclictest2265-21cut20:20:240
882599457,25cyclictest0-21swapper/319:50:203
882599454,12cyclictest0-21swapper/319:20:323
8824994518,12cyclictest7850irq/56-dwc_otg_22:44:112
8824994514,10cyclictest7850irq/56-dwc_otg_00:40:082
8824994511,15cyclictest18923-21ssh23:44:132
882399458,25cyclictest0-21swapper/120:00:131
882399458,25cyclictest0-21swapper/120:00:131
882399454,5cyclictest7750irq/56-dwc_otg23:00:181
882399453,9cyclictest7750irq/56-dwc_otg23:45:211
882399452,5cyclictest0-21swapper/119:35:201
8823994525,7cyclictest7919-21latency_hist00:10:081
8823994523,5cyclictest0-21swapper/120:25:201
8822994522,6cyclictest17576-21chrt21:00:430
8825994420,6cyclictest2001-21aten_rbpower_en20:20:203
882499447,24cyclictest29541-21ssh22:00:132
882499445,20cyclictest7277-21ssh00:09:192
882499445,13cyclictest21707-21wget19:45:212
882399447,25cyclictest0-21swapper/120:50:201
882399447,25cyclictest0-21swapper/120:50:201
882499437,24cyclictest0-21swapper/222:05:132
8824994320,12cyclictest7850irq/56-dwc_otg_19:58:442
8824994311,4cyclictest16750-21latency_hist21:45:082
882399437,22cyclictest0-21swapper/122:15:121
8823994328,10cyclictest0-21swapper/100:30:181
882399432,3cyclictest7950irq/56-dwc_otg_19:50:181
882599422,14cyclictest0-21swapper/322:55:133
882499427,22cyclictest0-21swapper/223:05:202
882499422,28cyclictest11315-21ssh22:15:542
882299422,30cyclictest0-21swapper/019:43:450
882299422,30cyclictest0-21swapper/019:43:450
8822994217,6cyclictest0-21swapper/019:32:130
882599416,22cyclictest0-21swapper/319:15:203
882499416,23cyclictest0-21swapper/219:50:202
882499415,11cyclictest7750irq/56-dwc_otg20:20:172
882499413,6cyclictest0-21swapper/222:45:172
8824994124,9cyclictest28723-21ssh21:59:192
882399417,4cyclictest7950irq/56-dwc_otg_21:30:171
882399417,24cyclictest0-21swapper/100:10:221
882399411,4cyclictest7950irq/56-dwc_otg_20:45:191
8823994113,16cyclictest24724-21fschecks_time21:15:241
17192410,4sleep231-21ksoftirqd/220:20:072
8825994019,4cyclictest7850irq/56-dwc_otg_23:15:083
882499402,23cyclictest26787-21ssh00:32:032
8824994020,7cyclictest7950irq/56-dwc_otg_22:55:372
8824994016,5cyclictest11078-21fschecks_time19:15:242
8824994012,7cyclictest19788-21apt-get19:40:192
8824994012,7cyclictest19788-21apt-get19:40:192
882499401,25cyclictest25767-21ssh23:13:032
882499401,24cyclictest0-21swapper/220:05:222
882399407,13cyclictest7750irq/56-dwc_otg21:10:181
8823994023,4cyclictest25487-21aten_rbpower_vo21:55:221
882299404,23cyclictest9-21ksoftirqd/020:55:320
882299402,19cyclictest0-21swapper/020:50:290
882299402,19cyclictest0-21swapper/020:50:290
882499395,24cyclictest12253-21ssh00:15:222
8824993917,4cyclictest7850irq/56-dwc_otg_23:55:342
8824993914,10cyclictest7850irq/56-dwc_otg_21:34:002
882399393,5cyclictest7950irq/56-dwc_otg_23:33:281
8823993920,5cyclictest21-21rcuc/100:20:361
83952392,28sleep00-21swapper/019:08:080
8825993813,6cyclictest16706-21cron21:45:073
882599381,25cyclictest15064-21ls20:55:283
882499385,17cyclictest28554-21ssh21:20:092
882499385,17cyclictest28554-21ssh21:20:092
8824993817,4cyclictest7850irq/56-dwc_otg_23:29:432
882499381,5cyclictest0-21swapper/220:25:352
8824993814,10cyclictest7750irq/56-dwc_otg19:24:002
882399387,16cyclictest19750-21diskmemload23:15:361
882399382,6cyclictest2151950ssh21:50:251
882399382,6cyclictest2151950ssh21:50:251
8823993820,6cyclictest2655-21/usr/sbin/munin22:45:231
882399381,28cyclictest11606-21ls19:15:341
882599371,23cyclictest16053-21latency_hist00:20:083
882599371,21cyclictest13853-21ls22:20:083
8824993713,6cyclictest301ktimersoftd/222:52:442
8824993713,6cyclictest301ktimersoftd/222:52:442
8824993711,13cyclictest393-21/usr/sbin/munin21:25:372
882499370,25cyclictest0-21swapper/200:26:092
882399375,4cyclictest7950irq/56-dwc_otg_23:35:101
8823993710,5cyclictest7750irq/56-dwc_otg21:10:071
882399370,16cyclictest29179-21perl00:35:261
882599368,5cyclictest7850irq/56-dwc_otg_20:55:083
882599368,5cyclictest7850irq/56-dwc_otg_20:55:083
882599364,3cyclictest7850irq/56-dwc_otg_22:50:233
882599364,3cyclictest7850irq/56-dwc_otg_22:50:233
882499364,17cyclictest0-21swapper/220:55:342
882499364,13cyclictest9491-21ssh23:32:072
882499361,19cyclictest8729-21ssh21:35:172
882499360,23cyclictest7750irq/56-dwc_otg23:50:252
882399367,19cyclictest0-21swapper/120:15:261
882399366,5cyclictest7750irq/56-dwc_otg19:25:241
882399363,16cyclictest0-21swapper/100:17:271
8823993611,19cyclictest0-21swapper/119:10:101
882599357,23cyclictest0-21swapper/319:55:203
882599355,13cyclictest7850irq/56-dwc_otg_22:25:363
882499359,5cyclictest11779-21rm00:14:572
882499353,12cyclictest10671-21taskset20:44:382
882399359,4cyclictest7750irq/56-dwc_otg22:05:361
882399358,15cyclictest0-21swapper/123:40:201
882399358,13cyclictest7950irq/56-dwc_otg_20:00:081
882399357,25cyclictest0-21swapper/120:35:211
882399353,16cyclictest7950irq/56-dwc_otg_20:10:221
8823993520,5cyclictest9274-21aten_rbpower_vo20:40:191
8823993517,5cyclictest91550lldpd22:13:041
882399351,23cyclictest4143-21ls23:25:331
8823993511,4cyclictest503-21in:imuxsock19:20:231
882599346,14cyclictest0-21swapper/319:25:213
882599345,5cyclictest7750irq/56-dwc_otg21:20:183
882599345,5cyclictest7750irq/56-dwc_otg21:20:183
882599344,15cyclictest0-21swapper/320:40:183
882599342,17cyclictest0-21swapper/321:05:203
882399348,5cyclictest7750irq/56-dwc_otg22:55:251
882399347,6cyclictest7950irq/56-dwc_otg_20:20:241
882399347,14cyclictest0-21swapper/122:50:361
882399347,14cyclictest0-21swapper/122:50:361
882399344,8cyclictest0-21swapper/122:20:191
882399344,8cyclictest0-21swapper/122:20:191
882399342,13cyclictest0-21swapper/100:25:191
882399341,5cyclictest908-21runrttasks21:28:581
8823993410,14cyclictest0-21swapper/120:55:211
882599337,14cyclictest0-21swapper/322:35:233
882599336,21cyclictest0-21swapper/319:45:203
882599334,13cyclictest7950irq/56-dwc_otg_21:00:293
8825993315,11cyclictest39-21ksoftirqd/322:05:213
882499337,15cyclictest0-21swapper/219:30:202
882399332,4cyclictest27923-21latency_hist23:55:081
8823993310,4cyclictest0-21swapper/121:42:091
85482339,11sleep20-21swapper/219:10:082
882599326,8cyclictest7750irq/56-dwc_otg21:31:533
882599322,23cyclictest25433-21grep00:30:313
882599321,7cyclictest37-21rcuc/322:40:333
882599321,19cyclictest7007-21ssh00:08:503
8825993210,5cyclictest0-21swapper/323:40:513
882399323,9cyclictest7750irq/56-dwc_otg00:00:251
882399321,7cyclictest7850irq/56-dwc_otg_22:25:361
882599317,14cyclictest0-21swapper/320:00:223
882599317,14cyclictest0-21swapper/320:00:223
882599316,5cyclictest39-21ksoftirqd/323:25:243
882599314,5cyclictest7750irq/56-dwc_otg21:15:233
8823993110,4cyclictest0-21swapper/121:45:191
79822315,15sleep38118-21unixbench_multi19:05:363
882599304,17cyclictest2252-21ssh22:45:183
882599302,16cyclictest0-21swapper/321:35:363
882599301,5cyclictest7750irq/56-dwc_otg23:55:213
8825993011,7cyclictest8990-21wc20:40:083
8824993014,12cyclictest18324-21perl19:35:262
882499301,3cyclictest7850irq/56-dwc_otg_20:31:042
882399305,11cyclictest7950irq/56-dwc_otg_19:30:311
882399302,21cyclictest0-21swapper/121:02:151
882599291,18cyclictest14543-21latency22:20:273
882599291,18cyclictest14543-21latency22:20:273
882399295,3cyclictest7750irq/56-dwc_otg19:45:281
882599282,17cyclictest0-21swapper/320:07:153
8823992810,5cyclictest6629-21grep20:30:351
882499277,4cyclictest7850irq/56-dwc_otg_21:00:202
882499272,3cyclictest0-21swapper/220:50:042
882599261,5cyclictest7850irq/56-dwc_otg_20:48:003
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional