You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-28 - 03:10

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #c, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rackcslot7s.osadl.org (updated Sun Dec 28, 2025 00:44:53)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
49278321020,6sleep10-21swapper/123:55:151
4100352920,16sleep234-21ksoftirqd/220:00:312
4100352920,16sleep234-21ksoftirqd/220:00:302
4219792880,5sleep20-21swapper/220:35:232
197399820,71rtkit-daemon0-21swapper/019:05:370
39059627240,9sleep30-21swapper/319:08:173
39041226848,14sleep20-21swapper/219:05:552
38968426650,10sleep10-21swapper/119:05:211
390871996219,19cyclictest456193-21ls22:15:012
390871995821,28cyclictest34-21ksoftirqd/219:15:012
390871995821,28cyclictest34-21ksoftirqd/219:15:012
4201842550,6sleep20-21swapper/220:30:242
4429552530,27sleep10-21swapper/121:35:231
390871995139,9cyclictest34-21ksoftirqd/200:18:112
39087199513,19cyclictest2143-21upowerd20:08:092
390871995121,21cyclictest34-21ksoftirqd/221:20:162
390871995117,17cyclictest34-21ksoftirqd/221:35:002
197399510,30rtkit-daemon0-21swapper/222:00:222
390871995025,15cyclictest34-21ksoftirqd/200:20:292
390871995025,15cyclictest34-21ksoftirqd/200:20:282
390871995018,5cyclictest34-21ksoftirqd/200:00:042
390867995028,6cyclictest26-21ksoftirqd/100:35:011
390871994910,21cyclictest34-21ksoftirqd/223:35:022
39087199485,20cyclictest34-21ksoftirqd/223:42:252
390871994828,6cyclictest34-21ksoftirqd/222:30:132
390867994825,15cyclictest26-21ksoftirqd/123:20:211
390867994825,14cyclictest26-21ksoftirqd/120:20:251
390867994825,14cyclictest26-21ksoftirqd/119:25:261
390867994824,15cyclictest26-21ksoftirqd/120:40:271
390867994810,19cyclictest26-21ksoftirqd/123:00:031
197399480,36rtkit-daemon2746-21gmain21:15:252
4357362470,4sleep30-21swapper/321:15:203
4041502470,11sleep1404155-21cpuspeed_turbos19:45:161
39087199478,20cyclictest34-21ksoftirqd/223:10:152
390871994724,13cyclictest34-21ksoftirqd/200:25:302
390871994723,19cyclictest34-21ksoftirqd/219:19:592
390867994724,14cyclictest26-21ksoftirqd/100:25:201
390867994711,15cyclictest26-21ksoftirqd/119:40:151
39087199468,16cyclictest0-21swapper/221:05:302
39087199467,21cyclictest34-21ksoftirqd/220:10:202
39087199466,21cyclictest34-21ksoftirqd/200:00:212
390871994624,14cyclictest34-21ksoftirqd/223:50:012
390871994623,13cyclictest34-21ksoftirqd/222:55:232
390871994623,13cyclictest34-21ksoftirqd/220:40:202
390871994622,13cyclictest34-21ksoftirqd/221:10:302
390871994621,14cyclictest34-21ksoftirqd/222:45:122
390871994621,14cyclictest34-21ksoftirqd/219:45:002
39086799469,19cyclictest26-21ksoftirqd/100:10:011
390867994625,13cyclictest26-21ksoftirqd/122:25:591
390867994625,13cyclictest26-21ksoftirqd/122:25:591
390867994624,14cyclictest26-21ksoftirqd/122:50:321
390867994623,13cyclictest26-21ksoftirqd/122:30:211
390867994622,13cyclictest26-21ksoftirqd/120:25:161
390867994620,13cyclictest26-21ksoftirqd/119:55:021
4562452450,7sleep04497-21PK-Backend22:15:020
4309492450,6sleep14497-21PK-Backend21:00:291
39087399451,28cyclictest502570-21systemd-udevd00:24:013
39087399451,28cyclictest502570-21systemd-udevd00:24:013
39087199457,16cyclictest34-21ksoftirqd/222:35:222
390871994533,6cyclictest34-21ksoftirqd/220:25:262
390871994523,13cyclictest34-21ksoftirqd/221:42:582
390871994523,13cyclictest34-21ksoftirqd/221:42:582
390871994522,7cyclictest34-21ksoftirqd/219:55:022
390871994522,13cyclictest34-21ksoftirqd/200:10:232
390871994521,14cyclictest34-21ksoftirqd/223:25:172
390871994521,13cyclictest34-21ksoftirqd/221:50:012
390871994521,13cyclictest34-21ksoftirqd/219:30:032
390867994524,14cyclictest26-21ksoftirqd/122:23:231
390867994523,14cyclictest26-21ksoftirqd/121:05:131
390867994522,19cyclictest451866-21ntp_states22:00:291
390867994511,19cyclictest26-21ksoftirqd/119:25:001
39086499456,19cyclictest13-21ksoftirqd/019:45:010
390864994531,5cyclictest13-21ksoftirqd/023:15:170
4948042440,5sleep1251rcuc/100:00:221
4674622440,8sleep0467464-21grep22:45:130
39087199447,7cyclictest417755-21latency_hist20:25:032
390871994421,13cyclictest34-21ksoftirqd/223:55:022
390871994420,9cyclictest34-21ksoftirqd/220:55:252
39087199441,22cyclictest457934-21apt-key22:20:022
390871994410,7cyclictest141rcu_preempt23:17:002
390867994423,13cyclictest26-21ksoftirqd/123:30:301
390867994423,13cyclictest26-21ksoftirqd/120:07:051
390867994423,13cyclictest26-21ksoftirqd/100:35:271
390867994422,13cyclictest26-21ksoftirqd/123:40:121
390867994422,13cyclictest26-21ksoftirqd/121:45:281
390867994421,14cyclictest26-21ksoftirqd/121:27:281
390867994413,10cyclictest26-21ksoftirqd/100:20:391
390867994413,10cyclictest26-21ksoftirqd/100:20:391
390864994417,6cyclictest141rcu_preempt00:18:100
390873994314,11cyclictest457255-21awk22:15:303
390871994324,14cyclictest34-21ksoftirqd/222:25:002
390871994323,6cyclictest34-21ksoftirqd/222:10:012
390871994323,12cyclictest34-21ksoftirqd/223:00:292
390871994322,13cyclictest34-21ksoftirqd/221:55:022
390871994320,14cyclictest34-21ksoftirqd/223:40:002
390871994310,16cyclictest34-21ksoftirqd/221:00:142
390867994320,14cyclictest26-21ksoftirqd/120:20:011
390867994316,10cyclictest26-21ksoftirqd/122:10:281
390864994331,9cyclictest13-21ksoftirqd/000:24:020
390864994331,9cyclictest13-21ksoftirqd/000:24:020
390864994322,6cyclictest13-21ksoftirqd/019:20:010
390864994311,7cyclictest4610812sh22:25:260
390864994311,7cyclictest4610812sh22:25:260
390873994227,10cyclictest412212-21systemd-udevd20:08:073
390873994214,12cyclictest42-21ksoftirqd/323:20:003
39087399421,27cyclictest4497-21PK-Backend21:45:133
39087199427,11cyclictest34-21ksoftirqd/200:35:002
390871994224,14cyclictest34-21ksoftirqd/223:10:002
390871994224,14cyclictest34-21ksoftirqd/221:40:012
390867994224,14cyclictest26-21ksoftirqd/123:50:071
390867994224,14cyclictest26-21ksoftirqd/122:44:581
390867994224,14cyclictest26-21ksoftirqd/121:52:321
390867994223,14cyclictest26-21ksoftirqd/123:30:011
390867994222,5cyclictest26-21ksoftirqd/122:00:001
390867994221,13cyclictest26-21ksoftirqd/100:10:241
390867994215,9cyclictest26-21ksoftirqd/121:45:021
390867994215,9cyclictest26-21ksoftirqd/121:45:021
390867994214,11cyclictest26-21ksoftirqd/123:00:011
390864994223,6cyclictest13-21ksoftirqd/000:10:160
39087399419,14cyclictest141rcu_preempt23:05:353
39087399416,5cyclictest141rcu_preempt21:30:273
390873994125,12cyclictest488387-21cron23:45:003
390873994119,9cyclictest141rcu_preempt22:45:223
39087199416,19cyclictest34-21ksoftirqd/220:45:252
390871994124,13cyclictest34-21ksoftirqd/222:54:072
390871994123,14cyclictest34-21ksoftirqd/220:15:132
390871994123,14cyclictest34-21ksoftirqd/219:30:162
390871994123,14cyclictest34-21ksoftirqd/219:20:192
390871994123,13cyclictest34-21ksoftirqd/222:40:292
390871994123,13cyclictest34-21ksoftirqd/219:55:222
390871994123,13cyclictest34-21ksoftirqd/200:05:242
390871994122,5cyclictest34-21ksoftirqd/219:40:022
390871994122,14cyclictest34-21ksoftirqd/222:30:002
390871994122,14cyclictest34-21ksoftirqd/222:29:592
390871994122,14cyclictest34-21ksoftirqd/221:55:152
390871994122,13cyclictest34-21ksoftirqd/221:25:282
39087199411,17cyclictest479829-21seq23:20:132
390867994124,13cyclictest26-21ksoftirqd/123:16:521
390867994124,13cyclictest26-21ksoftirqd/121:31:561
390867994124,13cyclictest26-21ksoftirqd/119:39:041
390867994123,14cyclictest26-21ksoftirqd/123:13:091
390867994123,14cyclictest26-21ksoftirqd/120:30:291
390867994123,14cyclictest26-21ksoftirqd/119:55:131
390867994123,14cyclictest26-21ksoftirqd/119:34:381
390867994123,14cyclictest26-21ksoftirqd/100:15:111
390867994123,13cyclictest26-21ksoftirqd/122:46:091
390867994120,6cyclictest26-21ksoftirqd/121:10:261
390864994123,6cyclictest13-21ksoftirqd/023:38:320
390864994123,6cyclictest13-21ksoftirqd/023:08:540
390864994123,6cyclictest13-21ksoftirqd/021:40:590
390864994123,6cyclictest13-21ksoftirqd/021:40:590
390864994123,6cyclictest13-21ksoftirqd/020:31:030
390864994118,14cyclictest13-21ksoftirqd/021:30:010
390864994116,21cyclictest405475-21unin-run19:50:010
390864994114,5cyclictest141rcu_preempt20:08:090
4711322400,7chrt4497-21PK-Backend22:55:173
39087399409,26cyclictest394891-21sed19:20:023
390873994017,9cyclictest141rcu_preempt00:05:003
390873994016,10cyclictest500684-21systemd-udevd00:18:103
39087399401,10cyclictest413385-21/usr/sbin/munin20:10:253
390871994022,6cyclictest34-21ksoftirqd/200:40:002
390871994022,14cyclictest34-21ksoftirqd/220:50:192
390871994022,14cyclictest34-21ksoftirqd/220:50:182
390871994022,14cyclictest34-21ksoftirqd/219:45:192
390867994024,13cyclictest26-21ksoftirqd/120:50:451
390867994024,13cyclictest26-21ksoftirqd/120:50:441
390867994023,13cyclictest26-21ksoftirqd/119:19:401
390867994022,14cyclictest26-21ksoftirqd/122:36:171
390867994022,14cyclictest26-21ksoftirqd/122:09:431
390867994022,14cyclictest26-21ksoftirqd/121:17:451
390867994022,14cyclictest26-21ksoftirqd/120:10:551
390867994022,14cyclictest26-21ksoftirqd/119:10:381
390867994022,14cyclictest26-21ksoftirqd/119:10:381
39086499403,6cyclictest141rcu_preempt20:15:020
390864994026,10cyclictest484624-21cron23:35:000
390864994024,5cyclictest13-21ksoftirqd/020:48:430
390864994023,6cyclictest13-21ksoftirqd/023:50:400
390864994023,6cyclictest13-21ksoftirqd/021:20:300
390864994023,6cyclictest13-21ksoftirqd/020:59:090
390864994023,6cyclictest13-21ksoftirqd/020:52:140
390864994023,6cyclictest13-21ksoftirqd/020:52:140
390864994023,6cyclictest13-21ksoftirqd/000:04:090
390864994023,5cyclictest13-21ksoftirqd/022:37:270
390864994022,6cyclictest13-21ksoftirqd/000:05:180
4864092390,5chrt4497-21PK-Backend23:40:003
39087399398,17cyclictest42-21ksoftirqd/319:59:553
390873993918,8cyclictest141rcu_preempt22:50:293
390873993917,9cyclictest141rcu_preempt23:20:223
390873993917,9cyclictest141rcu_preempt20:40:143
390873993917,9cyclictest141rcu_preempt19:10:313
390873993917,9cyclictest141rcu_preempt19:10:313
390873993916,9cyclictest141rcu_preempt22:00:213
390873993913,8cyclictest141rcu_preempt00:15:013
39087399391,21cyclictest434897-21cron21:15:003
390873993912,12cyclictest141rcu_preempt22:30:063
39087399391,15cyclictest415356-21threads20:15:303
390867993922,6cyclictest26-21ksoftirqd/120:02:361
390867993922,6cyclictest26-21ksoftirqd/120:02:361
390867993922,13cyclictest26-21ksoftirqd/123:05:101
390867993922,13cyclictest26-21ksoftirqd/120:45:451
390867993921,14cyclictest26-21ksoftirqd/123:38:261
390867993921,14cyclictest26-21ksoftirqd/122:17:121
390867993921,14cyclictest26-21ksoftirqd/120:56:071
390867993921,13cyclictest26-21ksoftirqd/123:45:581
390867993921,13cyclictest26-21ksoftirqd/121:20:471
39086499398,15cyclictest13-21ksoftirqd/020:44:280
390864993923,6cyclictest13-21ksoftirqd/021:06:010
390864993923,5cyclictest13-21ksoftirqd/022:59:160
390864993923,5cyclictest13-21ksoftirqd/020:00:260
390864993923,5cyclictest13-21ksoftirqd/020:00:260
390864993922,6cyclictest13-21ksoftirqd/023:45:300
390864993922,6cyclictest13-21ksoftirqd/023:20:170
390864993922,6cyclictest13-21ksoftirqd/022:31:410
390864993922,6cyclictest13-21ksoftirqd/022:19:050
390864993922,6cyclictest13-21ksoftirqd/022:05:280
390864993922,6cyclictest13-21ksoftirqd/021:59:510
390864993922,6cyclictest13-21ksoftirqd/021:50:050
390864993922,6cyclictest13-21ksoftirqd/021:45:320
390864993922,6cyclictest13-21ksoftirqd/021:31:360
390864993922,6cyclictest13-21ksoftirqd/021:15:280
390864993922,6cyclictest13-21ksoftirqd/021:03:160
390864993922,6cyclictest13-21ksoftirqd/020:25:170
390864993922,6cyclictest13-21ksoftirqd/020:15:430
390864993922,6cyclictest13-21ksoftirqd/019:58:080
390864993922,6cyclictest13-21ksoftirqd/019:53:530
390864993922,6cyclictest13-21ksoftirqd/000:35:200
390864993922,6cyclictest13-21ksoftirqd/000:25:260
390864993922,5cyclictest13-21ksoftirqd/023:11:360
390864993922,5cyclictest13-21ksoftirqd/022:22:150
390864993922,5cyclictest13-21ksoftirqd/022:02:020
390864993922,5cyclictest13-21ksoftirqd/020:21:330
390864993920,6cyclictest13-21ksoftirqd/000:30:090
390864993920,5cyclictest13-21ksoftirqd/021:36:120
390864993919,6cyclictest13-21ksoftirqd/022:40:150
390873993827,7cyclictest465291-21sh22:40:003
390873993818,16cyclictest141rcu_preempt19:25:023
390873993817,8cyclictest141rcu_preempt23:10:433
390873993817,8cyclictest141rcu_preempt20:53:093
390873993817,8cyclictest141rcu_preempt20:53:093
390873993817,8cyclictest141rcu_preempt19:40:363
390873993817,17cyclictest141rcu_preempt20:45:153
390873993817,17cyclictest141rcu_preempt00:05:153
390873993816,9cyclictest141rcu_preempt22:26:053
390873993816,9cyclictest141rcu_preempt22:26:043
390873993816,9cyclictest141rcu_preempt22:20:213
390873993816,9cyclictest141rcu_preempt21:05:233
390873993812,10cyclictest42-21ksoftirqd/323:55:023
39087399381,13cyclictest421057-21cron20:35:003
390867993820,13cyclictest26-21ksoftirqd/120:35:061
39086499389,7cyclictest141rcu_preempt19:35:010
390864993823,5cyclictest13-21ksoftirqd/019:23:470
390864993822,5cyclictest13-21ksoftirqd/022:53:340
390864993822,5cyclictest13-21ksoftirqd/020:36:470
390864993821,6cyclictest13-21ksoftirqd/023:42:090
390864993821,6cyclictest13-21ksoftirqd/023:00:240
390864993821,6cyclictest13-21ksoftirqd/019:25:570
390864993821,6cyclictest13-21ksoftirqd/019:10:160
390864993821,6cyclictest13-21ksoftirqd/019:10:160
39087399378,25cyclictest409342-21cut20:00:173
39087399378,25cyclictest409342-21cut20:00:173
390873993719,14cyclictest436912-21apt21:20:143
390873993718,15cyclictest42-21ksoftirqd/321:50:173
39087399371,6cyclictest490136-21turbostat.cron23:50:003
390873993716,9cyclictest141rcu_preempt21:55:163
390873993716,8cyclictest141rcu_preempt23:55:283
390873993715,9cyclictest141rcu_preempt21:30:013
390873993715,9cyclictest141rcu_preempt20:35:303
390873993715,8cyclictest141rcu_preempt22:10:273
39087399371,16cyclictest429704-21cron21:00:003
390873993711,10cyclictest42-21ksoftirqd/319:38:063
390864993722,5cyclictest13-21ksoftirqd/021:10:070
390864993721,5cyclictest13-21ksoftirqd/019:35:150
390864993720,6cyclictest13-21ksoftirqd/023:55:320
390864993720,6cyclictest13-21ksoftirqd/023:25:460
39087399363,10cyclictest141rcu_preempt19:50:303
390873993619,12cyclictest506535-21cat00:35:143
390873993616,8cyclictest141rcu_preempt23:30:013
390873993616,16cyclictest141rcu_preempt19:25:133
390873993615,8cyclictest141rcu_preempt19:45:333
390873993610,5cyclictest141rcu_preempt20:20:243
4833442350,5sleep34497-21PK-Backend23:30:143
39087399355,11cyclictest141rcu_preempt22:05:273
39087399354,10cyclictest141rcu_preempt21:38:363
390873993521,10cyclictest42-21ksoftirqd/319:30:123
390873993516,15cyclictest141rcu_preempt20:25:163
390873993511,11cyclictest141rcu_preempt00:25:053
390873993417,13cyclictest430621-21cat21:00:233
390873993412,7cyclictest141rcu_preempt00:35:013
39087399336,10cyclictest141rcu_preempt21:45:013
39087399332,19cyclictest42-21ksoftirqd/323:00:123
39087399322,25cyclictest466148-21memory22:40:223
39087399321,11cyclictest444771-21sed21:40:213
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional