You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-08-31 - 11:42

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack7slot3s.osadl.org (updated Sun Aug 31, 2025 00:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
5926991036,29cyclictest0-21swapper/020:30:230
208922860,5sleep2592899cyclictest20:30:212
592699843,62cyclictest61-21kswapd022:55:170
592699843,62cyclictest61-21kswapd022:55:170
129222710,1sleep20-21swapper/221:22:262
592699692,52cyclictest0-21swapper/022:40:350
592699692,45cyclictest24330-21latency_hist20:40:060
592799675,23cyclictest8050irq/56-dwc_otg_20:40:121
592699668,27cyclictest0-21swapper/000:30:170
5926996654,4cyclictest7950irq/56-dwc_otg00:05:370
145322660,5sleep2592899cyclictest22:50:232
592699634,48cyclictest0-21swapper/022:00:180
5926996343,4cyclictest8150irq/56-dwc_otg_23:50:170
592699631,44cyclictest1495-21irqstats23:15:270
32892630,5sleep0592699cyclictest00:00:260
5926996242,5cyclictest8150irq/56-dwc_otg_23:40:060
592699622,44cyclictest14828-21grep00:15:350
5926996215,34cyclictest0-21swapper/000:10:160
592699621,46cyclictest0-21swapper/021:10:370
5926996211,31cyclictest23849-21latency_hist23:45:070
592699612,44cyclictest0-21swapper/021:15:260
5926996119,5cyclictest0-21swapper/022:25:170
5926996119,5cyclictest0-21swapper/022:25:170
5926996020,25cyclictest12900-21cut22:05:240
5926996020,25cyclictest12900-21cut22:05:240
592799597,23cyclictest0-21swapper/123:20:201
592699596,40cyclictest9631-21switchtime23:25:330
5926995924,7cyclictest10281-21munin-run19:45:060
5926995924,7cyclictest10281-21munin-run19:45:060
5926995921,10cyclictest0-21swapper/021:55:180
592699591,46cyclictest9550irq/48-DMA09:15:450
592699582,8cyclictest30315-21netstat23:10:290
592699571,44cyclictest136-21systemd-journal21:25:060
592699562,41cyclictest0-21swapper/021:50:360
592699561,36cyclictest31856-21aten_rbpower_vo22:30:210
592699561,34cyclictest0-21swapper/022:10:290
28852560,1sleep20-21swapper/221:10:062
592699552,39cyclictest0-21swapper/019:35:060
592699551,8cyclictest21238-21timerandwakeup22:15:340
5926995514,21cyclictest26812-21acpi00:35:220
5926995514,21cyclictest26812-21acpi00:35:220
592699551,41cyclictest0-21swapper/021:40:320
592699551,38cyclictest6021-21grep23:20:350
5926995510,25cyclictest0-21swapper/021:30:430
5926995427,7cyclictest0-21swapper/021:35:200
5926995427,7cyclictest0-21swapper/021:35:200
592699541,42cyclictest3829-21ntpq22:35:280
5926995329,10cyclictest9-21ksoftirqd/023:05:180
592699532,39cyclictest0-21swapper/023:50:060
592699532,12cyclictest0-21swapper/021:05:060
592699531,41cyclictest0-21swapper/000:20:320
592999529,7cyclictest8150irq/56-dwc_otg_00:00:193
592999524,11cyclictest4945-21ssh21:55:183
592999522,5cyclictest0-21swapper/323:50:173
592699521,40cyclictest22515-21cat23:00:220
592699521,38cyclictest15541-21cut20:15:170
592699521,21cyclictest23065-21sshd00:29:300
247752520,3sleep229-21rcuc/223:03:392
592699511,40cyclictest17767-21cat20:20:230
592699511,40cyclictest17767-21cat20:20:230
230982510,1sleep30-21swapper/323:44:063
5926995024,5cyclictest0-21swapper/021:45:320
592699502,33cyclictest0-21swapper/019:55:580
5926995014,20cyclictest469-21cron19:30:050
592699501,32cyclictest11078-21rm22:45:250
592699492,23cyclictest0-21swapper/022:50:270
5926994830,4cyclictest912-21runrttasks23:55:080
5926994823,14cyclictest12785-21sh20:05:060
592699481,41cyclictest0-21swapper/022:20:070
592699481,29cyclictest0-21swapper/020:50:180
592799475,6cyclictest0-21swapper/122:20:191
592699472,5cyclictest0-21swapper/021:29:580
592699471,36cyclictest912-21runrttasks20:13:340
133752470,2sleep1592799cyclictest23:30:321
592799467,27cyclictest0-21swapper/123:55:181
592699462,34cyclictest0-21swapper/019:15:290
592699462,34cyclictest0-21swapper/019:15:290
592699462,27cyclictest0-21swapper/021:10:060
5926994621,6cyclictest8050irq/56-dwc_otg_20:25:290
5926994614,19cyclictest8150irq/56-dwc_otg_19:40:060
96382450,4sleep3381ktimersoftd/319:40:063
592899458,23cyclictest0-21swapper/221:30:212
592899457,24cyclictest0-21swapper/219:15:122
592899457,24cyclictest0-21swapper/219:15:122
592699452,33cyclictest0-21swapper/019:10:590
5926994520,9cyclictest8150irq/56-dwc_otg_20:55:280
592699451,36cyclictest0-21swapper/020:07:510
55442453,35sleep00-21swapper/019:08:360
79372440,3sleep35925-21cyclictest00:06:043
592999447,24cyclictest0-21swapper/323:00:163
592999447,23cyclictest0-21swapper/322:50:223
592999447,23cyclictest0-21swapper/320:55:123
592799447,27cyclictest0-21swapper/121:10:231
592699441,35cyclictest0-21swapper/019:22:120
592999436,24cyclictest0-21swapper/321:35:193
592999436,24cyclictest0-21swapper/321:35:193
592699431,36cyclictest0-21swapper/020:48:040
592699431,35cyclictest0-21swapper/020:40:070
592999427,24cyclictest0-21swapper/320:30:233
592899427,25cyclictest0-21swapper/223:10:212
592899426,22cyclictest926-21snmpd22:25:182
592899426,22cyclictest926-21snmpd22:25:182
592799427,24cyclictest27914-21ssh22:25:121
592799427,24cyclictest27914-21ssh22:25:121
592799427,24cyclictest17283-21runrttasks20:20:161
592799427,24cyclictest17283-21runrttasks20:20:161
5927994216,8cyclictest14264-21grep21:25:071
592699423,31cyclictest0-21swapper/019:51:570
592699421,34cyclictest0-21swapper/019:45:170
146442421,31sleep20-21swapper/200:15:352
5929994120,5cyclictest912-21runrttasks22:40:353
5928994112,13cyclictest8150irq/56-dwc_otg_22:05:202
5928994112,13cyclictest8150irq/56-dwc_otg_22:05:202
5929994014,5cyclictest30608-21sh21:45:313
592999401,24cyclictest0-21swapper/320:15:163
592899407,21cyclictest8503-21latency_hist23:25:072
5927993926,6cyclictest21597-21ssh21:34:351
592799391,4cyclictest20220-21ssh22:15:181
592799391,25cyclictest24251-21ls00:30:261
169882390,5sleep1592799cyclictest22:53:071
592999381,24cyclictest24399-21ls23:45:233
592899387,17cyclictest0-21swapper/221:50:212
592899386,8cyclictest821-21ssh21:50:062
592899382,7cyclictest11800-21ls22:45:352
592799385,24cyclictest20352-21ssh00:25:191
5927993814,11cyclictest8150irq/56-dwc_otg_23:45:341
103962380,4sleep1592799cyclictest22:01:181
592999371,26cyclictest0-21swapper/319:11:033
592899377,20cyclictest7950irq/56-dwc_otg23:40:352
592799375,14cyclictest8150irq/56-dwc_otg_22:45:361
5927993730,5cyclictest221ktimersoftd/120:55:181
5927993715,7cyclictest5914-21switchtime21:55:331
592999366,12cyclictest8150irq/56-dwc_otg_21:10:223
5929993615,4cyclictest6138-21sh22:39:133
592899361,6cyclictest13690-21unixbench_multi23:30:352
5928993615,4cyclictest2630550ssh23:05:262
592899361,24cyclictest25175-21ls20:40:282
592799364,6cyclictest8150irq/56-dwc_otg_23:10:261
592799361,4cyclictest7950irq/56-dwc_otg22:33:121
592799361,21cyclictest4188-21unixbench_singl00:00:371
592999355,15cyclictest8150irq/56-dwc_otg_22:00:193
5929993514,5cyclictest26288-21fschecks_count21:40:253
5929993513,4cyclictest1978-21sh21:05:323
592899359,5cyclictest8050irq/56-dwc_otg_22:55:172
592899359,5cyclictest8050irq/56-dwc_otg_22:55:172
592899357,6cyclictest7950irq/56-dwc_otg21:15:222
592899356,14cyclictest0-21swapper/200:10:062
592899355,6cyclictest26135-21egrep21:40:222
592899355,17cyclictest8050irq/56-dwc_otg_00:10:252
592899353,8cyclictest0-21swapper/220:20:142
592899353,8cyclictest0-21swapper/220:20:142
592899353,21cyclictest8050irq/56-dwc_otg_22:24:132
5928993514,12cyclictest1254-21ssh23:15:252
592799357,15cyclictest0-21swapper/120:45:191
592799356,12cyclictest8150irq/56-dwc_otg_23:50:351
592799353,8cyclictest8050irq/56-dwc_otg_22:35:231
592799351,5cyclictest18067-21idleruntime-cro21:30:061
5927993512,11cyclictest0-21swapper/122:05:281
5927993512,11cyclictest0-21swapper/122:05:281
161242350,1sleep10-21swapper/120:15:261
592999345,4cyclictest8050irq/56-dwc_otg_20:25:193
592999344,6cyclictest8050irq/56-dwc_otg_21:30:293
592999344,5cyclictest10684-21ssh22:45:183
592999342,21cyclictest0-21swapper/322:30:193
592999341,23cyclictest23317-21latency_hist00:30:063
592899348,11cyclictest17453-21grep23:35:342
592899345,19cyclictest23615-21ssh00:30:172
592899341,6cyclictest8050irq/56-dwc_otg_20:40:052
592799346,11cyclictest8150irq/56-dwc_otg_23:00:171
592799343,14cyclictest14719-21ls20:11:441
592799341,10cyclictest0-21swapper/100:15:291
5927993410,5cyclictest0-21swapper/123:05:271
276412340,1sleep10-21swapper/100:35:371
276412340,1sleep10-21swapper/100:35:371
76252330,4sleep2301ktimersoftd/221:58:292
592999339,6cyclictest0-21swapper/321:25:273
592999338,4cyclictest8150irq/56-dwc_otg_21:25:073
592999335,23cyclictest8150irq/56-dwc_otg_23:05:173
592999333,5cyclictest2481450ntp_states22:20:323
592999332,17cyclictest0-21swapper/322:57:543
592999332,17cyclictest0-21swapper/322:57:543
592999331,21cyclictest0-21swapper/322:25:123
592999331,21cyclictest0-21swapper/322:25:123
592999331,16cyclictest10563-21irqstats00:10:253
5929993310,11cyclictest0-21swapper/323:34:303
5929993310,10cyclictest0-21swapper/323:10:183
592899339,4cyclictest0-21swapper/222:00:192
592899333,17cyclictest0-21swapper/200:26:202
5928993320,6cyclictest25537-21ssh21:39:512
5928993320,6cyclictest25537-21ssh21:39:512
5928993319,5cyclictest28585-21ssh23:50:302
592899331,22cyclictest15980-21ls20:15:242
592799336,15cyclictest8150irq/56-dwc_otg_00:10:341
592799335,4cyclictest7950irq/56-dwc_otg23:40:211
592799335,10cyclictest18251-21ssh22:55:171
592799335,10cyclictest18251-21ssh22:55:171
592799334,14cyclictest8150irq/56-dwc_otg_20:30:281
592799334,13cyclictest8150irq/56-dwc_otg_21:00:311
592799334,13cyclictest8150irq/56-dwc_otg_20:25:211
5927993314,12cyclictest2433-21ssh21:50:371
592999329,10cyclictest0-21swapper/323:26:183
592999327,15cyclictest0-21swapper/323:35:193
592999327,15cyclictest0-21swapper/321:51:433
592999327,15cyclictest0-21swapper/319:40:123
592999327,15cyclictest0-21swapper/319:40:123
592999327,14cyclictest0-21swapper/300:35:243
592999327,14cyclictest0-21swapper/300:35:243
592999326,16cyclictest0-21swapper/323:18:503
592999321,5cyclictest9333-21rm21:17:483
592999321,19cyclictest23855-21ls22:20:063
592899329,4cyclictest14887-21unixbench_singl20:11:502
592899328,5cyclictest8150irq/56-dwc_otg_00:35:252
592899328,5cyclictest8150irq/56-dwc_otg_00:35:252
592899326,19cyclictest8050irq/56-dwc_otg_22:30:282
592899323,11cyclictest8050irq/56-dwc_otg_00:05:062
592899321,18cyclictest8050irq/56-dwc_otg_22:40:332
592899321,14cyclictest8050irq/56-dwc_otg_23:25:352
592799328,7cyclictest8050irq/56-dwc_otg_21:45:241
592799328,6cyclictest8150irq/56-dwc_otg_21:15:191
592799328,6cyclictest0-21swapper/119:27:461
592799327,6cyclictest7950irq/56-dwc_otg22:45:061
592799327,13cyclictest0-21swapper/122:10:231
592799325,5cyclictest7950irq/56-dwc_otg00:20:261
592799324,3cyclictest0-21swapper/120:35:311
592799322,3cyclictest7950irq/56-dwc_otg23:16:241
592799321,4cyclictest0-21swapper/123:35:301
5927993212,4cyclictest0-21swapper/100:06:221
592799321,23cyclictest0-21swapper/119:57:501
592799321,15cyclictest0-21swapper/123:25:301
592999319,4cyclictest37-21rcuc/320:45:323
592999313,11cyclictest8150irq/56-dwc_otg_20:50:213
592999311,5cyclictest9550irq/48-DMA09:15:453
592999311,23cyclictest23683-21ls20:35:333
592999311,13cyclictest0-21swapper/300:15:223
592899318,4cyclictest0-21swapper/223:55:322
592899311,7cyclictest19948-21ssh22:15:062
592899311,6cyclictest7950irq/56-dwc_otg22:40:062
5928993111,10cyclictest0-21swapper/221:10:262
5928993110,7cyclictest8150irq/56-dwc_otg_23:45:312
592799316,5cyclictest2101-21sensors_temp21:05:341
592799311,4cyclictest0-21swapper/121:40:301
592999306,4cyclictest0-21swapper/322:10:373
592999301,21cyclictest5399-21latency23:20:273
592999301,13cyclictest0-21swapper/321:02:563
592899308,5cyclictest8050irq/56-dwc_otg_19:35:062
592799307,8cyclictest5925-21cyclictest19:39:111
5927993012,7cyclictest7950irq/56-dwc_otg20:00:161
592799301,15cyclictest0-21swapper/121:36:241
592799301,15cyclictest0-21swapper/121:36:241
592999291,8cyclictest23700-21wget00:30:183
592999291,15cyclictest0-21swapper/322:10:033
592999291,15cyclictest0-21swapper/322:10:033
592899298,10cyclictest111942chrt19:50:482
592899296,4cyclictest7950irq/56-dwc_otg22:15:332
592899291,13cyclictest8050irq/56-dwc_otg_00:20:312
592799296,15cyclictest0-21swapper/119:15:431
592799296,15cyclictest0-21swapper/119:15:431
592799292,7cyclictest7758-21cat19:25:061
5927992917,4cyclictest28794-21missed_timers20:50:271
592799291,14cyclictest7950irq/56-dwc_otg19:52:551
592999282,5cyclictest8050irq/56-dwc_otg_20:40:123
592899286,4cyclictest7950irq/56-dwc_otg19:30:052
592899284,4cyclictest8150irq/56-dwc_otg_20:25:252
5928992821,5cyclictest14739-21wget21:25:212
592899282,13cyclictest8150irq/56-dwc_otg_20:45:292
592899281,23cyclictest12310-21ls20:00:062
592899281,17cyclictest0-21swapper/220:50:142
592799284,6cyclictest23-21ksoftirqd/119:50:061
53022287,13sleep10-21swapper/119:05:251
592999275,5cyclictest8150irq/56-dwc_otg_19:20:073
592999275,5cyclictest8150irq/56-dwc_otg_19:20:073
592999272,12cyclictest0-21swapper/320:00:453
5929992720,4cyclictest14901-21grep20:11:503
592999271,10cyclictest0-21swapper/320:22:073
592999271,10cyclictest0-21swapper/320:22:073
592899273,12cyclictest8150irq/56-dwc_otg_20:03:252
5928992715,9cyclictest31106-21ls20:55:332
5928992712,5cyclictest8050irq/56-dwc_otg_21:00:212
592799279,6cyclictest13483-21sed20:10:061
592799271,6cyclictest6340-21awk19:15:051
53292274,14sleep20-21swapper/219:05:462
592999262,9cyclictest8050irq/56-dwc_otg_00:20:233
592899264,4cyclictest8150irq/56-dwc_otg_19:49:092
592899261,19cyclictest0-21swapper/219:44:442
592899261,19cyclictest0-21swapper/219:44:442
592899261,12cyclictest0-21swapper/220:10:072
53352263,15sleep30-21swapper/319:05:513
111412260,1sleep30-21swapper/319:50:133
592999252,10cyclictest0-21swapper/319:30:483
592899251,15cyclictest0-21swapper/219:35:082
592999242,5cyclictest912-21runrttasks19:46:413
592999242,11cyclictest0-21swapper/319:27:053
592999241,4cyclictest8050irq/56-dwc_otg_20:10:063
592999241,11cyclictest0-21swapper/319:23:563
592899241,17cyclictest0-21swapper/219:13:032
592899241,16cyclictest0-21swapper/219:24:062
592799232,6cyclictest0-21swapper/119:30:251
592799231,6cyclictest0-21swapper/119:41:011
592799231,6cyclictest0-21swapper/119:41:011
592999224,4cyclictest8150irq/56-dwc_otg_19:55:543
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional